JP2021168984A - 情報処理装置、検査システム及び情報処理方法 - Google Patents

情報処理装置、検査システム及び情報処理方法 Download PDF

Info

Publication number
JP2021168984A
JP2021168984A JP2021124297A JP2021124297A JP2021168984A JP 2021168984 A JP2021168984 A JP 2021168984A JP 2021124297 A JP2021124297 A JP 2021124297A JP 2021124297 A JP2021124297 A JP 2021124297A JP 2021168984 A JP2021168984 A JP 2021168984A
Authority
JP
Japan
Prior art keywords
subject
inspection
site
information processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021124297A
Other languages
English (en)
Other versions
JP7247280B2 (ja
Inventor
充 大塚
Mitsuru Otsuka
和大 宮狭
Kazuhiro Miyasa
清秀 佐藤
Kiyohide Sato
格 音丸
Itaru Otomaru
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021124297A priority Critical patent/JP7247280B2/ja
Publication of JP2021168984A publication Critical patent/JP2021168984A/ja
Application granted granted Critical
Publication of JP7247280B2 publication Critical patent/JP7247280B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】精度よく検査部位を特定することを目的とする。【解決手段】撮影手段によって撮影された、検査デバイスの少なくとも一部分及び被検体の少なくとも一部のうちいずれか一方又は双方の検査時の状態を示す外観画像を取得する取得手段と、外観画像に基づいて、被検体の少なくとも一部と検査デバイスとの位置関係を特定する位置特定手段と、位置関係に基づいて、被検体の検査部位を特定する部位特定手段とを有する。【選択図】図4

Description

本発明は、情報処理装置、検査システム及び情報処理方法に関する。
医療の分野において、医師は、様々なモダリティ(検査システム)によって撮影された医用画像を用いて診断を行っている。モダリティとしては、超音波診断装置、光音響撮影装置(以下、PAT(PhotoAcoustic Tomography)装置と呼ぶ)が挙げられる。また、磁気共鳴映像装置(以下、MRI(Magnetic Resonance Imaging)装置と呼ぶ)、コンピュータ断層撮影装置(以下、X線CT(Computed Tomography)装置と呼ぶ)等が挙げられる。
これらの診断に用いられる医用画像が被検体の何れの部位を撮影したものであるかを、検査システムと被検体との位置関係に基づいて判別(特定)するシステムが知られている。特許文献1には、検査システムの床上にセンサを設置して、被検体である被験者が床上に立つ位置によって検査中の部位(乳房の左右)を判別(特定)する技術が開示されている。また、特許文献2には、検査システムに接触した被験者(被検体)の顔の向きを検出して、検査中の部位(乳房の左右)を判別(特定)する技術が開示されている。
特許第5025156号公報 特開2012−10772号公報
しかしながら、従来技術においては、部位の判別(特定)を誤る可能性があるという問題があった。本発明はこのような問題点に鑑みなされたもので、精度よく検査部位を特定することを目的とする。
そこで、本発明は、情報処理装置であって、撮影手段によって、検査デバイスと被検体の少なくとも一部とが撮影された外観画像を取得する取得手段と、前記外観画像に基づいて、前記検査デバイスと前記被検体の少なくとも一部との位置関係を取得し、前記位置関係及び前記検査デバイスの種類に基づいて、前記被検体の検査部位を特定する部位特定手段とを有することを特徴とする。
本発明によれば、精度よく検査部位を特定することができる。
第1の実施形態に係る検査システムの全体図である。 検査時の様子を示す図である。 情報処理装置のハードウェア構成を示す図である。 検査制御処理を示すフローチャートである。 第2の実施形態に係る検査システムの全体図である。 検査時の様子を示す図である。 検査制御処理を示すフローチャートである。 第3の実施形態に係る検査部位の判別処理を示すフローチャートである。 判別線を示す図である。 中心線を示す図である。
以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
図1は、第1の実施形態に係る検査システム100の全体図である。図1(a)は、検査システム100を側面から見た図であり、図1(b)は、検査システム100を上部から見た図である。本実施形態に係る検査システム100は、PAT装置であり、人体を被検体とし、乳房の検査を行う。このとき、検査システム100はさらに、乳房の左右を自動で判別する。
検査システム100は、検査台110と、検査部112と、撮影装置120と、情報処理装置130と、を有している。検査台110は、被検体(人体)を載せる台である。被検体が検査台110の上に腹臥位の状態で横たわり検査が行われる。さらに、検査台110には、被検体の検査部位である乳房を挿入するための円形のくぼみ111が設けられている。くぼみ111は、検査台110に埋め込まれる形で設置され、設置位置は固定されている。くぼみ111は、検査台110の長さ方向Aにおいて、検査時に被検体の胸部が位置する位置であり、かつ検査台110を長さ方向Aに沿って二等分する中心線170上の位置に設けられている。
検査部112は、くぼみ111の下部に配置されており、パルスレーザ光を照射する素子と超音波を検出する素子を備える。さらに、検査部112は、検出された超音波をデジタル信号に変換するAD変換器を備える。検査部112は、短時間発光するパルスレーザ光(レーザパルス)を人体に照射し、血管中のヘモグロビン等が光を吸収して熱膨張を起こす際に発生する微弱な超音波(光音響波)を検出する。検出された超音波のアナログ信号は、デジタル信号(光音響信号)に変換されて情報処理装置130へ送られる。情報処理装置130は、検査部112により得られたデジタル信号に基づいて光音響画像を生成する。
撮影装置120は、検査台110の上部に設置され、検査台110と被検体を含む画像を撮影する。本実施形態においては、撮影装置120は、中心線170の真上の位置に配置されているものとする。本実施形態においては、撮影装置120として可視光を撮影する監視カメラを用いるものとする。なお、撮影装置120は、可視光を撮影するカメラに限定されるものではない。他の例としては、撮影装置120は、赤外光を撮影するカメラやサーモカメラであってもよい。情報処理装置130は、撮影装置120により撮影された画像に基づいて、検査部112により得られた光音響画像に対応した検査部位を判別する。以下、説明の便宜上、撮影装置120により撮影された画像を外観画像、検査部112により検出された超音波に基づいて生成された光音響画像を検査画像と称することとする。
図2は、検査時の様子を示す図である。検査台110に被検体Pが腹臥位の状態で横たわっている。被検体Pの乳房は検査台110のくぼみ111に挿入されている。くぼみ111は被検体Pの下部にあるため図2には明示されていない。撮影装置120は、この状態で被検体Pの少なくとも一部と、検査台110の少なくとも一部を含む外観画像を撮影する。なお、本実施形態においては、撮影装置120により撮影される外観画像の撮影範囲には、被検体Pについては、被検体Pの少なくとも一部、より詳しくは少なくとも上半身が含まれているものとする。また、撮影範囲には、検査台110については、その全体が含まれているものとする。情報処理装置130は、撮影装置120で撮影された検査台
110と被検体Pの外観画像に解析処理を施し、当該画像から検査台110を認識して、中心線170を算出する。
図3は、第1の実施形態にかかる情報処理装置130のハードウェア構成を示す図である。情報処理装置130は、CPU301と、ROM302と、RAM303と、HDD304と、表示部305と、入力部306と、通信部307とを有している。CPU301は、ROM302に記憶された制御プログラムを読み出して各種処理を実行する。RAM303は、CPU301の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD304は、各種データや各種プログラム等を記憶する。なお、後述する情報処理装置130の機能や処理は、CPU301がROM302又はHDD304に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
表示部305は、各種情報を表示する。表示部305には、例えば、検査画像や外観画像等が表示される。入力部306は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部307は、ネットワークを介して画像形成装置等の外部装置との通信処理を行う。
図4は、情報処理装置130による検査制御処理を示すフローチャートである。S401において、CPU301は、ユーザ操作に応じて検査開始指示を受け付けると、検査部112に対し、検査を開始するよう制御する。検査部112は、被検体Pに対する光音響信号の計測を開始する。次に、S402において、CPU301は、検査部112から光音響信号を受信する。そして、CPU301は、光音響信号に画像再構成処理を施すことで、検査画像を生成する。CPU301は、得られた検査画像をHDD304等の記憶部に保存する。
次に、S403において、CPU301は、撮影装置120に対し撮影を指示する。撮影装置120は、指示に従い外観画像を撮影し、外観画像を情報処理装置130に送信する。CPU301は、外観画像を取得し、外観画像を記憶部に保存する。なお、CPU301は、外観画像のファイルパス等により外観画像を識別するものとする。
次に、S404において、CPU301は、S403において得られた外観画像に基づいて、検査台110の中心線170と、被検体Pの上半身の位置とに基づいて、検査部位が左乳房であるか右乳房であるかを判別する。具体的には、CPU301は、検査台110の画像テンプレート及び人間の上半身の画像テンプレートを予め学習しておき、検査台110の画像テンプレートとのマッチングにより、検査台110の領域を認識する。そして、CPU301は、認識された領域の上辺の中点と下辺の中点を結ぶ線を検査台110の中心線170として算出する。さらに、CPU301は、人間の上半身の画像テンプレートとのマッチングにより、被検体Pの上半身の領域を認識する。
そして、CPU301は、中心線170を境界とし被検体Pの左側に相当する領域171(図2)に位置する上半身の面積と、中心線170を境界とする被検体Pの右側に相当する領域172(図2)に位置する上半身の面積と、を比較する。そして、CPU301は、右側に相当する領域171の面積が左側に相当する領域172の面積に比べて大きい場合には(S404でYes)、処理をS405へ進める。一方、CPU301は、左側に相当する領域172の面積が右側に相当する領域171の面積以下の場合には(S404でNo)、処理をS406へ進める。なお、検査台における検査デバイス(検査部112)の位置は固定であり、すなわち、S404の処理は、被検体の少なくとも一部と検査デバイスとの位置関係を特定する位置特定処理の一例である。
S405において、CPU301は、S402において生成された検査画像の検査部位は左乳房であると判別し、その後処理をS407へ進める。一方で、S406において、CPU301は、S402において生成された検査画像の検査部位は右乳房であると判別し、その後処理をS407へ進める。S405及びS406の処理は、検査部位を特定する部位特定処理の一例である。S407において、CPU301は、S405又はS406において判別した検査部位を検査画像に対応付けて記憶部に保存する。ここで、検査画像は検査結果の一例であり、S407の処理は、検査部位を検査結果に対応付けて保存する保存処理の一例である。
次に、S408において、CPU301は、外観画像を視認不可な状態になるよう加工する。具体的には、CPU301は、外観画像を暗号化する。また、他の例としては、CPU301は、外観画像を個人が特定できないよう匿名化してもよい。また、他の例としては、CPU301は、加工に替えて、外観画像を記憶部から削除してもよい。
次に、S409において、CPU301は、ユーザ操作に応じて、終了指示を受け付けたか否かを確認する。CPU301は、終了指示を受け付けた場合には(S409でYes)、検査制御処理を終了する。一方、CPU301は、終了指示を受け付けなかった場合には(S409でNo)、処理をS401へ進め、処理を継続する。
なお、図4を参照しつつ説明した情報処理装置130の処理は、複数のCPUやROM、RAM等を協働させて実現されるものでもよく、また、異なるハードウェア回路により実現されるものでもよい。さらにまた他の例としては、情報処理装置130の処理は、複数の装置によって実現されてもよい。
以上のように、本実施形態の検査システム100においては、情報処理装置130は、検査画像に対応した外観画像に基づいて、検査部位を判別する。これにより、精度よく検査部位を特定することができる。情報処理装置130は、特に乳房検査において、左乳房と右乳房を判別することができる。
なお、第1の実施形態の第1の変形例としては、情報処理装置130は、検査画像及び外観画像の撮影に係る処理において、検査画像及び外観画像を記憶部に記憶しておき、その後、別のタイミングで検査部位の判別を行ってよい。この場合、CPU301は、検査画像及び外観画像をそれぞれ撮影時刻(取得時刻)に対応付けて記憶部に記憶しておく。そして、CPU301は、検査画像に対応した検査部位の判別を行う際には、処理対象の検査画像の撮影時刻に最も近い撮影時刻の外観画像を特定し、特定した外観画像に基づいて、検査部位の判別を行えばよい。また、外観画像の撮影タイミングは、検査画像の撮影前後であればよい。
また、第2の変形例としては、CPU301は、検査制御処理において、検査画像及び外観画像を適宜表示部305に表示するよう制御してもよい。例えば、CPU301は、S402及びS407において検査画像を表示するよう制御してもよい。また、例えば、CPU301は、S404において、外観画像を表示するよう制御してもよい。
また、第3の変形例としては、情報処理装置130が検査台110の中心線170の位置を求めるための処理は実施形態に限定されるものではない。他の例としては、画像マーカを利用してもよい。例えば、検査台110の四隅に長方形の頂点を形成する位置に画像マーカを設置しておく。そして、CPU301は、画像マーカのテンプレートとのマッチングにより、検査台110に設置された画像マーカを認識する。CPU301は、画像マーカの位置によって構成される長方形の上辺の中点と下辺の中点を結ぶ線として、検査台110の中心線170の位置を算出する。
また、他の例としては、検査台110の中心線170の位置に画像マーカを複数配置しておいてもよい。この場合、CPU301は、少なくとも2つの画像マーカを認識し、その位置を結ぶ線として検査台110の中心線170を算出すればよい。また、画像マーカを使用する方法においては、撮影装置120によって撮影された外観画像は、検査台110の全体を含まなくてもよく、画像マーカ及び被検体Pの一部を含んでいればよい。
第4の変形例としては、検査システム100は、PAT装置に限定されるものではない。他の例としては、超音波エコーを画像化する超音波診断装置であってもよい。この場合、検査部112は、超音波検査を行う機能を持ち、検査画像として超音波検査画像が生成される。
第5の変形例としては、検査システム100は、左側の臓器と右側の臓器を検査する際に、検査システムに対する被検体の位置や姿勢が変化して、それをカメラ等で撮影できる場合に適用することができる。そのような検査の一例として、乳房に対するX線マンモグラフィ検査が挙げられる。X線マンモグラフィ検査においては、検査システム100は乳房を固定する構成部分を含むものとする。左乳房を検査する場合と右乳房を検査する場合で、被検体の位置や姿勢が変化する。そこで、検査システム100は、被検体を背後や横方向からカメラ等で撮影することで、検査部位が左乳房及び右乳房のいずれかを判別することができる。
第6の変形例としては、情報処理装置130は、外観画像に基づいて、検査部位を特定すればよく、そのための具体的な処理は実施形態に限定されるものではない。例えば、情報処理装置130は、被検体がいない状態の検査台110の外観画像からくぼみ111を検出し、くぼみ111の重心位置を予め記憶しておく。そして、情報処理装置130は、被検体Pが横たわった状態の検査台110の外観像において、くぼみ111の重心位置上に被検体の上半身の左側及び右側のいずれが位置しているかに基づいて、検査部位を判別してもよい。また、上述のように、検査台110の四隅に画像マーカを配置する場合には、4つの画像マーカの位置の重心位置を用いてもよい。
第7の変形例としては、検査システム100は複数台の撮影装置120を備え、情報処理装置130は、複数台の撮影装置120により撮影された外観画像からデプスマップを作成し、デプスマップを解析してもよい。この場合、情報処理装置130は、例えば撮影装置120から検査台110までの距離を予め計測しておき、この距離よりも短い領域を被検体の領域とすればよい。また、他の例としては、検査システム100は、複数台の撮影装置120に替えて、デプスマップ(距離画像)を直接取得できるレンジセンサ等を備えてもよい。
第8の変形例としては、情報処理装置130による被検体の上半身の認識のための処理は実施形態に限定されるものではない。情報処理装置130は例えば、検査台110と被検体Pの色の違いを利用して、クロマキーの技術を用いて被検体の上半身を認識してもよい。また他の例としては、情報処理装置130は、被検体Pがいない状態の検査台110の外観画像との差分に基づいて、被検体の上半身を認識してもよい。
第9の変形例としては、情報処理装置130は、撮影装置120と検査台110との位置関係を示す情報を予め記憶しているものとしてもよい。この場合には、情報処理装置130は、被検体のみの外観画像と、位置関係を示す情報と、に基づいて、検査部位を判別してもよい。
(第2の実施形態)
次に、第2の実施形態に係る検査システムについて説明する。第2の実施形態に係る検査システムにおいては、検査台に検査部が設けられているのではなく、検査者が検査デバイスを手に持って検査を行う。以下、第2の実施形態に係る検査システムについて、第1の実施形態に係る検査システムと異なる点について説明する。
図5は、第2の実施形態に係る検査システム500の全体図である。図5(a)は、検査システム500を側面から見た図であり、図5(b)は、検査システム500を上部から見た図である。本実施形態に係る検査システム500は、超音波診断装置であり、人体を被検体とし、乳房の検査を行う。このとき、検査システム500はさらに、乳房の左右を自動で判別する。本実施形態に係る検査システム500においては、プローブ540により検査が行われるため、検査台510には、検査部は設けられていない。被検体が検査台510の上に仰臥位の状態で横たわり検査が行われる。
プローブ540は、検査デバイスの一例であり、検査画像を取得する。プローブ540は、検査者が手に持って操作できるようになっている。プローブ540には、超音波を発生する素子と受信する素子があり、接触した検査対象から反射される超音波を受信して画像として処理する。検査システム500は、超音波の画像を検査画像として得ることができる。また、プローブ540には、不図示のフリーズボタンが設けられており、フリーズボタンが押下された時点における超音波検査の静止画像を検査画像として取得する指示を入力することができる。撮影装置520は、検査台510の上部から、被検体とプローブ540の外観画像を撮影する。なお、情報処理装置530のハードウェア構成は、第1の実施形態において図3を参照しつつ説明した情報処理装置130のハードウェア構成と同様である。
図6は、検査時の様子を示す図である。検査台510に被検体Pが仰臥位の状態で横たわっている。操作者Qは、プローブ540を手に持ち、検査部位に接触させる。
図7は、情報処理装置130による検査制御処理を示すフローチャートである。S701において、CPU301は、ユーザ操作に応じて検査開始の指示を受け付けると、プローブ540に検査開始を指示し、プローブ540から超音波エコーの動画像を受信し、動画像を記憶部に保存する。次に、S702において、CPU301は、プローブ540から超音波エコーの静止画像を検査画像として取得する。なお、プローブ540は、ユーザによるプローブ540のフリーズボタンの押下に応じて静止画像の取得指示を受け付けると、取得指示を受け付けたタイミングに対応した超音波エコーの静止画像を取得し、情報処理装置530に送信する。
次に、S703において、CPU301は、撮影装置520に対し撮影を指示する。撮影装置520は、指示に従い、被検体Pとプローブ540の外観画像を撮影し、外観画像を情報処理装置530に送信する。CPU301は、外観画像を取得し、外観画像を記憶部に保存する。なお、CPU301は、外観画像のファイルパス等により外観画像を識別するものとする。
次に、S704において、CPU301は、S703において取得した外観画像に対し、被検体Pにおいてプローブ540が接触している接触部位を画像認識により特定する。接触部位の例としては、頭部、頸部、胸部、乳房、腹部、上肢、下肢等が挙げられる。CPU301は、例えば、テンプレートマッチングによる画像認識により接触部位を特定する。CPU301は、人体の画像テンプレート及びプローブ540の画像テンプレートを予め学習しておく。さらにCPU301は、人体の部位、例えば頭部、頸部、胸部、乳房、腹部、上肢、下肢などの人体における位置関係を学習しておく。そして、CPU301は、人体の画像テンプレートとのマッチングにより、被検体601の人体の領域を認識す
る。CPU301はまた、プローブ540の画像テンプレートとのマッチングにより、プローブ540の位置を取得する。さらに、CPU301は、被検体601の人体の領域とプローブ540の位置を、人体の部位の人体における位置関係とマッチングすることにより、接触部位を算出する。
次に、S705において、CPU301は、プローブ540の種類を特定する。プローブ540の種類の一例として、リニア型、コンベックス型、セクタ型が挙げられる。次に、S706において、CPU301は、S704において特定した接触部位と、特定したプローブの種類と、に基づいて検査部位を特定する。CPU301は、例えば、プローブ540の種類がリニア型又はコンベックス型である場合は、体表近くの検査を行っているので、接触部位を検査部位として判別する。CPU301はまた、接触部位が胸部で、プローブ540の種類がセクタ型である場合は、深部の検査を行っているとして、心臓を検査部位として判別する。
次に、S707において、CPU301は、S706において判別した検査部位を検査画像に対応付けて記憶部に保存する。続く、S708及びS709の処理は、それぞれ第1の実施形態において図4を参照しつつ説明したS408及びS409の処理と同様である。なお、第2の実施形態に係る検査システム500のこれ以外の構成及び処理は、第1の実施形態に係る検査システム100の構成及び処理と同様である。
以上のように、本実施形態の検査システム500においては、情報処理装置530は検査画像に対応した外観画像に基づいて、検査部位を精度よく判別することができる。情報処理装置130は、特に乳房検査において、左乳房と右乳房を判別することができる。
第2の実施形態の第1の変形例としては、検査開始及び検査終了の指示を入力するためのユーザインタフェースとしてのボタンがプローブ540に設けられていてもよい。この場合、CPU301は、プローブ540から検査開始及び検査終了の指示を受け付ける。
第2の変形例としては、検査システム500は超音波診断装置に替えて、PAT装置を利用したものでもよい。この場合、プローブ540は、PATの検査情報を取得する。すなわち、プローブ540は、パルスレーザ光を照射する素子と超音波を検出する素子を備える。さらに、プローブ540は、検出された超音波をデジタル信号に変換するAD変換器を備える。また、光超音波イメージングの検査情報を取得する指示を出す機能構成部分として、フリーズボタンや入力部等のユーザインタフェースを使用することができる。
第3の変形例としては、例えば、検査時の検査台510における被検体の位置姿勢が決まっている場合には、撮影装置520に対する被検体の位置が予め分かっている。この場合には、情報処理装置530は、被検体と撮影装置520との位置関係を示す情報を予め記憶しておく。そして、情報処理装置530は、プローブ540のみの外観画像と、位置関係を示す情報と、に基づいて、接触部位を特定してもよい。情報処理装置530は、検査デバイスの少なくとも一部分の外観画像に基づいて接触部位を特定すればよく、プローブ540全体が外観画像に含まれている必要はない。さらに、このように被検体が写らない場合には、外観画像の匿名化や暗号化、削除は行わなくともよい。
(第3の実施形態)
次に、第3の実施形態に係る検査システム500について説明する。第3の実施形態に係る検査システム500の構成は、第2の実施形態に係る検査システム500と同様である。以下、第3の実施形態に係る検査システム500について、第2の実施形態に係る検査システム500と異なる点について説明する。図8は、第3の実施形態に係る検査部位の判別処理を示すフローチャートである。CPU301は、第2の実施形態において図7
を参照しつつ説明したS704の処理の後、図8に示す判別処理を行う。
S801において、CPU301は、外観画像から接触部位が胸部であるか否かを確認する。CPU301は、胸部の場合には(S801でYes)、処理をS802へ進める。一方、CPU301は、胸部でない場合には(S801でNo)、処理をS811へ進める。S802において、CPU301は、接触部位が乳房であるか否かを確認する。CPU301は、乳房の場合には(S802でYes)、処理をS803へ進める。一方、CPU301は、接触部位が乳房でない場合には(S802でNo)、処理をS808へ進める。
S803において、CPU301は、外観画像に基づいて、プローブ540が被検体の上半身の右側と左側のいずれの位置にあるかを特定する。具体的には、CPU301は、まず人体の上半身及び頭部の画像テンプレートに基づいて、外観画像において被検体Pの上半身及び頭部を認識する。さらに、CPU301は、頭部を画像の上側と判別し、プローブ540の画像テンプレートに基づいて、プローブ540を認識する。CPU301はさらに、頭部の一番上側の点である頭頂点と、プローブ540の中心点を算出する。CPU301は、例えばプローブ540を含む最小の円の中心をプローブ540の中心点として算出する。そして、CPU301は、頭頂点とプローブ540の中心点を結ぶ直線を、判別線として算出する。
図9は、判別線900を示す図である。S803において、CPU301は、判別線900を境界として被写体Pの右側に相当する領域901に位置する被検体Pの上半身の面積と、判別線900を境界として被写体Pの左側に相当する領域902に位置する被検体Pの上半身の面積とを比較する。CPU301は、領域901に位置する被検体Pの上半身の面積が、領域902に位置する被検体Pの上半身の面積よりも大きい場合には、プローブ540が上半身の左側に位置すると判断する。一方、CPU301は、領域902に位置する上半身の面積が領域901に位置する上半身の面積以下の場合には、プローブ540が上半身の右側に位置すると判断する。
図8に戻り、S803の処理の後、S804において、CPU301は、プローブ540の種類を特定する。本処理は、図7に示すS705の処理と同様である。CPU301は、プローブ540の種類がリニア型の場合には(S804でYes)、処理をS805へ進める。一方、CPU301は、リニア型でない場合には(S804でNo)、処理をS808へ進める。S805において、CPU301は、S803においてプローブ540が上半身の左側に位置すると判断した場合には(S805でYes)、処理をS806へ進める。一方、CPU301は、S803においてプローブ540が上半身の右側に位置すると判断した場合には(S805でNo)、処理をS807へ進める。S806において、CPU301は、左乳房を検査部位として判別し、その後処理を図7に示すS707へ進める。S807において、CPU301は、右乳房を検査部位として判別し、その後処理をS707へ進める。
また、S808においては、CPU301は、プローブ540の種類を特定する。CPU301は、プローブ540の種類がセクタ型の場合には(S808でYes)、処理をS809へ進める。一方、CPU301は、セクタ型でない場合には(S808でNo)、処理をS810へ進める。S809において、CPU301は、心臓を検査部位として判別し、その後処理をS707へ進める。一方で、S810において、CPU301は、胸部を検査部位として判別し、その後処理をS707へ進める。
また、S811において、CPU301は、S704において特定された接触部位を検査部位として判別し、その後処理をS707へ進める。なお、第3の実施形態に係る検査
システム500のこれ以外の構成及び処理は、他の実施形態に係る検査システムの構成及び処理と同様である。
以上のように、第3の実施形態に係る検査システム500においては、情報処理装置530は、検査デバイスと被検体との位置関係に基づいて、検査部位を判別する。これにより、情報処理装置530は、精度よく検査部位を判別することができる。情報処理装置530は、特に、胸部にプローブ(検査デバイス)がある場合に、左乳房、右乳房、心臓を検査部位として判別することができる。
第3の実施形態の変形例としては、プローブの位置を特定する処理(S803)は、実施形態に限定されるものではない。他の例としては、情報処理装置530は、図10に示すように、CPU301は、被検体Pの上半身を認識し、上半身の左右がほぼ対象となる中心位置と頭頂部を結ぶ直線を、中心線1000として特定する。この場合、CPU301は、プローブ540が中心線1000を境界とし被写体Pの右側に相当する領域1001にある場合には、プローブ540は、上半身の右側に位置すると判断する。一方、CPU301は、プローブ540が中心線1000を境界とし被写体Pの左側に相当する領域1002にある場合には、プローブ540は、上半身の左側に位置すると判断する。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
<その他の実施形態>
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記憶媒体(または記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮影装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記憶した記憶媒体を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
100 検査システム
110 検査台
120 撮影装置
130 情報処理装置
そこで、本発明は、情報処理装置であって、撮影手段によって、検査デバイスと被検体の少なくとも一部とが撮影された外観画像を取得する取得手段と、人体の画像テンプレート及び検査デバイスの画像テンプレートを予め学習し、前記外観画像と前記人体の画像テンプレートとのマッチングにより、前記被検体の領域を特定し、前記外観画像と前記検査デバイスの画像テンプレートとのマッチングにより、前記検査デバイスの位置を特定する特定手段と、前記特定手段によって特定された前記被検体の領域と前記検査デバイスの位置とに基づいて、前記検査デバイスが接触している接触部位を特定する部位特定手段とを有することを特徴とする。

Claims (14)

  1. 撮影手段によって、検査デバイスと被検体の少なくとも一部とが撮影された外観画像を取得する取得手段と、
    前記外観画像に基づいて、前記検査デバイスと前記被検体の少なくとも一部との位置関係を取得し、前記位置関係及び前記検査デバイスの種類に基づいて、前記被検体の検査部位を特定する部位特定手段とを有することを特徴とする情報処理装置。
  2. 前記取得手段は、前記被検体の上半身の検査時の状態を示す外観画像を取得し、
    前記部位特定手段は、前記検査部位が左乳房及び右乳房の何れであるかを特定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記部位特定手段により特定された前記検査部位を前記被検体の検査結果に対応付けて記憶手段に保存する保存手段をさらに有することを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記被検体の検査結果と前記外観画像とを、それぞれの取得時刻に基づいて対応付けて記憶手段に保存する保存手段をさらに有することを特徴とする請求項1又は2に記載の情報処理装置。
  5. 前記取得手段は、前記検査デバイスが設置され被検体が載せられた検査台の中心線の位置に配置された画像マーカと、前記被検体の少なくとも一部と、が撮影された前記外観画像を取得し、
    前記部位特定手段は、前記外観画像に示される前記被検体の少なくとも一部と前記検査台との位置関係に基づいて、前記検査デバイスと前記被検体の少なくとも一部との位置関係を取得することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
  6. 前記取得手段は、前記検査デバイスが設置され被検体が載せられた検査台の全体と、前記被検体の少なくとも一部と、が撮影された前記外観画像を取得し、
    前記部位特定手段は、前記外観画像に示される前記被検体の少なくとも一部と前記検査台との位置関係に基づいて、前記検査デバイスと前記被検体の少なくとも一部との位置関係を取得することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
  7. 前記部位特定手段は、前記検査デバイス又は前記検査デバイスが設置された検査台と前記撮影手段との位置関係を示す情報と、前記外観画像と、に基づいて、前記検査デバイスと前記被検体の少なくとも一部との位置関係を取得することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
  8. 前記部位特定手段による前記検査部位を特定した後、前記外観画像を削除する削除手段をさらに有することを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。
  9. 前記部位特定手段による前記検査部位を特定した後、前記外観画像を視認不可に加工する加工手段をさらに有することを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。
  10. 撮影手段によって、検査デバイスと被検体の少なくとも一部とが撮影された外観画像を取得する取得手段と、
    前記外観画像に基づいて、前記検査デバイスと前記被検体の少なくとも一部との位置関係を特定する位置特定手段と、
    前記位置関係に基づいて、前記被検体の検査部位を特定する部位特定手段と、
    前記被検体が特定できないように前記外観画像を匿名化する加工手段とを有することを特徴とする情報処理装置。
  11. 被検体の検査を行う検査手段と、
    検査デバイスと前記被検体の少なくとも一部とを含む外観画像を撮影する撮影手段と、
    前記外観画像に基づいて、前記検査デバイスと前記被検体の少なくとも一部との位置関係を取得し、前記位置関係及び前記検査デバイスの種類に基づいて、前記被検体の検査部位を特定する部位特定手段とを有することを特徴とする検査システム。
  12. 被検体の検査を行う検査手段と、
    検査デバイスと前記被検体の少なくとも一部とを含む外観画像を撮影する撮影手段と、
    前記外観画像に基づいて、前記検査デバイスと前記被検体の少なくとも一部との位置関係を特定する位置特定手段と、
    前記位置関係に基づいて、前記被検体の検査部位を特定する部位特定手段と、
    前記被検体が特定できないように前記外観画像を匿名化する加工手段とを有することを特徴とする検査システム。
  13. 情報処理装置が実行する情報処理方法であって、
    撮影手段によって、検査デバイスと被検体の少なくとも一部とが撮影された外観画像を取得する取得ステップと、
    前記外観画像に基づいて、前記検査デバイスと前記被検体の少なくとも一部との位置関係を取得し、前記位置関係及び前記検査デバイスの種類に基づいて、前記被検体の検査部位を特定する部位特定ステップとを含むことを特徴とする情報処理方法。
  14. 情報処理装置が実行する情報処理方法であって、
    撮影手段によって、検査デバイスと被検体の少なくとも一部とが撮影された外観画像を取得する取得ステップと、
    前記外観画像に基づいて、前記検査デバイスと前記被検体の少なくとも一部との位置関係を特定する位置特定ステップと、
    前記位置関係に基づいて、前記被検体の検査部位を特定する部位特定ステップと、
    前記被検体が特定できないように前記外観画像を匿名化する加工ステップとを含むことを特徴とする情報処理方法。
JP2021124297A 2017-04-04 2021-07-29 情報処理装置、検査システム及び情報処理方法 Active JP7247280B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021124297A JP7247280B2 (ja) 2017-04-04 2021-07-29 情報処理装置、検査システム及び情報処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017074323A JP6921589B2 (ja) 2017-04-04 2017-04-04 情報処理装置、検査システム及び情報処理方法
JP2021124297A JP7247280B2 (ja) 2017-04-04 2021-07-29 情報処理装置、検査システム及び情報処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017074323A Division JP6921589B2 (ja) 2017-04-04 2017-04-04 情報処理装置、検査システム及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2021168984A true JP2021168984A (ja) 2021-10-28
JP7247280B2 JP7247280B2 (ja) 2023-03-28

Family

ID=64279838

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017074323A Active JP6921589B2 (ja) 2017-04-04 2017-04-04 情報処理装置、検査システム及び情報処理方法
JP2021124297A Active JP7247280B2 (ja) 2017-04-04 2021-07-29 情報処理装置、検査システム及び情報処理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017074323A Active JP6921589B2 (ja) 2017-04-04 2017-04-04 情報処理装置、検査システム及び情報処理方法

Country Status (1)

Country Link
JP (2) JP6921589B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10751021B2 (en) * 2018-12-20 2020-08-25 General Electric Company System and method for acquiring an x-ray image
JP7321836B2 (ja) 2019-08-26 2023-08-07 キヤノン株式会社 情報処理装置、検査システム及び情報処理方法
JP7362354B2 (ja) * 2019-08-26 2023-10-17 キヤノン株式会社 情報処理装置、検査システム及び情報処理方法
JPWO2023171272A1 (ja) * 2022-03-09 2023-09-14

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015131099A (ja) * 2013-12-12 2015-07-23 コニカミノルタ株式会社 超音波診断装置、超音波画像処理方法、及びコンピュータ読み取り可能な非一時的な記録媒体
JP2015202222A (ja) * 2014-04-15 2015-11-16 株式会社東芝 X線画像診断装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4469444B2 (ja) * 1999-10-15 2010-05-26 東芝医用システムエンジニアリング株式会社 超音波画像診断装置
JP4960061B2 (ja) * 2006-10-27 2012-06-27 株式会社東芝 超音波診断装置及び診断プログラム
JP2012010772A (ja) * 2010-06-29 2012-01-19 Fujifilm Corp 放射線画像撮影装置
JP5751899B2 (ja) * 2011-04-08 2015-07-22 株式会社日立メディコ 医用画像処理装置及び医用画像診断装置
US20140171799A1 (en) * 2012-12-13 2014-06-19 General Electric Company Systems and methods for providing ultrasound probe location and image information
KR20150021694A (ko) * 2013-08-21 2015-03-03 삼성전자주식회사 엑스선 영상 장치 및 그 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015131099A (ja) * 2013-12-12 2015-07-23 コニカミノルタ株式会社 超音波診断装置、超音波画像処理方法、及びコンピュータ読み取り可能な非一時的な記録媒体
JP2015202222A (ja) * 2014-04-15 2015-11-16 株式会社東芝 X線画像診断装置

Also Published As

Publication number Publication date
JP2018175007A (ja) 2018-11-15
JP6921589B2 (ja) 2021-08-18
JP7247280B2 (ja) 2023-03-28

Similar Documents

Publication Publication Date Title
JP7247280B2 (ja) 情報処理装置、検査システム及び情報処理方法
KR101922180B1 (ko) 초음파 영상 처리 장치 및 초음파 영상 처리 방법
US10433709B2 (en) Image display device, image display method, and program
US10219782B2 (en) Position correlated ultrasonic imaging
KR102307356B1 (ko) 컴퓨터 보조 진단 장치 및 방법
JP6327900B2 (ja) 被検体情報取得装置、乳房検査装置および装置
JP5685133B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
US9339254B2 (en) Object information acquiring apparatus
CN112386278B (zh) 用于相机辅助超声扫描设置和控制的方法和系统
US20120262460A1 (en) Image processing apparatus, and processing method and non-transitory computer-readable storage medium for the same
KR102273020B1 (ko) 의료 영상 정합 방법 및 그 장치
CN109313698B (zh) 同步的表面和内部肿瘤检测
JP7362354B2 (ja) 情報処理装置、検査システム及び情報処理方法
KR20170007209A (ko) 의료 영상 장치 및 그 동작 방법
CN112508840B (zh) 信息处理设备、检查系统、信息处理方法和存储介质
KR20180070878A (ko) 초음파 프로브의 주석 정보를 제공하는 방법 및 초음파 시스템
US20240335183A1 (en) Three-dimensional ultrasound imaging support apparatus, three-dimensional ultrasound imaging support method, and three-dimensional ultrasound imaging support program
KR20160046670A (ko) 영상 진단 보조 장치 및 방법
KR20150129506A (ko) 의료 영상 정합 방법 및 그 장치
JP6982978B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10076311B2 (en) Method and apparatus for registering medical images
JP5677399B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
KR20160057024A (ko) 마커리스 3차원 객체추적 장치 및 그 방법
CN109620140B (zh) 图像处理装置、图像处理方法和存储介质
JP6338510B2 (ja) 情報処理装置、情報処理方法、情報処理システム、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210825

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230315

R151 Written notification of patent or utility model registration

Ref document number: 7247280

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151