JP2015036858A - 医用情報処理装置、システム及びプログラム - Google Patents

医用情報処理装置、システム及びプログラム Download PDF

Info

Publication number
JP2015036858A
JP2015036858A JP2013167837A JP2013167837A JP2015036858A JP 2015036858 A JP2015036858 A JP 2015036858A JP 2013167837 A JP2013167837 A JP 2013167837A JP 2013167837 A JP2013167837 A JP 2013167837A JP 2015036858 A JP2015036858 A JP 2015036858A
Authority
JP
Japan
Prior art keywords
information
subject
symptom
medical
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013167837A
Other languages
English (en)
Other versions
JP6598422B2 (ja
Inventor
弘祐 坂上
Hirosuke Sakagami
弘祐 坂上
和樹 宇都宮
Kazuki Utsunomiya
和樹 宇都宮
池田 智
Satoshi Ikeda
智 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2013167837A priority Critical patent/JP6598422B2/ja
Publication of JP2015036858A publication Critical patent/JP2015036858A/ja
Application granted granted Critical
Publication of JP6598422B2 publication Critical patent/JP6598422B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】診断を支援することができる医用情報処理装置、システム及びプログラムを提供すること。
【解決手段】医用情報処理装置は、記憶部と、取得部と、判定部と、出力制御部とを備える。記憶部は、症状を表す症状情報と、症状を有する被検体の動作を表す症状動作情報とを対応付けて記憶する。取得部は、被検体の動作を表す動作情報を取得する。判定部は、前記動作情報と、前記症状動作情報とを比較することで、前記被検体の症状情報を判定する。出力制御部は、前記被検体の症状情報に基づいて、当該症状の診断を支援する診断支援情報を出力する。
【選択図】図5

Description

本発明の実施形態は、医用情報処理装置、システム及びプログラムに関する。
従来、リハビリテーション(rehabilitation)においては、疾病や外傷、老化現象などの様々な原因により生じた心身の障害や、先天的な障害を有する者がより良い生活を送ることを目的として、多数の専門家による連携した支援が行われている。例えば、リハビリテーションは、リハビリテーション専門医、リハビリテーション看護師、理学療法士、作業療法士、言語聴覚士、臨床心理士、義肢装具士、ソーシャルワーカーなどの多数の専門家によって連携した支援が行われている。
一方、近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ(motion capture)技術の開発が進んでいる。モーションキャプチャ技術の方式としては、例えば、光学式、機械式、磁気式、カメラ式などが知られている。一例を挙げると、人物にマーカを装着させて、カメラなどのトラッカーによってマーカを検出し、検出したマーカを処理することにより人物の動きをデジタル的に記録するカメラ方式が知られている。また、マーカ及びトラッカーを用いない方式としては、赤外線センサを利用して、センサから人物までの距離を計測し、該人物の大きさや骨格のさまざまな動きを検出することで人物の動きをデジタル的に記録する方式が知られている。このような方式を利用したセンサとしては、例えば、Kinect(登録商標)が知られている。
特開平9−56697号公報
本発明が解決しようとする課題は、診断を支援することができる医用情報処理装置、システム及びプログラムを提供することである。
実施形態に係る医用情報処理装置は、記憶部と、取得部と、判定部と、出力制御部とを備える。記憶部は、疾患を表す疾患情報と、疾患を有する被検体の動作を表す疾患動作情報とを対応付けて記憶する。取得部は、被検体の動作を表す動作情報を取得する。判定部は、前記動作情報と、前記疾患動作情報とを比較することで、前記被検体の疾患情報を判定する。出力制御部は、前記被検体の疾患情報に基づいて、当該疾患の診断を支援する診断支援情報を出力する。
図1は、第1の実施形態に係る医用情報処理装置の構成例を示すブロック図である。 図2Aは、第1の実施形態に係る動作情報生成部の処理を説明するための図である。 図2Bは、第1の実施形態に係る動作情報生成部の処理を説明するための図である。 図2Cは、第1の実施形態に係る動作情報生成部の処理を説明するための図である。 図3は、第1の実施形態に係る動作情報生成部によって生成される骨格情報の一例を示す図である。 図4Aは、変形性膝関節症の病態について説明するための図である。 図4Bは、変形性膝関節症の病態について説明するための図である。 図4Cは、変形性膝関節症の病態について説明するための図である。 図5は、第1の実施形態に係る医用情報処理装置の詳細な構成例を示すブロック図である。 図6は、第1の実施形態に係る動作情報記憶部によって記憶される動作情報の一例を示す図である。 図7は、第1の実施形態に係る疾患動作情報記憶部によって記憶される情報の一例を示す図である。 図8は、第1の実施形態に係る診断支援情報記憶部によって記憶される情報の一例を示す図である。 図9Aは、第1の実施形態に係る評価値を用いた判定処理を説明するための図である。 図9Bは、第1の実施形態に係る評価値を用いた判定処理を説明するための図である。 図10Aは、第1の実施形態に係る軌跡を用いた判定処理を説明するための図である。 図10Bは、第1の実施形態に係る軌跡を用いた判定処理を説明するための図である。 図11は、第1の実施形態に係る医用情報処理装置による処理手順を示すフローチャートである。 図12は、第1の実施形態の変形例1に係る疾患動作情報記憶部に記憶される情報の一例を示す図である。 図13は、第2の実施形態に係る医用情報処理システム1の構成例を示すブロック図である。 図14は、サービス提供装置に適用される場合の一例を説明するための図である。
以下、図面を参照して、実施形態に係る医用情報処理装置、システム及びプログラムを説明する。なお、以下で説明する医用情報処理装置は、医用情報処理装置単体として用いられてもよく、或いは、例えば、カルテシステムや、リハビリ部門システムなどのシステムに組み込まれて用いられる場合であってもよい。
(第1の実施形態)
図1は、第1の実施形態に係る医用情報処理装置100の構成例を示すブロック図である。第1の実施形態に係る医用情報処理装置100は、例えば、医療機関や自宅、職場等において行われるリハビリテーションを支援する装置である。ここで、「リハビリテーション」とは、障害、慢性疾患、老年病など、治療期間が長期にわたる被検体の潜在能力を高めて、生活機能ひいては、社会的機能を回復、促進するための技術や方法を指す。かかる技術や方法としては、例えば、生活機能、社会的機能を回復、促進するための機能訓練などが含まれる。ここで、機能訓練としては、例えば、歩行訓練や関節可動域訓練などが挙げられる。また、リハビリテーションの対象となる者を「対象者」と表記する。この対象者は、例えば、病人やけが人、高齢者、障害者等である。また、リハビリテーションが行われる際に、対象者を介助する者を「介助者」と表記する。この介助者は、例えば、医療機関に従事する医師、理学療法士、看護師等の医療従事者や、対象者を自宅で介護する介護士、家族、友人等である。また、リハビリテーションは、「リハビリ」とも略記する。
図1に示すように、第1の実施形態において、医用情報処理装置100は、動作情報収集部10に接続される。
動作情報収集部10は、リハビリテーションが行われる空間における人物や物体等の動作を検知し、人物や物体等の動作を表す動作情報を収集する。なお、動作情報については、後述の動作情報生成部14の処理を説明する際に詳述する。また、動作情報収集部10としては、例えば、Kinect(登録商標)が用いられる。
図1に示すように、動作情報収集部10は、カラー画像収集部11と、距離画像収集部12と、音声認識部13と、動作情報生成部14とを有する。なお、図1に示す動作情報収集部10の構成は、あくまでも一例であり、実施形態はこれに限定されるものではない。
カラー画像収集部11は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、カラー画像情報を収集する。例えば、カラー画像収集部11は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像収集部11は、その電気信号をデジタルデータに変換することにより、撮影範囲に対応する1フレームのカラー画像情報を生成する。この1フレーム分のカラー画像情報には、例えば、撮影時刻情報と、この1フレームに含まれる各画素にRGB(Red Green Blue)値が対応付けられた情報とが含まれる。カラー画像収集部11は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで、撮影範囲を動画撮影する。なお、カラー画像収集部11によって生成されるカラー画像情報は、各画素のRGB値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像収集部11は、受光素子として、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)を有する。
距離画像収集部12は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、距離画像情報を収集する。例えば、距離画像収集部12は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像収集部12は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像収集部12との距離を求め、撮影範囲に対応する1フレームの距離画像情報を生成する。この1フレーム分の距離画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する被写体と距離画像収集部12との距離が対応付けられた情報とが含まれる。距離画像収集部12は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで、撮影範囲を動画撮影する。なお、距離画像収集部12によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像収集部12は、受光素子として、例えば、CMOSやCCDを有する。この受光素子は、カラー画像収集部11で用いられる受光素子と共用されても良い。また、距離画像収集部12によって算出される距離の単位は、例えば、メートル[m]である。
音声認識部13は、周囲の音声を集音し、音源の方向特定及び音声認識を行う。音声認識部13は、複数のマイクを備えたマイクアレイを有し、ビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術である。例えば、音声認識部13は、マイクアレイを用いたビームフォーミングによって、音源の方向を特定する。また、音声認識部13は、既知の音声認識技術を用いて、集音した音声から単語を認識する。すなわち、音声認識部13は、例えば、音声認識技術によって認識された単語、その単語が発せられた方向及びその単語を認識した時刻が対応付けられた情報を、音声認識結果として生成する。
動作情報生成部14は、人物や物体等の動作を表す動作情報を生成する。この動作情報は、例えば、人物の動作(ジェスチャー)を複数の姿勢(ポーズ)の連続として捉えることにより生成される。概要を説明すると、動作情報生成部14は、まず、人体パターンを用いたパターンマッチングにより、距離画像収集部12によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、動作情報生成部14は、次に、距離画像座標系における各関節の座標を、リハビリテーションが行われる3次元空間の座標系(以下、「世界座標系」と呼ぶ)で表される値に変換する。この世界座標系で表される各関節の座標が、1フレーム分の骨格情報となる。また、複数フレーム分の骨格情報が、動作情報である。以下、第1の実施形態に係る動作情報生成部14の処理を具体的に説明する。
図2Aから図2Cは、第1の実施形態に係る動作情報生成部14の処理を説明するための図である。図2Aには、距離画像収集部12によって生成される距離画像の一例を示す。なお、図2Aにおいては、説明の便宜上、線画で表現された画像を示すが、実際の距離画像は、距離に応じた色の濃淡で表現された画像等である。この距離画像において、各画素は、距離画像の左右方向における「画素位置X」と、距離画像の上下方向における「画素位置Y」と、当該画素に対応する被写体と距離画像収集部12との「距離Z」とを対応付けた3次元の値を有する。以下では、距離画像座標系の座標の値を、この3次元の値(X,Y,Z)で表記する。
第1の実施形態において、動作情報生成部14は、様々な姿勢に対応する人体パターンを、例えば、学習により予め記憶している。動作情報生成部14は、距離画像収集部12によって距離画像情報が生成されるごとに、生成された各フレームの距離画像情報を取得する。そして、動作情報生成部14は、取得した各フレームの距離画像情報に対して人体パターンを用いたパターンマッチングを行う。
ここで、人体パターンについて説明する。図2Bには、人体パターンの一例を示す。第1の実施形態において、人体パターンは、距離画像情報とのパターンマッチングに用いられるパターンであるので、距離画像座標系で表現され、また、距離画像に描出される人物と同様、人体の表面の情報(以下、「人体表面」と呼ぶ)を有する。例えば、人体表面は、その人物の皮膚や衣服の表面に対応する。更に、人体パターンは、図2Bに示すように、人体の骨格を形成する各関節の情報を有する。すなわち、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。
図2Bに示す例では、人体パターンは、関節2aから関節2tまでの20点の関節の情報を有する。このうち、関節2aは、頭部に対応し、関節2bは、両肩の中央部に対応し、関節2cは、腰に対応し、関節2dは、臀部の中央部に対応する。また、関節2eは、右肩に対応し、関節2fは、右肘に対応し、関節2gは、右手首に対応し、関節2hは、右手に対応する。また、関節2iは、左肩に対応し、関節2jは、左肘に対応し、関節2kは、左手首に対応し、関節2lは、左手に対応する。また、関節2mは、右臀部に対応し、関節2nは、右膝に対応し、関節2oは、右足首に対応し、関節2pは、右足の足根に対応する。また、関節2qは、左臀部に対応し、関節2rは、左膝に対応し、関節2sは、左足首に対応し、関節2tは、左足の足根に対応する。
なお、図2Bでは、人体パターンが20点の関節の情報を有する場合を説明したが、実施形態はこれに限定されるものではなく、関節の位置及び数は操作者が任意に設定して良い。例えば、四肢の動きの変化のみを捉える場合には、関節2aから関節2dまでのうち、関節2b及び関節2cの情報は取得しなくても良い。また、右手の動きの変化を詳細に捉える場合には、関節2hのみならず、右手の指の関節を新たに設定して良い。なお、図2Bの関節2a、関節2h、関節2l、関節2p、関節2tは、骨の末端部分であるためいわゆる関節とは異なるが、骨の位置及び向きを表す重要な点であるため、説明の便宜上、ここでは関節として説明する。
動作情報生成部14は、かかる人体パターンを用いて、各フレームの距離画像情報とのパターンマッチングを行う。例えば、動作情報生成部14は、図2Bに示す人体パターンの人体表面と、図2Aに示す距離画像とをパターンマッチングすることで、距離画像情報から、ある姿勢の人物を抽出する。こうして、動作情報生成部14は、距離画像に描出された人物の人体表面の座標を得る。また、上述したように、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。このため、動作情報生成部14は、距離画像に描出された人物の人体表面の座標から、当該人物内の各関節の座標を算出する。こうして、図2Cに示すように、動作情報生成部14は、距離画像情報から、人体の骨格を形成する各関節の座標を取得する。なお、ここで得られる各関節の座標は、距離座標系の座標である。
なお、動作情報生成部14は、パターンマッチングを行う際、各関節の位置関係を表す情報を補助的に用いても良い。各関節の位置関係を表す情報には、例えば、関節同士の連結関係(例えば、「関節2aと関節2bとが連結」等)や、各関節の可動域が含まれる。関節は、2つ以上の骨を連結する部位である。姿勢の変化に応じて骨と骨とがなす角は変化するものであり、また、関節に応じてその可動域は異なる。例えば、可動域は、各関節が連結する骨同士がなす角の最大値及び最小値等で表される。例えば、動作情報生成部14は、人体パターンを学習する際に、各関節の可動域も学習し、各関節に対応付けてこれを記憶する。
続いて、動作情報生成部14は、距離画像座標系における各関節の座標を、世界座標系で表される値に変換する。世界座標系とは、リハビリテーションが行われる3次元空間の座標系であり、例えば、動作情報収集部10の位置を原点とし、水平方向をx軸、鉛直方向をy軸、xy平面に直交する方向をz軸とする座標系である。なお、このz軸方向の座標の値を「深度」と呼ぶことがある。
ここで、距離画像座標系から世界座標系へ変換する処理について説明する。第1の実施形態において、動作情報生成部14は、距離画像座標系から世界座標系へ変換するための変換式を予め記憶しているものとする。例えば、この変換式は、距離画像座標系の座標、及び当該座標に対応する反射光の入射角を入力として、世界座標系の座標を出力する。例えば、動作情報生成部14は、ある関節の座標(X1,Y1,Z1)、及び、当該座標に対応する反射光の入射角をこの変換式に入力して、ある関節の座標(X1,Y1,Z1)を世界座標系の座標(x1,y1,z1)に変換する。なお、距離画像座標系の座標と、反射光の入射角との対応関係は既知であるので、動作情報生成部14は、座標(X1,Y1,Z1)に対応する入射角を変換式に入力することができる。また、ここでは、動作情報生成部14が距離画像座標系の座標を世界座標系の座標に変換する場合を説明したが、世界座標系の座標を距離座標系の座標に変換することも可能である。
そして、動作情報生成部14は、この世界座標系で表される各関節の座標から骨格情報を生成する。図3は、動作情報生成部14によって生成される骨格情報の一例を示す図である。各フレームの骨格情報は、当該フレームの撮影時刻情報と、各関節の座標とを含む。例えば、動作情報生成部14は、図3に示すように、関節識別情報と座標情報とを対応付けた骨格情報を生成する。なお、図3において、撮影時刻情報は図示を省略する。関節識別情報は、関節を識別するための識別情報であり、予め設定されている。例えば、関節識別情報「2a」は、頭部に対応し、関節識別情報「2b」は、両肩の中央部に対応する。他の関節識別情報についても同様に、各関節識別情報は、それぞれ対応する関節を示す。また、座標情報は、各フレームにおける各関節の座標を世界座標系で示す。
図3の1行目には、関節識別情報「2a」と、座標情報「(x1,y1,z1)」とが対応付けられている。つまり、図3の骨格情報は、あるフレームにおいて頭部が座標(x1,y1,z1)の位置に存在することを表す。また、図3の2行目には、関節識別情報「2b」と、座標情報「(x2,y2,z2)」とが対応付けられている。つまり、図3の骨格情報は、あるフレームにおいて両肩の中央部が座標(x2,y2,z2)の位置に存在することを表す。また、他の関節についても同様に、あるフレームにおいてそれぞれの関節がそれぞれの座標で表される位置に存在することを表す。
このように、動作情報生成部14は、距離画像収集部12から各フレームの距離画像情報を取得するごとに、各フレームの距離画像情報に対してパターンマッチングを行い、距離画像座標系から世界座標系に変換することで、各フレームの骨格情報を生成する。そして、動作情報生成部14は、生成した各フレームの骨格情報を、医用情報処理装置100へ出力し、後述の動作情報記憶部131へ格納する。
なお、動作情報生成部14の処理は、上述した手法に限られるものではない。例えば、上述では、動作情報生成部14が人体パターンを用いてパターンマッチングを行う手法を説明したが、実施形態はこれに限られるものではない。例えば、人体パターンに替えて、若しくは人体パターンとともに、部位別のパターンを用いてパターンマッチングを行う手法でも良い。
また、例えば、上述では、動作情報生成部14が距離画像情報から各関節の座標を得る手法を説明したが、実施形態はこれに限られるものではない。例えば、動作情報生成部14が、距離画像情報とともにカラー画像情報を用いて各関節の座標を得る手法でも良い。この場合、例えば、動作情報生成部14は、カラー画像の座標系で表現された人体パターンとカラー画像情報とでパターンマッチングを行い、カラー画像情報から人体表面の座標を得る。このカラー画像の座標系には、距離画像座標系でいう「距離Z」の情報は含まれない。そこで、動作情報生成部14は、例えば、この「距離Z」の情報については距離画像情報から得て、これら2つの情報を用いた計算処理によって、各関節の世界座標系の座標を得る。
また、動作情報生成部14は、カラー画像収集部11によって生成されたカラー画像情報、距離画像収集部12によって生成された距離画像情報及び音声認識部13によって出力された音声認識結果を、必要に応じて医用情報処理装置100へ適宜出力し、後述の動作情報記憶部131へ格納する。なお、カラー画像情報の画素位置及び距離画像情報の画素位置は、カラー画像収集部11及び距離画像収集部12の位置及び撮影方向に応じて予め対応付け可能である。このため、カラー画像情報の画素位置及び距離画像情報の画素位置は、動作情報生成部14によって算出される世界座標系とも対応付けが可能である。更に、この対応付けと距離画像収集部12により算出される距離[m]を用いることで、身長や体の各部の長さ(腕の長さや腹部の長さ)を求めたり、カラー画像上で指定された2ピクセル間の距離を求めたりすることが可能である。また、同様に、カラー画像情報の撮影時刻情報及び距離画像情報の撮影時刻情報も、予め対応付け可能である。また、動作情報生成部14は、音声認識結果と距離画像情報とを参照し、ある時刻に音声認識された単語が発せられた方向の付近に関節2aがあれば、その関節2aを含む人物が発した単語として出力可能である。更に、動作情報生成部14は、各関節の位置関係を表す情報についても、必要に応じて医用情報処理装置100へ適宜出力し、後述の記憶部130へ格納する。
また、動作情報生成部14は、世界座標系のz軸方向の座標の値である深度を用いて、撮影範囲に対応する1フレームの深度画像情報を生成する。この1フレーム分の深度画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する深度が対応付けられた情報とが含まれる。言い換えると、深度画像情報は、距離画像情報の各画素に対応付けられた距離情報に代えて深度情報を対応付けたものであり、距離画像情報と同様の距離画像座標系で各画素位置を表すことができる。動作情報生成部14は、生成した深度画像情報を医用情報処理装置100へ出力し、後述の動作情報記憶部131に格納する。なお、深度画像情報は、各画素の深度に応じた色の濃淡をビットマップに配置した深度画像として出力されても良い。
なお、ここでは、動作情報収集部10によって一人の人物の動作が検知される場合を説明したが、実施形態はこれに限定されるものではない。動作情報収集部10の撮影範囲に含まれていれば、動作情報収集部10は、複数人の人物の動作を検知しても良い。なお、同一フレームの距離画像情報に複数人の人物が撮影される場合には、動作情報収集部10は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報を対応付けて、これを動作情報として医用情報処理装置100へ出力する。
また、動作情報収集部10の構成は、上記の構成に限定されるものではない。例えば、光学式、機械式、磁気式等、他のモーションキャプチャによって人物の動作を検出することで動作情報を生成する場合には、動作情報収集部10は、必ずしも距離画像収集部12を有していなくても良い。かかる場合、動作情報収集部10は、モーションセンサとして、人物の動作を検知するために人体に装着させるマーカと、マーカを検出するセンサとを有する。そして、動作情報収集部10は、モーションセンサを用いて人物の動作を検知して動作情報を生成する。また、動作情報収集部10は、カラー画像収集部11によって撮影した画像に含まれるマーカの位置を用いて、カラー画像情報の画素位置と動作情報の座標とを対応付けた上で、必要に応じて医用情報処理装置100へ適宜出力する。また、例えば、動作情報収集部10は、音声認識結果を医用情報処理装置100へ出力しない場合には、音声認識部13を有していなくても良い。
更に、上述した実施形態において、動作情報収集部10は、骨格情報として世界座標系の座標を出力したが、実施形態はこれに限られるものではない。例えば、動作情報収集部10は、変換前の距離画像座標系の座標を出力し、距離画像座標系から世界座標系への変換は、必要に応じて、医用情報処理装置100側で行ってもよい。
図1の説明に戻る。医用情報処理装置100は、動作情報収集部10から出力される動作情報を用いて、リハビリテーションを支援するための処理を行う。医用情報処理装置100は、例えば、コンピュータ、ワークステーション等の情報処理装置であり、図1に示すように、出力部110と、入力部120と、記憶部130と、制御部140とを有する。
出力部110は、リハビリテーションを支援するための各種情報を出力する。例えば、出力部110は、医用情報処理装置100を操作する操作者が入力部120を用いて各種要求を入力するためのGUI(Graphical User Interface)を表示したり、医用情報処理装置100において生成された出力画像等を表示したり、或いは警告音を出力したりする。例えば、出力部110は、モニタ、スピーカー、ヘッドフォン、ヘッドセットのヘッドフォン部分等である。また、出力部110は、メガネ型ディスプレイやヘッドマウントディスプレイ等、利用者の身体に装着させる方式のディスプレイであってもよい。
入力部120は、リハビリテーションを支援するための各種情報の入力を受け付ける。例えば、入力部120は、医用情報処理装置100の操作者から各種要求の入力を受け付け、受け付けた各種要求を医用情報処理装置100に転送する。例えば、入力部120は、マウス、キーボード、タッチコマンドスクリーン、トラックボール、マイク、ヘッドセットのマイク部分等である。また、入力部120は、血圧計、心拍計、体温計等の生体情報を取得するセンサであっても良い。
記憶部130は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。また、制御部140は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路、或いはCPU(Central Processing Unit)が所定のプログラムを実行することで実現することができる。
以上、第1の実施形態に係る医用情報処理装置100の構成について説明した。かかる構成のもと、第1の実施形態に係る医用情報処理装置100は、診断を支援することができる。例えば、医用情報処理装置100は、早期診断が困難な疾患を診断する場合に、医師の診断を支援することができる。早期診断が困難な疾患の一例としては、変形性膝関節症が挙げられる。変形性膝関節症とは、関節軟骨の退行性(加齢)変化による疾患であり、膝の関節軟骨がすり減って軟骨下骨の神経が露出してしまい、神経が刺激されることで痛みを生じる疾患である。また、すり減った軟骨は元に戻り難く、特に高齢者では元に戻らないため、変形性膝関節症を早期に診断することで、病態の進行を防ぐことが重要である。
図4A〜図4Cは、変形性膝関節症の病態について説明するための図である。図4Aには、変形性膝関節症の初期における病態を例示し、図4Bには、変形性膝関節症の進行期における病態を例示し、図4Cには、変形性膝関節症の末期における病態を例示する。
図4Aに示すように、変形性膝関節症の初期においては、膝の関節軟骨が摩耗している。関節軟骨自体には神経がないため、この病態では症状(膝の痛み)が出ることは少ない。この病態から関節軟骨の摩耗が進行すると、図4Bに示すように、関節軟骨に亀裂が生じる。この病態では、病態の程度に応じて痛みが出る場合が多い。更に病態が進行して末期になると、図4Cに示すように、関節軟骨が無くなり、軟骨下骨が露出する。この病態では、軟骨下骨が直接ダメージを受け、骨硬化やのう胞を形成する。
ここで、従来、変形性膝関節症の病態を診断するために、X線検査やMRI(Magnetic Resonance Imaging)検査による画像診断が行われている。例えば、X線検査による画像所見(X線所見)では、膝に荷重がかかる立位姿勢においてX線撮影を行う荷重X線検査という特定の撮影方法が用いられる。この荷重X線検査によって撮影されたX線画像において、骨棘・骨堤の形成、骨硬化及び関節裂隙の狭小化の3つのX線所見のうち1つでも発見されれば、変形性膝関節症であると診断される。
また、例えば、MRI検査では、T2強調画像を撮影する方法が用いられる。このT2強調画像において、ミラーlesion、骨棘・骨堤の形成、骨硬化及び骨のう胞の形成の4つのMRI所見のうち1つでも発見されれば,変形性膝関節症であると診断される。なお、ミラーlesionとは、大腿骨関節面と脛骨関節面とが衝突し、骨髄内までダメージが及んだ状態を示す。
しかしながら、上記の診断では、変形性膝関節症の早期診断は困難であった。この要因としては、例えば、上記の画像診断を行うためには、特定の撮影方法で撮影しなければならないことが挙げられる。つまり、膝の痛みを診断する場合には、変形性膝関節症以外にも推定される疾患が存在するため、変形性膝関節症の診断のみを目的とした荷重X線検査及びT2強調画像の撮影は、顕著な痛みを生じていない限り実施されることが少なかった。このため、従来の画像診断では、変形性膝関節症の早期診断は困難であった。また、特定の方法による撮像条件や診断方法も熟練の技量を要するため、経験の浅い医師や技師では適切な撮影・診断の次実施が抜け落ちてしまう可能性もある。
また、他の要因としては、膝の痛みは被検体(患者)に軽視される傾向があることも挙げられる。つまり、一部の被検体は、膝に痛みが生じたとしても、日常生活に不自由が生じるまでは医療機関を受診せず、不自由が生じてから受診する場合がある。この場合、既に被検体の病態が進行しているため、病態の進行を防ぐには手遅れになってしまうことがある。すなわち、医療機関への受診が遅れてしまうことにより、変形性膝関節症の早期診断は困難であった。
そこで、第1の実施形態に係る医用情報処理装置100は、以下に説明する処理を行うことで、例えば、早期診断が困難な変形性膝関節症等の疾患を診断する場合においても、医師の診断を支援することができる。
以下において、医用情報処理装置100が変形性膝関節症の診断を支援する場合を説明する。具体的には、第1の実施形態では、ある施設において不特定多数の被検体に対して健康診断を実施する場合に、医用情報処理装置100を用いて変形性膝関節症の早期診断を行う場合を説明する。ただし、実施形態はこれに限定されるものではなく、例えば、医療機関を受診した特定の被検体に対して変形性膝関節症の診断を行う場合であっても良い。
また、例えば、医用情報処理装置100は、変形性膝関節症の診断に限らず、膝とは異なる部位の変形性関節症の診断に適用されても良い。具体的には、変形性関節症は全身のあらゆる関節において発症しうるが、首の関節、肩の関節、肘の関節、手の指の関節、背骨、股関節、膝の関節及び足の指の関節において発症しやすい。このうち、背骨、股関節及び膝の関節については、被検体自身の体重がかかりやすい部位であるため、日常生活に不自由が生じやすい。医用情報処理装置100は、これらの変形性関節症の診断に適用可能である。
また、医用情報処理装置100は、変形性関節症に限らず、骨折(病的、疲労)、脱臼(病的)、野球肩、野球肘、テニス肘、五十肩、頸椎症、骨粗鬆症、椎間板ヘルニア、骨腫瘍、肋間神経痛、坐骨神経痛等、初期症状が確認可能な整形外科疾患に広く適用可能である。また、整形外科疾患に限らず、例えば、呼吸器系疾患、消化器系疾患、循環器系疾患、神経系疾患、精神科系疾患、泌尿器科系疾患等、初期症状として、被検体の姿勢や動作において変化が生じる疾患に対して適用可能である。また、疾患に限らず、例えば、医用情報処理装置100は、食事、更衣、移動、排泄、整容、入浴等、生活を営む上で必要不可欠な基本的行動を示す日常生活動作における変化が確認できるものであれば、いかなる症状に対しても適用可能である。また、医用情報処理装置100は、早期診断が困難な疾患の診断に限らず、例えば、疾患の末期症状での診断に適用されても良い。
図5は、第1の実施形態に係る医用情報処理装置100の詳細な構成例を示すブロック図である。図5に示すように、医用情報処理装置100においては、記憶部130が、動作情報記憶部131と、疾患動作情報記憶部132と、診断支援情報記憶部133とを有する。
動作情報記憶部131は、動作情報収集部10によって収集された各種情報を記憶する。具体的には、動作情報記憶部131は、動作情報生成部14によって生成された動作情報を記憶する。より具体的には、動作情報記憶部131は、動作情報生成部14によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部131、動作情報生成部14によって出力されたカラー画像情報、距離画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。
図6は、第1の実施形態に係る動作情報記憶部131によって記憶される動作情報の一例を示す図である。動作情報記憶部131は、図6に示すように、氏名ごとに、氏名番号と、実施日と、動作情報とが対応付けられた情報を記憶する。ここで、「氏名番号」とは、対象者を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、対象者が歩行訓練を実施した日時を示す。「動作情報」とは、動作情報収集部10によって収集された情報を示す。
図6に示すように、動作情報記憶部131は、氏名「A」、氏名番号「1」、実施日「20120801_1」、動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報」等を記憶する。上記した情報は、氏名番号が「1」である氏名「A」の人物が「2012年」の「8月1日」に実施した「1回目」の歩行訓練における動作情報として、「カラー画像情報」と、「距離画像情報」と、「音声認識結果」と、「骨格情報」とを含む動作情報が記憶されていることを示す。
ここで、図6に示す動作情報において、歩行訓練を実行している際に撮影された全てのフレームごとの「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」が時系列順に時間に対応付けて記憶される。
また、動作情報記憶部131は、図6に示すように、氏名「A」、氏名番号「1」、実施日「20120801_2」、動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報」等を記憶する。すなわち、動作情報記憶部131は、氏名「A」の人物が「2012年」の「8月1日」に実施した「2回目」の歩行訓練における動作情報も同様に記憶する。
また、動作情報記憶部131は、図6に示すように、氏名「B」、氏名番号「2」の人物についても、「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」を含む動作情報を記憶する。このように、動作情報記憶部131は、対象者ごとに収集された歩行訓練の動作情報を、それぞれの対象者に対応付けて記憶する。
なお、図6に示した動作情報記憶部131に記憶される情報は、あくまでも一例であり、これに限定されるものではない。例えば、動作情報記憶部131は、図6に示した「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」以外の情報をさらに対応付けて記憶しても良い。また、例えば、動作情報記憶部131は、動作情報収集部10が音声認識部13を有さない場合には、音声認識結果が含まれないものとして動作情報を記憶しても良い。また、動作情報に含まれる「カラー画像情報」及び「距離画像情報」は、ビットマップ(bitmap)、JPEG、その他バイナリ形式の画像データそのものや、当該画像データへのリンク等であっても良い。また、動作情報に含まれる「音声認識結果」は、上述した認識情報の他、音声データそのものや、認識情報或いは音声データへのリンク等であっても良い。
疾患動作情報記憶部132は、疾患を表す疾患情報と、疾患を有する被検体の動作を表す疾患動作情報とを対応付けて記憶する。疾患動作情報記憶部132は、後述の判定部142によって参照される。また、疾患動作情報記憶部132は、医用情報処理装置100の操作者によって予め登録される。
図7は、第1の実施形態に係る疾患動作情報記憶部132によって記憶される情報の一例を示す図である。疾患動作情報記憶部132は、図7に示すように、疾患情報と、疾患動作情報とが対応付けられた情報を記憶する。ここで、「疾患情報」とは、疾患を表す情報を示し、例えば、疾患名及びgradeを含む。この「疾患名」とは、疾患の名称を示す情報示す。また、「grade」とは、疾患の病態の進行度合いを表す情報を示す。また、「疾患動作情報」とは、疾患情報によって表される疾患を有する被検体の動作を表す動作情報を示す。例えば、疾患動作情報は、代表的な被検体のリハビリにおける動作情報を示す。一例としては、疾患動作情報は、変形性膝関節症被検体が行った歩行訓練の動作情報である。
ここで、変形性膝関節症のgradeについて説明する。変形性膝関節症の病態は、例えば、X線所見によって6つのgradeに分類される。すなわち、X線所見において「正常」と診断される場合には、grade「0」に分類される。また、X線所見において「骨硬化像又は骨棘」が見られる場合には、grade「1」に分類される。また、X線所見において「関節列隙の狭小化(3mm未満)」が見られる場合には、grade「2」に分類される。また、X線所見において「関節列隙の閉鎖又は亜脱臼」が見られる場合には、grade「3」に分類される。また、X線所見において「荷重面の摩耗又は欠損(5mm未満)」が見られる場合には、grade「4」に分類される。また、X線所見において「荷重面の摩耗又は欠損(5mm以上)」が見られる場合には、grade「5」に分類される。なお、この分類は、腰野の分類と呼ばれている。
図7に示すように、疾患動作情報記憶部132は、疾患名「変形性膝関節症」と、grade「0」と、動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報」等を記憶する。すなわち、疾患動作情報記憶部132は、変形性膝関節症のgrade「0」と診断された代表的な被検体のリハビリ(歩行訓練)における動作情報を記憶する。また、疾患動作情報記憶部132は、疾患名「変形性膝関節症」と、grade「1」と、動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報」等を記憶する。すなわち、疾患動作情報記憶部132は、変形性膝関節症のgrade「1」と診断された代表的な被検体のリハビリ(歩行訓練)における動作情報を記憶する。また、疾患動作情報記憶部132は、疾患名「変形性膝関節症」と、grade「2」と、動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報」等を記憶する。すなわち、疾患動作情報記憶部132は、変形性膝関節症のgrade「2」と診断された代表的な被検体のリハビリ(歩行訓練)における動作情報を記憶する。また、疾患動作情報記憶部132は、他のgradeについても同様に、疾患名と、gradeと、動作情報とが対応付けられた情報を記憶する。
なお、図7に示した疾患動作情報記憶部132に記憶される情報は、あくまでも一例であり、これに限定されるものではない。例えば、疾患動作情報記憶部132は、上記の腰野の分類とは異なる分類に基づくgradeと、各gradeに対応する疾患動作情報とを記憶しても良い。また、例えば、疾患動作情報記憶部132は、複数の疾患名と、各疾患名に対応する疾患動作情報とを記憶しても良い。また、疾患動作情報記憶部132は、疾患情報として疾患名のみを記憶し、gradeを記憶しなくても良い。また、疾患動作情報記憶部132は、疾患動作情報として、複数の被検体の動作情報に基づいて作成された動作モデルを記憶しても良い。また、疾患動作情報記憶部132は、疾患に限らず、症状に関する情報を記憶しても良い。つまり、疾患動作情報記憶部132は、症状を現す症状情報と、症状を有する被検体の動作を表す症状動作情報とを対応付けて記憶しても良い。疾患情報は、症状情報の一例であり、疾患動作情報は、症状動作情報の一例である。
診断支援情報記憶部133は、疾患の診断を支援するための情報を記憶する。例えば、診断支援情報記憶部133は、後述の出力制御部143によって参照される。また、診断支援情報記憶部133は、操作者によって予め登録される。
図8は、第1の実施形態に係る診断支援情報記憶部133によって記憶される情報の一例を示す図である。診断支援情報記憶部133は、図8に示すように疾患情報と、診断支援情報とが対応付けられた情報を記憶する。ここで、「診断支援情報」とは、疾患の診断を支援するための情報を示す。例えば、診断支援情報は、撮影関連情報と、読影ポイントとを含む。このうち、「撮影関連情報」とは、画像診断のために撮影する撮影方法や撮影条件を示す。また、「読影ポイント」は、撮影画像を読影する際のポイントを示す。
図8に示すように、診断支援情報記憶部133は、疾患名「変形性膝関節症」と、grade「0」と、撮影関連情報「画像診断不要」と、読影ポイント「−(情報が空であることを示す)」とが対応付けられた情報を記憶する。すなわち、診断支援情報記憶部133は、変形性膝関節症のgrade「0」の診断には画像診断が不要であることを記憶する。この場合、画像診断が不要であるため、診断支援情報記憶部133に記憶される読影ポイントの情報は空である。また、診断支援情報記憶部133は、疾患名「変形性膝関節症」と、grade「1」と、撮影関連情報「X線検査(正面像)」と、読影ポイント「骨硬化像又は骨棘が見られるか」とが対応付けられた情報を記憶する。すなわち、診断支援情報記憶部133は、変形性膝関節症のgrade「1」の診断にはX線検査による正面像を撮影することが推奨され、骨硬化像又は骨棘が見られるか否かが診断のポイントであることを記憶する。また、診断支援情報記憶部133は、疾患名「変形性膝関節症」と、grade「2」と、撮影関連情報「荷重X線検査(正面像)」と、読影ポイント「関節列隙の狭小化(3mm未満)が見られるか」とが対応付けられた情報を記憶する。すなわち、診断支援情報記憶部133は、変形性膝関節症のgrade「2」の診断には荷重X線検査による正面像を撮影することが推奨され、関節列隙の狭小化(3mm未満)が見られるか否かが診断のポイントであることを記憶する。また、診断支援情報記憶部133は、他の疾患情報についても同様に、疾患名と、gradeと、撮影関連情報と、読影ポイントとが対応付けられた情報を記憶する。
なお、図8に示した診断支援情報記憶部133に記憶される情報は、あくまでも一例であり、これに限定されるものではない。例えば、診断支援情報記憶部133は、疾患情報として疾患名のみを記憶し、gradeを記憶しなくても良い。また、診断支援情報記憶部133は、診断支援情報として、撮影関連情報及び読影ポイントの何れか一方を記憶していればよい。
図5の説明に戻る。図5に示すように、医用情報処理装置100においては、制御部140が、取得部141と、判定部142と、出力制御部143とを有する。
取得部141は、被検体の動作情報を取得する。例えば、取得部141は、動作情報収集部10及び医用情報処理装置100に電源が投入され、1フレームの骨格情報が動作情報記憶部131に格納されるごとに、格納された骨格情報と、格納された骨格情報に対応するフレームのカラー画像情報とを、動作情報記憶部131からそれぞれ取得する。
判定部142は、被検体の動作情報と、疾患動作情報とを比較することで、被検体の疾患情報を判定する。例えば、判定部142は、取得部141によって取得された被検体の動作情報と、疾患動作情報記憶部132に記憶された疾患動作情報とをそれぞれ比較し、取得された動作情報に最も類似の疾患動作情報を特定する。そして、判定部142は、特定した疾患動作情報に対応付けられた疾患情報を、被検体の疾患情報として判定する。
例えば、判定部142は、動作情報から算出される評価値を用いた判定処理、或いは、動作情報に含まれる所定の関節の軌跡を用いた判定処理の何れかを用いて、被検体の疾患情報を判定する。以下、これら二つの判定処理について、順に説明する。
(評価値を用いた判定処理)
評価値を用いた判定処理について説明する。例えば、判定部142は、被検体の動作情報から被検体の評価値を算出するとともに、疾患動作情報記憶部132に記憶された疾患動作情報から、疾患の評価値を算出する。そして、疾患動作情報記憶部132は、算出した被検体の評価値と、疾患の評価値とをそれぞれ比較し、被検体の評価値に最も近い疾患の評価値に対応する疾患情報を判定する。
図9A及び図9Bは、第1の実施形態に係る評価値を用いた判定処理を説明するための図である。図9A及び図9Bには、判定部142が歩行における膝の角度を用いて、変形性膝関節症のgradeを判定する場合を説明する。図9Aには、正常な被検体の歩行における右膝の角度を算出する場合を例示し、図9Bには、変形性膝関節症の症状がある被検体の歩行における右膝の角度を算出する場合を例示する。
図9A及び図9Bに示すように、判定部142は、右膝を伸ばした状態を0度として、右膝の角度を算出する。具体的には、判定部142は、関節2m及び関節2nを通る直線に対して、関節2n及び関節2oを結ぶ線分がなす角度を、右膝の角度として算出する。ここで、変形性膝関節症ではなく、正常な被検体であれば、図9Aに示すように、歩行時の右膝の最大角度は60度以上である。これに対して、変形性膝関節症の症状がある被検体であれば、図9Bに示すように、歩行時の右膝の最大角度は60度未満である。具体的には、変形性膝関節症のgrade「1」の被検体であれば、歩行時の右膝の最大角度50度以上60度未満である。また、変形性膝関節症のgrade「2」の被検体であれば、歩行時の右膝の最大角度40度以上50度未満である。また、変形性膝関節症のgrade「3」の被検体であれば、歩行時の右膝の最大角度30度以上40度未満である。また、変形性膝関節症のgrade「4」の被検体であれば、歩行時の右膝の最大角度25度以上30度未満である。また、変形性膝関節症のgrade「5」の被検体であれば、歩行時の右膝の最大角度20度以上25度未満である。このため、判定部142は、算出した被検体の右膝の角度がどの範囲に含まれるかに応じて、被検体の変形性膝関節症のgradeを判定する。例えば、判定部142は、被検体の右膝の角度が45度であれば、被検体が変形性膝関節症のgrade「2」であると判定する。
なお、図9A及び図9Bに示した判定処理は、あくまでも一例であり、これに限定されるものではない。例えば、判定部142は、左膝の角度を用いて判定しても良いし、両足の膝の角度を用いて判定しても良い。また、判定部142は、膝を伸ばした状態を180度として膝の角度を算出しても良い。また、ここでは評価値に最も近い疾患の評価値に対応する疾患情報を判定する場合を説明したが、これに限定されない。例えば、評価値によっては、評価値から最も遠い値や中間値が用いられる場合であっても良い。また、算出した評価値を他の指標等と比較或いは類推して判定しても良い。また、ここでは、判定部142が歩行訓練における動作情報を用いた場合を説明したが、これに限らず、被検体がしゃがむ場合の動作情報を用いて判定しても良いし、被検体が階段を昇降する場合の動作情報を用いて判定しても良い。
また、判定部142は、膝の角度に限らず、他の評価値を用いて判定しても良い。例えば、判定部142は、他の評価値として、歩行時の歩行速度を用いて判定しても良い。具体的には、判定部142は、変形性膝関節症の各gradeの動作情報から、各gradeの最大歩行速度を算出する。そして、判定部142は、被検体の動作情報から最大歩行速度を算出し、最も近い値のgradeを被検体の疾患情報として判定する。
また、判定部142は、他の評価値として、歩行時の膝の横ブレの大きさを用いて判定しても良い。具体的には、判定部142は、被検体が深度方向の奥から手前に向かって歩行する場合には、変形性膝関節症の各gradeの動作情報から、各gradeのx軸方向の最大の変化量を算出する。そして、判定部142は、被検体の動作情報からx軸方向の最大の変化量を算出し、最も近い値のgradeを被検体の疾患情報として判定する。
(軌跡を用いた判定処理)
次に、軌跡を用いた判定処理について説明する。例えば、判定部142は、被検体の動作情報に含まれる所定の関節の軌跡と、疾患動作情報記憶部132に記憶された疾患動作情報に含まれる所定の関節の軌跡とをそれぞれ比較し、被検体の所定の関節の軌跡に最も近い軌跡に対応する疾患情報を判定する。
図10A及び図10Bは、第1の実施形態に係る軌跡を用いた判定処理を説明するための図である。図10A及び図10Bには、判定部142が歩行における右膝の関節(2n)の軌跡を用いて、変形性膝関節症のgradeを判定する場合を説明する。図10A及び図10Bにおいて、横軸は、x軸方向に対応し、縦軸は、z軸方向に対応する。すなわち、図10A及び図10Bには、水平面上における膝の軌跡を例示する。図10Aには、正常な被検体の歩行における右膝の軌跡を例示し、図10Bには、変形性膝関節症の症状がある被検体の歩行における右膝の軌跡を例示する。なお、図10A及び図10Bでは、被検体が深度方向の奥から手前に向かって歩行する場合を例示する。
図10A及び図10Bに示すように、判定部142は、疾患動作情報記憶部132に記憶された各gradeの疾患動作情報に含まれる右膝のx座標及びz座標を、水平面上にプロットし、水平面上における各gradeの右膝の軌跡を描出する。ここで、変形性膝関節症ではなく、正常な被検体であれば、図10Aに示すように、右膝のブレの少ない軌跡となる。これに対して、変形性膝関節症の症状がある被検体であれば、図10Bに示すように、右膝のブレの大きい軌跡となる。判定部142は、取得部141によって取得された被検体の動作情報に含まれる右膝のx座標及びz座標を、水平面上にプロットし、水平面上における被検体の右膝の軌跡を描出する。そして、判定部142は、描出した被検体の右膝の軌跡と、各gradeの右膝の軌跡とをパターンマッチングによってそれぞれ比較する。そして、判定部142は、被検体の右膝の軌跡に最も類似のgradeを、被検体の変形性膝関節症のgradeとして判定する。
なお、図10A及び図10Bに示した判定処理は、あくまでも一例であり、これに限定されるものではない。例えば、判定部142は、左膝の軌跡を用いて判定しても良いし、両足の膝の軌跡を用いて判定しても良い。また、判定部142は、足根の軌跡を用いて判定しても良い。また、判定部142は、必ずしも関節の軌跡を描出しなくても良い。
また、ここでは軌跡を用いて判定する場合を例示したが、これに限定されない。例えば、上記軌跡のうち2以上の点の位置関係を比較することで、マッチングを行っても良い。この位置関係とは、例えば、所定の関節について異なるタイミングの座標をx−z平面にプロットしたものである。一例としては、判定部142は、被検体が歩行訓練を開始してから0秒の膝の座標と、3秒の膝の座標とをx−z平面にプロットする。続いて、判定部142は、疾患動作情報の0秒の膝の座標と、3秒の膝の座標とをx−z平面にプロットする。そして、判定部142は、これらプロットした点のx方向の差分やz方向の差分を比較することで、被検体の疾患情報を判定する。
このように、判定部142は、評価値を用いた判定処理、或いは、軌跡を用いた判定処理の何れかを用いて、被検体の疾患情報を判定する。そして、判定部142は、判定結果を出力制御部143へ出力する。
なお、判定部142の処理は、これに限定されるものではない。例えば、評価値を用いた判定処理と、軌跡を用いた判定処理とを用いて、被検体の疾患情報を判定しても良い。具体的には、判定部142は、評価値を用いた判定処理によって判定される判定結果と、軌跡を用いた処理によって判定される判定結果とを総合評価して、判定しても良い。
また、例えば、判定部142は、上記の判定処理に加えて、被検体の痛みのサインを更に用いて判定しても良い。ここで、痛みのサインとは、例えば、被検体の表情の歪みや「痛い」という言葉である。この場合、判定部142は、被検体が痛みを感じた際の表情の歪みの特徴を予め記憶している。そして、判定部142は、被検体の動作情報に含まれるカラー画像情報から表情の歪みの特徴を抽出し、抽出回数を計数する。また、判定部142は、各gradeの動作情報に含まれるカラー画像情報から表情の歪みの特徴を抽出し、抽出回数(又は、抽出頻度)を計数する。そして、判定部142は、被検体の痛みのサインの抽出回数と、各gradeにおける痛みのサインの抽出回数とを比較して、被検体の変形性膝関節症のgradeを判定する。そして、判定部142は、評価値を用いて判定したgradeと、痛みのサインを用いて判定したgradeとが一致していれば、そのgradeを被検体のgradeとして出力制御部143に出力する。一致していなければ、判定部142は、評価値を用いて判定したgradeを被検体のgradeとして出力制御部143に出力する。また、判定部142は、「痛い」という言葉を、被検体の動作情報に含まれる音声認識結果から抽出し、この抽出回数を用いて被検体の変形性膝関節症のgradeを判定しても良い。
出力制御部143は、被検体の疾患情報に基づいて、診断支援情報を出力する。例えば、出力制御部143は、診断支援情報記憶部133を参照し、判定部142によって判定された被検体の疾患情報に対応する診断支援情報を出力部110に表示させる。具体的には、出力制御部143は、疾患の疑いがある旨を示す情報、撮影関連情報及び読影ポイントのうち少なくとも一つを、出力部110に表示させる。
例えば、出力制御部143は、診断支援情報として、被検体の疾患情報に対応する疾患の疑いがある旨を示す情報を出力部110に表示させる。具体的には、出力制御部143は、判定部142によって被検体が変形性膝関節症のgrade「2」と判定された場合には、「変形性膝関節症のgrade「2」の疑いがあります」というメッセージを出力部110に表示させる。これにより、出力制御部143は、医師の診断を支援したり、被検体に対して医療機関への受診を促すことができる。
また、例えば、出力制御部143は、診断支援情報として、被検体の疾患情報に対応する撮影関連情報を出力部110に表示させる。具体的には、出力制御部143は、判定部142によって被検体が変形性膝関節症のgrade「2」と判定された場合には、診断支援情報記憶部133を参照し、変形性膝関節症のgrade「2」に対応する撮影関連情報を取得する。そして、出力制御部143は、取得した撮影関連情報を用いて、例えば、「荷重X線検査(正面像)を行って下さい」というメッセージを出力部110に表示させる。これにより、出力制御部143は、医師及び検査技師に対して具体的な検査方法や撮影条件を通知することができる。
また、例えば、出力制御部143は、診断支援情報として、被検体の疾患情報に対応する読影ポイントを出力部110に表示させる。具体的には、出力制御部143は、判定部142によって被検体が変形性膝関節症のgrade「2」と判定された場合には、診断支援情報記憶部133を参照し、変形性膝関節症のgrade「2」に対応する読影ポイントを取得する。そして、出力制御部143は、取得した読影ポイントを用いて、例えば、「関節列隙の狭小化(3mm未満)が見られるか確認して下さい」というメッセージを出力部110に表示させる。これにより、出力制御部143は、医師及び読影医に対して具体的な読影ポイント(読影の方法やノウハウ)を通知することができる。
このように、出力制御部143は、疾患の疑いがある旨を示す情報、撮影関連情報及び読影ポイントのうち少なくとも一つを、出力部110に表示させる。
図11は、第1の実施形態に係る医用情報処理装置による処理手順を示すフローチャートである。図11に示すように、取得部141は、被検体の動作情報を取得する(ステップS101)。例えば、取得部141は、動作情報収集部10及び医用情報処理装置100に電源が投入され、1フレームの骨格情報が動作情報記憶部131に格納されるごとに、格納された骨格情報と、格納された骨格情報に対応するフレームのカラー画像情報とを、動作情報記憶部131からそれぞれ取得する。
続いて、判定部142は、被検体の動作情報と、疾患動作情報とを比較することで、被検体の疾患情報を判定する(ステップS102)。例えば、判定部142は、取得部141によって取得された被検体の動作情報と、疾患動作情報記憶部132に記憶された疾患動作情報とをそれぞれ比較し、取得された動作情報に最も類似の疾患動作情報を特定する。そして、判定部142は、特定した疾患動作情報に対応付けられた疾患情報を、被検体の疾患情報として判定する。そして、判定部142は、判定結果を出力制御部143へ出力する。
そして、出力制御部143は、被検体の疾患情報に基づいて、診断支援情報を出力する(ステップS103)。例えば、出力制御部143は、診断支援情報記憶部133を参照し、判定部142によって判定された被検体の疾患情報に応じて、疾患の疑いがある旨を示す情報、撮影関連情報及び読影ポイントのうち少なくとも一つを、出力部110に表示させる。
上述してきたように、第1の実施形態に係る医用情報処理装置100は、疾患情報と、疾患動作情報とを対応付けて記憶する。そして、医用情報処理装置100は、被検体の動作情報を取得する。そして、医用情報処理装置100は、被検体の動作情報と、疾患動作情報とを比較することで、被検体の疾患情報を判定する。そして、医用情報処理装置100は、判定した被検体の疾患情報に基づいて、診断支援情報を出力する。このため、医用情報処理装置100は、診断を支援することができる。例えば、医用情報処理装置100は、早期診断が困難な変形性膝関節症等の疾患を診断する場合においても、医師の診断を支援することができる。
例えば、医用情報処理装置100は、被検体について、疾患の疑いがある旨を示す情報を表示することで、検査の実施を促す。このため、医用情報処理装置100は、顕著な症状が生じない限り検査が実施されることが少なかった疾患(変形性膝関節症等)について、顕著な症状が生じていなくても検査の実施を促すので、疾患の早期診断が可能となる。
また、例えば、医用情報処理装置100は、検査の実施を促す場合に、撮影関連情報を表示する。このため、医用情報処理装置100は、医師及び検査技師に対して具体的な検査方法や撮影条件を通知することができる。
また、例えば、医用情報処理装置100は、検査の実施を促す場合に、読影ポイントを表示する。このため、医用情報処理装置100は、医師及び読影医に対して具体的な読影ポイント(読影の方法やノウハウ)を通知することができる。
(第1の実施形態の変形例1)
上記の実施形態では、医用情報処理装置100が、疾患動作情報として、代表的な被検体のリハビリにおける動作情報を記憶する場合を説明したが、複数の被検体の属性を示す属性情報とともに、各被検体のリハビリにおける動作情報を記憶しても良い。
第1の実施形態の変形例1に係る疾患動作情報記憶部132は、前記記憶部は、前記疾患情報ごとに、複数の前記被検体の疾患動作情報と、当該被検体の属性情報とを対応付けて記憶する。
図12は、第1の実施形態の変形例1に係る疾患動作情報記憶部132に記憶される情報の一例を示す図である。疾患動作情報記憶部132は、図12に示すように、疾患情報と、属性情報と、疾患動作情報とが対応付けられた情報を記憶する。ここで、「属性情報」とは、被検体の属性を表す情報を示し、例えば、被検体の年齢及び性別を含む情報である。
図12に示すように、疾患動作情報記憶部132は、疾患名「変形性膝関節症」と、grade「0」と、年齢「52」と、性別「男」と、動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報」等を記憶する。すなわち、疾患動作情報記憶部132は、変形性膝関節症のgrade「0」と診断された52歳男性のリハビリ(歩行訓練)における動作情報を記憶する。また、疾患動作情報記憶部132は、疾患名「変形性膝関節症」と、grade「1」と、年齢「60」と、性別「女」と、動作情報「カラー画像情報、距離画像情報、音声認識結果、骨格情報」等を記憶する。すなわち、疾患動作情報記憶部132は、変形性膝関節症のgrade「1」と診断された60歳女性のリハビリ(歩行訓練)における動作情報を記憶する。また、疾患動作情報記憶部132は、他のgradeについても同様に、疾患名と、gradeと、年齢と、性別と、動作情報とが対応付けられた情報を記憶する。
第1の実施形態の変形例1に係る判定部142は、被検体の属性情報を取得し、取得した属性情報に対応する疾患動作情報と、被検体の動作情報とを比較することで、被検体の疾患情報を判定する。
例えば、判定部142は、被検体の属性情報を含む情報の入力を受け付け、受け付けた情報から被検体の属性情報を取得する。具体的には、判定部142は、健康診断が行われる場合に、被検体の年齢「60」及び性別「女」を含む情報の入力を操作者から受け付け、受け付けた情報から被検体の年齢「60」及び性別「女」を取得する。なお、判定部142が被検体の属性情報を取得する方法は、上記の方法に限らず、例えば、電子カルテシステムから取得しても良い。
続いて、判定部142は、取得した属性情報に対応する疾患動作情報を疾患動作情報記憶部132から抽出する。具体的には、判定部142は、取得した被検体の年齢が「60」、性別が「女」であれば、この属性情報に一致する疾患動作情報を疾患動作情報記憶部132から抽出する。そして、判定部142は、取得部141によって取得された被検体の動作情報と、抽出した疾患動作情報とを比較することで、被検体の疾患情報を判定する。なお、判定部142による判定処理は、上述した判定処理と同様であるので、説明を省略する。
なお、上記の判定部142による判定処理は、あくまでも一例であり、これに限定されるものではない。例えば、判定部142は、取得した被検体の属性情報に一致する属性情報が疾患動作情報記憶部132に無ければ、最も近い属性情報に対応する疾患動作情報を抽出しても良い。また、判定部142は、疾患動作情報記憶部132から複数の疾患動作情報を抽出しても良い。この場合、判定部142は、例えば、抽出した複数の疾患動作情報から算出されるそれぞれの評価値の平均値を算出し、これを被検体の動作情報から算出される評価値と比較することで、被検体の疾患情報を判定する。
このように、医用情報処理装置100は、複数の被検体の属性情報とともに、各被検体の疾患動作情報を記憶しておき、被検体の属性情報に対応する疾患動作情報を適宜抽出することで、被検体の疾患情報を判定する。このため、医用情報処理装置100は、より正確に、被検体の疾患情報を判定することができる。
(第1の実施形態の変形例2)
また、上記の実施形態では、医用情報処理装置100が、疾患動作情報として、被検体のリハビリにおける動作情報を記憶する場合を説明したが、これに限らず、評価値のみを用いて、疾患の程度(grade)を判定しても良い。
第1の実施形態の変形例2に係る疾患動作情報記憶部132は、例えば、疾患情報と、疾患動作情報から算出される評価値とが対応付けられた情報を記憶する。具体的には、疾患動作情報記憶部132は、疾患名「変形性膝関節症」と、grade「0」と、評価値「60度以上」とを記憶する。すなわち、疾患動作情報記憶部132は、変形性膝関節症のgrade「0」と診断された代表的な被検体の膝の歩行時の最大角度が60度以上であることを記憶する。また、疾患動作情報記憶部132は、疾患名「変形性膝関節症」と、grade「1」と、評価値「50度以上60度未満」とを記憶する。すなわち、疾患動作情報記憶部132は、変形性膝関節症のgrade「0」と診断された代表的な被検体の膝の歩行時の最大角度が50度以上60度未満であることを記憶する。また、疾患動作情報記憶部132は、他のgradeについても同様に、疾患名と、gradeと、評価値とが対応付けられた情報を記憶する。
第1の実施形態の変形例2に係る判定部142は、取得部141によって取得された被検体の動作情報から評価値を算出する。そして、判定部142は、算出した被検体の評価値と、疾患動作情報記憶部132に記憶された評価値とをそれぞれ比較し、被検体の評価値に最も近い疾患の評価値に対応する疾患情報を判定する。このため、医用情報処理装置100は、より少ない処理負荷で、診断を支援することができる。
(第2の実施形態)
上記の実施形態では、医用情報処理装置100が、診断支援情報として、メッセージを表示する場合を説明したが、これに限定されるものではない。例えば、医用情報処理装置100は、ネットワークを介して接続される外部装置に診断支援情報を出力し、外部装置側で診断を支援しても良い。そこで、第2の実施形態では、医用情報処理装置100がネットワークを介して接続される外部装置に診断支援情報を出力し、外部装置側で診断を支援する場合を説明する。
図13は、第2の実施形態に係る医用情報処理システム1の構成例を示すブロック図である。第2の実施形態に係る医用情報処理システム1には、動作情報収集部10と、医用情報処理装置100と、RIS(Radiology Information System)20と、医用画像保管装置30と、医用画像診断装置40と、ワークステーション50とが含まれる。各装置は、例えば、病院内に設置された病院内LAN(Local Area Network)2により、直接的又は間接的に相互に通信可能な状態となっている。例えば、医用情報システム1にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像データ等を相互に送受信する。
動作情報収集部10及び医用情報処理装置100は、第1の実施形態にて説明した動作情報収集部10及び医用情報処理装置100と同様の機能を有する。第2の実施形態においては、動作情報収集部10及び医用情報処理装置100は、例えば、被検体のリハビリテーションを行うリハビリ部門で利用される。
例えば、動作情報収集部10は、リハビリ部門において、被検体が行うリハビリの動作情報を収集し、収集した動作情報を医用情報処理装置100へ送信する。医用情報処理装置100は、動作情報収集部10によって収集された被検体の動作情報を受信し、受信した被検体の動作情報を用いて、第1の実施形態にて説明した取得部141及び判定部142の各処理を実行する。そして、医用情報処理装置100は、判定部142によって判定された判定結果に基づいて、外部装置で診断を支援するための診断支援情報を生成し、生成した診断支援情報を外部装置へ送信する。なお、この医用情報処理装置100の処理については、後述する。
RIS20は、検査の予約管理を行う装置である。例えば、RIS20は、病院内に勤務する医師や事務員により、被検体の検査を予約する検査予約オーダの入力を受け付け、受け付けた検査予約オーダを医用情報システム1の各装置に送信する。
医用画像保管装置30は、医用画像データを管理する装置である。例えば、医用画像保管装置30は、医用画像データを保管するデータベースを備え、後述の医用画像診断装置40により生成された医用画像データや検査結果をデータベースに格納し、これを保管する。なお、医用画像保管装置30は、大容量の画像を保管可能なワークステーションを用いることで、後述のワークステーション50と統合されても良い。
医用画像診断装置40は、X線診断装置、X線CT装置、MRI装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、検体検査装置等の装置である。例えば、医用画像診断装置40は、被検体を撮影する検査技師からの操作に応じて被検体を撮影し、医用画像データや検査結果を生成する。
ワークステーション50は、医用画像データに対して画像処理を行う画像処理装置である。例えば、ワークステーション50は、医用画像保管装置30から医用画像データや検査結果を取得し、取得した医用画像データや検査結果をモニタに表示する。
このような構成のもと、第2の実施形態に係る医用情報処理装置100は、以下に説明する処理により、医用画像診断装置40及びワークステーション50等の外部装置で診断を支援する。
(医用画像診断装置40における撮影方法及び撮影条件の自動設定)
医用画像診断装置40における撮影方法及び撮影条件の自動設定について説明する。第2の実施形態に係る医用情報処理装置100において、出力制御部143は、被検体の疾患情報に基づいて、疾患情報に応じた画像診断のために撮影する撮影方法や撮影条件を設定するための設定情報を、画像診断を行う医用画像診断装置40に出力する。なお、この設定情報は、診断支援情報の一例である。
例えば、第2の実施形態に係る出力制御部143は、判定部142によって被検体が変形性膝関節症のgrade「2」と判定された場合には、診断支援情報記憶部133を参照し、変形性膝関節症のgrade「2」に対応する撮影関連情報を取得する。そして、出力制御部143は、取得した撮影関連情報を用いて、医用画像診断装置40に撮影方法や撮影条件を設定する設定情報を生成する。この設定情報は、例えば、被検体の疾患情報と、医用画像診断装置40の種類(例えば、X線診断装置)を指定する情報と、撮影条件(例えば、荷重X線検査(正面像))とを含む。そして、出力制御部143は、生成した設定情報に検査情報を付帯させ、設定情報に指定された医用画像診断装置40(X線診断装置)に出力する。なお、この検査情報は、被検体の氏名、被検体(患者)を識別するための患者ID及び検査を識別する検査ID等の情報を含む。検査情報は、医用情報処理装置100の操作者によって手動的に入力されても良いし、電子カルテシステム等から取得されても良い。
そして、医用画像診断装置40は、出力制御部143から出力された設定情報を取得し、取得した設定情報に基づいて、画像診断のための撮影方法や撮影条件を設定する。例えば、医用画像診断装置40は、設定情報を出力制御部143から取得すると、設定情報に付帯された検査情報を用いて、検査の撮影条件として取得した内容を設定する。
このように、第2の実施形態に係る医用情報処理装置100は、診断支援情報として、撮影方法や撮影条件を設定するための設定情報を医用画像診断装置40に出力することで、診断を支援することができる。
なお、例えば、上記の設定情報は、RIS20を経由させてから医用画像診断装置40に出力されても良い。例えば、医用情報処理装置100の出力制御部143は、診断支援情報として、設定情報をRIS20に出力する。RIS20は、出力制御部143から出力された設定情報を受け付けると、設定情報を表示部に表示する。RIS20において、RIS20の操作者(医師又は事務員)は、表示された情報を閲覧しながら、画像診断を行う医用画像診断装置40の予約を行う。例えば、操作者は、画像診断を行う医用画像診断装置40を選択し、選択した医用画像診断装置40及び読影医を指定する操作をRIS20において行う。RIS20は、操作者によって指定された医用画像診断装置40を示す情報と、読影医を示す情報とを設定情報に付帯させ、各種情報が付帯された設定情報を、画像診断を行う医用画像診断装置40に出力する。医用画像診断装置40は、RIS20から出力された設定情報を受け付けると、受け付けた設定情報に基づいて、画像診断のための撮影方法や撮影条件を設定する。
また、医用情報処理装置100が医用画像診断装置40で診断を支援する処理は、上記の処理に限定されるものではなく、例えば、撮影関連情報を用いて、被検体の疾患情報に対応する撮影関連情報を医用画像診断装置40に表示させても良い。具体的には、医用情報処理装置100は、判定部142によって被検体が変形性膝関節症のgrade「2」と判定された場合には、「荷重X線検査(正面像)を行って下さい」というメッセージを医用画像診断装置40の表示部に表示させる診断支援情報を生成する。そして、医用情報処理装置100は、生成した診断支援情報を医用画像診断装置40に出力して、「荷重X線検査(正面像)を行って下さい」というメッセージを医用画像診断装置40の表示部に表示させる。これにより、出力制御部143は、医師及び検査技師に対して具体的な検査方法や撮影条件を通知することができる。
(ワークステーション50における読影ポイントの表示)
ワークステーション50における読影ポイントの表示について説明する。第2の実施形態に係る医用情報処理装置100において、出力制御部143は、被検体の疾患情報に基づいて、疾患情報に関する撮影画像を読影する際のポイントをワークステーション50に表示させるための表示情報を、ワークステーション50に出力する。なお、この表示情報は、診断支援情報の一例である。
例えば、第2の実施形態に係る出力制御部143は、判定部142によって被検体が変形性膝関節症のgrade「2」と判定された場合には、診断支援情報記憶部133を参照し、変形性膝関節症のgrade「2」に対応する読影ポイント「関節列隙の狭小化(3mm未満)が見られるか」を取得する。そして、出力制御部143は、取得した読影ポイントをワークステーション50に表示させるための表示情報を生成する。そして、出力制御部143は、生成した表示情報を、医用画像診断装置40(X線診断装置)に出力する。なお、表示情報の出力先となる医用画像診断装置40は、医用情報処理装置100の操作者によって指定されても良いし、被検体の疾患情報に対応する撮影関連情報に基づいて自動的に選択されても良い。
そして、医用画像診断装置40は、出力制御部143から出力された表示情報を受け付ける。そして、医用画像診断装置40は、画像診断のための画像を撮影すると、受け付けた表示情報を撮影画像の付帯情報として付帯させる。そして、医用画像診断装置40は、表示情報を付帯させた撮影画像を医用画像保管装置30に出力し、格納する。
そして、ワークステーション50は、医用画像保管装置30から被検体の撮影画像と、撮影画像に付帯された表示情報とを取得し、取得した撮影画像及び表示情報を表示部に表示する。
例えば、ワークステーション50は、ワークステーション50の操作者(例えば、医師や読影医)の指示に基づいて、医用画像診断装置40によって撮影された撮影画像を医用画像保管装置30から取得する。そして、ワークステーション50は、撮影画像から、撮影画像に付帯された表示情報を取得する。そして、ワークステーション50は、撮影画像とともに、表示情報に含まれる読影ポイントを表示部に表示させる。例えば、ワークステーション50は、荷重X線検査(正面像)の撮影画像とともに、「関節列隙の狭小化(3mm未満)が見られるか確認して下さい」というメッセージをワークステーション50のモニタに表示させる。このように、医用情報処理装置100は、撮影画像が表示される端末においても診断を支援することができる。
(ワークステーション50における解析プログラムとの連携(CAD連携))
ワークステーション50における解析プログラムとの連携について説明する。この場合、ワークステーション50は、コンピュータ支援診断装置(Computer-Aided Diagnosis:CAD装置)として機能する。例えば、ワークステーション50は、所定の処理を実行するプログラム等、CAD用のプログラムを備える。そして、ワークステーション50は、医用情報処理装置100によって判定された被検体の診断情報に応じて、被検体が撮影された撮影画像(医用画像)に対して所定の処理を実行する。
例えば、第2の実施形態に係るワークステーション50は、診断支援情報として、疾患情報ごとに、CAD用のプログラムに所定の処理を実行する旨の情報を記憶する。一例としては、ワークステーション50は、変形性膝関節症のgrade「2」の被検体の撮影画像に対して、関節列隙の狭小化を計測する計測処理を実行する旨の情報を記憶する。また、他の例としては、ワークステーション50は、変形性膝関節症のgrade「4」の被検体の撮影画像に対して、荷重面の摩耗又は欠損を計測する計測処理を実行する旨の情報を記憶する。
第2の実施形態に係る医用情報処理装置100において、出力制御部143は、判定部142によって判定された判定結果を、被検体の医用画像を撮影する医用画像保管装置30に送信する。例えば、出力制御部143は、判定部142によって被検体が変形性膝関節症のgrade「2」と判定された場合には、変形性膝関節症のgrade「2」である旨の情報を被検体の識別情報に対応付けて、医用画像診断装置40に送信する。
医用画像診断装置40は、医用情報処理装置100から被検体の疾患情報を受信する。そして、医用情報処理装置100は、被検体を撮影し、被検体の撮影画像を生成する。そして、医用画像診断装置40は、受信した疾患情報を、生成した撮影画像の付帯情報として付帯させて、医用画像保管装置30に出力し、格納する。
ワークステーション50は、医用画像保管装置30から被検体の撮影画像を取得し、取得した撮影画像に付帯された被検体の症状情報に基づいて、撮影画像に対して所定の処理を実行する。
例えば、ワークステーション50は、被検体の撮影画像を表示する場合に、医用画像保管装置30から被検体の撮影画像を取得する。そして、ワークステーション50は、取得した撮影画像の付帯情報から、被検体が変形性膝関節症のgrade「2」である旨の情報を取得する。そして、ワークステーション50は、自装置に記憶された上記の情報から、CAD用のプログラムに所定の処理を実行する旨の情報を読み出す。例えば、ワークステーション50は、被検体が変形性膝関節症のgrade「2」である旨の情報を用いることで、変形性膝関節症のgrade「2」の被検体の撮影画像に対して、関節列隙の狭小化を計測する計測処理を実行する旨の情報を読み出す。そして、ワークステーション50は、被検体の撮影画像に対して、関節列隙の狭小化を計測する計測処理を実行する。そして、ワークステーション50は、計測結果を撮影画像とともにモニタに表示する。このように、医用情報処理装置100は、撮影画像が表示される端末においても診断を支援することができる。なお、医用画像診断装置40は、疾患情報を付帯させた撮影画像ワークステーション50に出力しても良い。
なお、上記の例では、計測処理を実行させる場合を説明したが、実施形態はこれに限定されるものではない。例えば、ワークステーション50は、被検体について複数の撮影画像が存在する場合に、複数の撮影画像のうち、疾患情報に応じた撮影画像を初期表示させる(ジャンプする)ように設定しても良い。この場合、ワークステーション50は、診断支援情報記憶部133を記憶している。そして、ワークステーション50は、この診断支援情報記憶部133から、被検体の疾患情報に対応する撮影関連情報を取得する。そして、ワークステーション50は、被検体の複数の撮影画像のうち、撮影関連情報に対応する撮影画像を初期表示させるように設定する。例えば、ワークステーション50は、被検体が変形性膝関節症のgrade「2」である旨の情報を用いることで、荷重X線検査の正面像を初期表示させるように設定する。これにより、ワークステーション50は、被検体の撮影画像を表示する旨の指示を受け付けた場合に、疾患情報に応じた撮影画像を初期表示させることができる。
また、例えば、ワークステーション50は、被検体の撮影画像から、読影すべき画像領域を検出して注目表示させても良い。この場合、ワークステーション50は、診断支援情報として、読影すべき画像領域の特徴情報を、疾患情報ごとに記憶している。そして、ワークステーション50は、被検体の疾患情報と取得すると、この疾患情報に対応する特徴情報を読み出す。そして、ワークステーション50は、被検体の撮影画像から、この特徴情報に対応する画像領域を検出する。そして、ワークステーション50は、特定した画像領域を注目表示させる。例えば、ワークステーション50は、被検体が変形性膝関節症のgrade「2」である旨の情報を用いることで、関節列隙を含む画像領域を検出し、この画像領域を拡大表示させたり、赤い枠線で囲んで表示したりすることができる。
また、例えば、ワークステーション50は、読影に有用な画像として、疾患の典型的な画像を撮影画像とともに並列表示しても良い。この場合、ワークステーション50は、診断支援情報として、疾患の典型的な画像を疾患情報ごとに記憶している。例えば、ワークステーション50は、変形性膝関節症のgrade「2」の典型的な画像として、関節列隙が3mm狭小化した画像を記憶している。そして、ワークステーション50は、被検体の疾患情報と取得すると、この疾患情報に対応する疾患の典型的な画像を読み出す。そして、ワークステーション50は、被検体の撮影画像とともに、この疾患の典型的な画像を並列表示する。例えば、ワークステーション50は、被検体が変形性膝関節症のgrade「2」である旨の情報を用いることで、関節列隙が3mm狭小化した画像を撮影画像とともに並列表示することができる。
なお、第2の実施形態においては、医用画像診断装置40において撮影方法及び撮影条件を自動設定する場合と、ワークステーション50において読影ポイントを表示する場合とを説明したが、これに限定されるものではない。例えば、これらを組み合わせて実施しても良い。具体的には、医用情報処理装置100は、上記の設定情報と、上記の表示情報とを医用画像診断装置40に出力する。医用画像診断装置40は、撮影方法及び撮影条件を自動設定するとともに、撮影画像に表示情報を付帯させて医用画像保管装置30に格納する。ワークステーション50は、表示情報とともに撮影画像を表示する。
(その他の実施形態)
さて、これまで第1及び第2の実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されて良いものである。
(撮影済みの動作情報の利用)
例えば、上記の第1の実施形態では、動作情報収集部10によって収集された被検体の動作情報を、医用情報処理装置100がリアルタイムで処理して、診断支援情報を出力する場合を説明したが、実施形態はこれに限定されるものではない。例えば、医用情報処理装置100は、被検体の撮影済みの動作情報をデータベース等の外部装置から取得して、この動作情報を用いて診断支援情報を出力しても良い。
(疾患動作情報の利用)
また、例えば、医用情報処理装置100は、疾患動作情報記憶部132に記憶される情報を利用して、疾患情報に応じた疾患動作情報に基づく情報を出力しても良い。
一例としては、X線診断装置である医用画像診断装置40は、荷重X線検査が行われた場合に、既存の解析プログラムを用いて関節列隙の計測(例えば、2mm)を行う。そして、医用画像診断装置40は、計測結果を医用情報処理装置100へ出力する。
医用情報処理装置100の判定部142は、医用画像診断装置40から出力された計測結果を受け付けると、診断支援情報記憶部133を参照し、被検体の疾患情報を判定する。例えば、判定部142は、関節列隙が2mmであれば、診断支援情報記憶部133の読影ポイント「関節列隙の狭小化(3mm未満)が見られるか」に該当するので、変形性膝関節症のgrade「2」であると判定する。そして、判定部142は、判定結果を出力制御部143へ出力する。
医用情報処理装置100の出力制御部143は、疾患情報に対応する疾患動作情報に基づいて、診断支援情報を生成する。例えば、出力制御部143は、変形性膝関節症のgrade「2」の疾患動作情報(例えば、歩行訓練の動作情報)から、歩行速度(例えば、2km/h)を算出する。出力制御部143は、算出した歩行速度を診断支援情報として出力部110に表示させる。このように、医用情報処理装置100は、変形性膝関節症のgrade「2」の被検体(患者)がリハビリを行う際の歩行速度を出力することで、例えば、被検体の介助を行う介助者に、被検体に付き従って歩く速度の目安を通知することができる。
なお、診断支援情報として出力される情報は、歩行速度に限定されるものではない。例えば、医用情報処理装置100は、疾患動作情報に含まれるカラー画像に基づいて、リハビリの様子を示す動画を診断支援情報として出力しても良い。これによれば、例えば、理学療法士や介助者は、リハビリの動画を確認することで、例えば、歩行訓練が平坦な床面で行われているのか、階段で行われているのか等の詳細な情報を確認することができる。
(サービス提供装置への適用)
図14は、サービス提供装置に適用される場合の一例を説明するための図である。図14に示すように、サービス提供装置200は、サービスセンタ内に配置され、例えば、ネットワーク5を介して、医療機関や、自宅、職場に配置される端末装置300とそれぞれ接続される。医療機関、自宅及び職場に配置された端末装置300は、動作情報収集部10がそれぞれ接続される。また、各端末装置300は、サービス提供装置200によって提供されるサービスを利用するクライアント機能を備える。また、ネットワーク5には、有線又は無線を問わず、インターネット(Internet)、WAN(Wide Area Network)などの任意の種類の通信網を採用できる。
例えば、サービス提供装置200は、図5において説明した医用情報処理装置100と同様の機能を有し、当該機能によって端末装置300にサービスとして提供する。すなわち、サービス提供装置200は、取得部141と、判定部142と、出力制御部143とそれぞれ同様の機能部を有する。そして、取得部141と同様の機能部は、被検体の動作を表す動作情報を取得する。そして、判定部142と同様の機能部は、取得した動作情報と、疾患動作情報とを比較することで、被検体の疾患情報を判定する。そして、出力制御部143と同様の機能部は、被検体の疾患情報に基づいて、疾患の診断を支援する診断支援情報を出力する。なお、サービス提供装置200は、疾患動作情報記憶部132に記憶される情報と同様の情報を記憶する。
例えば、サービス提供装置200は、端末装置300から処理の対象となる動作情報のフレーム群のアップロードを受け付ける。そして、サービス提供装置200は、上記の処理を行って診断支援情報を生成する。そして、サービス提供装置200は、診断支援情報を端末装置300にダウンロードさせる。
また、上述した実施形態における医用情報処理装置100の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、判定部142及び出力制御部143を統合することが可能である。
また、上述した実施形態において説明した取得部141、判定部142及び出力制御部143の機能は、ソフトウェアによって実現することもできる。例えば、取得部141、判定部142及び出力制御部143の機能は、上記の実施形態において取得部141、判定部142及び出力制御部143が行うものとして説明した処理の手順を規定した医用情報処理プログラムをコンピュータに実行させることで、実現される。この医用情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、CPUやMPU等のプロセッサによって読み出されて実行される。また、この医用情報処理プログラムは、CD−ROM(Compact Disc − Read Only Memory)やMO(Magnetic Optical disk)、DVD(Digital Versatile Disc)などのコンピュータで読取り可能な記録媒体に記録されて、配布され得る。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
以上説明した少なくともひとつの実施形態によれば、本実施形態の医用情報処理装置、システム及びプログラムは、診断を支援することができる。
100 医用情報処理装置
141 取得部
142 判定部
143 出力制御部

Claims (13)

  1. 症状を表す症状情報と、症状を有する被検体の動作を表す症状動作情報とを対応付けて記憶する記憶部と、
    被検体の動作を表す動作情報を取得する取得部と、
    前記動作情報と、前記症状動作情報とを比較することで、前記被検体の症状情報を判定する判定部と、
    前記被検体の症状情報に基づいて、当該症状の診断を支援する診断支援情報を出力する出力制御部と
    を備えたことを特徴とする医用情報処理装置。
  2. 前記判定部は、前記動作情報から前記被検体の評価値を算出するとともに、前記症状動作情報から症状の評価値を算出し、当該被検体の評価値に基づいて、前記症状情報を判定することを特徴とする請求項1に記載の医用情報処理装置。
  3. 前記判定部は、前記動作情報に含まれる所定の関節について所定のタイミングにおける位置情報と、前記記憶部に記憶された症状動作情報に含まれる所定の関節の前記位置情報とを比較し、前記被検体の所定の関節の前記位置情報に最も近い位置情報に対応する症状情報を判定することを特徴とする請求項1又は2に記載の医用情報処理装置。
  4. 前記記憶部は、前記症状情報ごとに、複数の前記被検体の症状動作情報と、当該被検体の属性情報とを対応付けて記憶し、
    前記判定部は、前記被検体の属性情報を取得し、当該属性情報に対応する症状動作情報と、前記被検体の動作情報とを比較することで、前記被検体の症状情報を判定することを特徴とする請求項1〜3のいずれか一つに記載の医用情報処理装置。
  5. 前記出力制御部は、前記診断支援情報として、前記被検体の前記症状情報に対応する症状の疑いがある旨を示す情報を表示部に表示させることを特徴とする請求項1〜4のいずれか一つに記載の医用情報処理装置。
  6. 前記出力制御部は、前記診断支援情報として、前記被検体の前記症状情報に応じた撮影方法及び撮影条件の少なくとも一つを表す情報を表示部に表示させることを特徴とする請求項1〜5のいずれか一つに記載の医用情報処理装置。
  7. 前記出力制御部は、前記診断支援情報として、前記被検体の前記症状情報に関する撮影画像を読影する際のポイントを表示部に表示させることを特徴とする請求項1〜6のいずれか一つに記載の医用情報処理装置。
  8. 前記出力制御部は、前記症状情報に対応する症状動作情報に基づいて、診断支援情報を生成し、生成した診断支援情報を出力することを特徴とする請求項1〜7のいずれか一つに記載の医用情報処理装置。
  9. 医用情報処理装置と、医用画像診断装置とを含む医用情報処理システムにおいて、
    前記医用情報処理装置は、
    症状を表す症状情報と、症状を有する被検体の動作を表す症状動作情報とを対応付けて記憶する記憶部と、
    被検体の動作を表す動作情報を取得する取得部と、
    前記動作情報と、前記症状動作情報とを比較することで、前記被検体の症状情報を判定する判定部と、
    前記被検体の症状情報に基づいて、当該症状情報に応じた撮影方法及び撮影条件の少なくとも一つを設定するための設定情報を、当該医用画像診断装置に出力する出力制御部と
    を備え、
    前記医用画像診断装置は、
    前記出力制御部から出力された設定情報を取得し、取得した設定情報に基づいて、前記撮影方法及び前記撮影条件の少なくとも一つを設定する
    ことを特徴とする医用情報処理システム。
  10. 第1の医用情報処理装置と、第2の医用情報処理装置とを含む医用情報処理システムにおいて、
    前記第1の医用情報処理装置は、
    症状を表す症状情報と、症状を有する被検体の動作を表す症状動作情報とを対応付けて記憶する記憶部と、
    被検体の動作を表す動作情報を取得する取得部と、
    前記動作情報と、前記症状動作情報とを比較することで、前記被検体の症状情報を判定する判定部と、
    前記被検体の症状情報に基づいて、当該症状情報に関する撮影画像を読影する際のポイントを前記第2の医用情報処理装置に表示させるための表示情報を、医用画像診断装置に出力する出力制御部と
    を備え、
    前記第2の医用情報処理装置は、
    前記医用画像診断装置によって撮影された撮影画像と、前記撮影画像に付帯された前記表示情報とを取得し、取得した撮影画像及び表示情報を表示する
    ことを特徴とする医用情報処理システム。
  11. 第1の医用情報処理装置と、医用画像診断装置と、第2の医用情報処理装置とを含む医用情報処理システムにおいて、
    前記第1の医用情報処理装置は、
    症状を表す症状情報と、症状を有する被検体の動作を表す症状動作情報とを対応付けて記憶する記憶部と、
    被検体の動作を表す動作情報を取得する取得部と、
    前記動作情報と、前記症状動作情報とを比較することで、前記被検体の症状情報を判定する判定部と、
    前記被検体の症状情報を、当該被検体の医用画像を生成する医用画像診断装置に送信する出力制御部と
    を備え、
    前記医用画像診断装置は、
    前記被検体の医用画像を生成し、生成した医用画像に、前記第1の医用情報処理装置から受け付けた被検体の症状情報を付帯させ、
    前記第2の医用情報処理装置は、
    前記被検体の医用画像を取得し、取得した医用画像に付帯された前記被検体の症状情報に基づいて、当該医用画像に対して所定の処理を実行する
    ことを特徴とする医用情報処理システム。
  12. 被検体の動作を表す動作情報を取得する取得部と、
    前記動作情報から算出された評価値に基づいて、症状の程度を判定する判定部と、
    前記症状の程度に応じた、症状の診断を支援する診断支援情報を出力する出力制御部と
    を備えたことを特徴とする医用情報処理装置。
  13. 被検体の動作を表す動作情報を取得する取得手順と、
    症状を表す症状情報と、症状を有する被検体の動作を表す症状動作情報とを対応付けて記憶する記憶部に記憶された前記症状動作情報と、前記取得手順によって取得された動作情報とを比較することで、前記被検体の症状情報を判定する判定手順と、
    前記被検体の症状情報に基づいて、当該症状の診断を支援する診断支援情報を出力する出力制御手順と
    をコンピュータに実行させることを特徴とする医用情報処理プログラム。
JP2013167837A 2013-08-12 2013-08-12 医用情報処理装置、システム及びプログラム Active JP6598422B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013167837A JP6598422B2 (ja) 2013-08-12 2013-08-12 医用情報処理装置、システム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013167837A JP6598422B2 (ja) 2013-08-12 2013-08-12 医用情報処理装置、システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2015036858A true JP2015036858A (ja) 2015-02-23
JP6598422B2 JP6598422B2 (ja) 2019-10-30

Family

ID=52687336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013167837A Active JP6598422B2 (ja) 2013-08-12 2013-08-12 医用情報処理装置、システム及びプログラム

Country Status (1)

Country Link
JP (1) JP6598422B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017014541A1 (ko) * 2015-07-22 2017-01-26 (주) 퓨처로봇 베드-사이드 간호 로봇
WO2017090815A1 (ko) * 2015-11-27 2017-06-01 한국 한의학 연구원 관절 가동 범위를 측정하는 장치 및 방법
JP2018175048A (ja) * 2017-04-05 2018-11-15 株式会社メイコー 検査装置及びプログラム
WO2021149629A1 (ja) * 2020-01-21 2021-07-29 Posen株式会社 姿勢診断システム、姿勢診断方法及び姿勢診断用データセット
JP7528555B2 (ja) 2020-06-17 2024-08-06 コニカミノルタ株式会社 医療診断支援装置、医療診断支援方法、およびプログラム
JP7558556B2 (ja) 2020-10-01 2024-10-01 良紀 勝俣 医用情報処理装置、医用情報処理方法、医用情報処理プログラム、及び医用情報処理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001000420A (ja) * 1999-06-16 2001-01-09 Hitachi Plant Eng & Constr Co Ltd 目標達成度評価装置及び目標達成度評価方法
JP2005000301A (ja) * 2003-06-10 2005-01-06 Hisamitsu Imoto 身体の姿勢診断支援システム
WO2005096939A1 (ja) * 2004-04-07 2005-10-20 The New Industry Research Organization リハビリ支援用計測システム、及びリハビリ支援用計測方法
JP2012108761A (ja) * 2010-11-18 2012-06-07 Toshiba Corp オーダリングシステムとこのオーダリングシステムを備える放射線情報管理システム、医療情報管理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001000420A (ja) * 1999-06-16 2001-01-09 Hitachi Plant Eng & Constr Co Ltd 目標達成度評価装置及び目標達成度評価方法
JP2005000301A (ja) * 2003-06-10 2005-01-06 Hisamitsu Imoto 身体の姿勢診断支援システム
WO2005096939A1 (ja) * 2004-04-07 2005-10-20 The New Industry Research Organization リハビリ支援用計測システム、及びリハビリ支援用計測方法
JP2012108761A (ja) * 2010-11-18 2012-06-07 Toshiba Corp オーダリングシステムとこのオーダリングシステムを備える放射線情報管理システム、医療情報管理システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017014541A1 (ko) * 2015-07-22 2017-01-26 (주) 퓨처로봇 베드-사이드 간호 로봇
WO2017090815A1 (ko) * 2015-11-27 2017-06-01 한국 한의학 연구원 관절 가동 범위를 측정하는 장치 및 방법
KR101796361B1 (ko) * 2015-11-27 2017-11-09 한국 한의학 연구원 관절 가동 범위를 측정하는 장치 및 방법
JP2018175048A (ja) * 2017-04-05 2018-11-15 株式会社メイコー 検査装置及びプログラム
WO2021149629A1 (ja) * 2020-01-21 2021-07-29 Posen株式会社 姿勢診断システム、姿勢診断方法及び姿勢診断用データセット
JP7528555B2 (ja) 2020-06-17 2024-08-06 コニカミノルタ株式会社 医療診断支援装置、医療診断支援方法、およびプログラム
JP7558556B2 (ja) 2020-10-01 2024-10-01 良紀 勝俣 医用情報処理装置、医用情報処理方法、医用情報処理プログラム、及び医用情報処理システム

Also Published As

Publication number Publication date
JP6598422B2 (ja) 2019-10-30

Similar Documents

Publication Publication Date Title
JP6675462B2 (ja) 動作情報処理装置
US10170155B2 (en) Motion information display apparatus and method
JP6181373B2 (ja) 医用情報処理装置及びプログラム
US9700242B2 (en) Motion information processing apparatus and method
US9761011B2 (en) Motion information processing apparatus obtaining motion information of a subject performing a motion
JP6381918B2 (ja) 動作情報処理装置
JP6598422B2 (ja) 医用情報処理装置、システム及びプログラム
JP6542004B2 (ja) 医用画像処理装置、および医用画像処理システム
JP6351978B2 (ja) 動作情報処理装置及びプログラム
JP7051307B2 (ja) 医用画像診断装置
US20150005910A1 (en) Motion information processing apparatus and method
WO2021155373A1 (en) Systems and methods for detection of musculoskeletal anomalies
JP6258084B2 (ja) 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム
Zhang et al. Comparison of OpenPose and HyperPose artificial intelligence models for analysis of hand-held smartphone videos
WO2014104357A1 (ja) 動作情報処理システム、動作情報処理装置及び医用画像診断装置
JP7404857B2 (ja) 画像判定装置、画像判定方法及びプログラム
CN116829074A (zh) 学习装置、学习方法、学习装置的工作程序、教师数据生成装置、机器学习模型及医疗用摄影装置
JP6320702B2 (ja) 医用情報処理装置、プログラム及びシステム
JP2020168173A (ja) 動態解析装置、動態解析システム及びプログラム
US20240177315A1 (en) Medical information processing apparatus and medical information processing method
JP2022096052A (ja) 運動機能判定装置、運動機能判定方法、及び運動機能判定プログラム
JP2024062089A (ja) 医用情報処理装置、医用情報処理方法、医用情報処理プログラム、及び医用情報処理システム
Ohshima et al. Visualizing precise vivo motion of bones

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160513

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160615

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180808

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180816

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20181005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191001

R150 Certificate of patent or registration of utility model

Ref document number: 6598422

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150