JP2013119014A - 情報端末装置、遠隔測定システム、情報端末装置の制御方法、制御プログラムおよび記録媒体 - Google Patents

情報端末装置、遠隔測定システム、情報端末装置の制御方法、制御プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2013119014A
JP2013119014A JP2011269385A JP2011269385A JP2013119014A JP 2013119014 A JP2013119014 A JP 2013119014A JP 2011269385 A JP2011269385 A JP 2011269385A JP 2011269385 A JP2011269385 A JP 2011269385A JP 2013119014 A JP2013119014 A JP 2013119014A
Authority
JP
Japan
Prior art keywords
terminal device
information terminal
image
patient
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011269385A
Other languages
English (en)
Other versions
JP5951244B2 (ja
Inventor
Tsukasa Taniguchi
谷口  司
Toru Watsuji
徹 和辻
Hiroyuki Katada
裕之 堅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2011269385A priority Critical patent/JP5951244B2/ja
Priority to PCT/JP2012/081847 priority patent/WO2013085048A1/ja
Publication of JP2013119014A publication Critical patent/JP2013119014A/ja
Application granted granted Critical
Publication of JP5951244B2 publication Critical patent/JP5951244B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/02Stethoscopes
    • A61B7/04Electric stethoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/06Electrically-operated teaching apparatus or devices working with questions and answers of the multiple-choice answer-type, i.e. where a given question is provided with a series of answers and a choice has to be made from the answers
    • G09B7/07Electrically-operated teaching apparatus or devices working with questions and answers of the multiple-choice answer-type, i.e. where a given question is provided with a series of answers and a choice has to be made from the answers providing for individual presentation of questions to a plurality of student stations
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • Primary Health Care (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Radiology & Medical Imaging (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Medicinal Chemistry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】測定者が容易に測定部位を把握することが可能な情報端末装置を実現する。
【解決手段】本発明の患者側情報端末装置1は、医師側情報端末装置2から提供された、患者画像に測定部位を示す目印が少なくとも追加された情報付静止画を、左右反転させて鏡像画像を生成する鏡像生成部31と、表示部13の画面上に、生成された鏡像画像(130または131)を配置することを決定する表示制御部23とを備えている。
【選択図】図1

Description

本発明は、遠隔地にいる患者を診察するための、情報端末装置、遠隔測定システム、情報端末装置の制御方法、制御プログラムおよび記録媒体に関するものである。
近年、通信技術の発展に伴い、測定装置によって測定された被測定者の測定結果、および、被測定者の映像などを、遠隔地の装置にネットワークを介して送信することできるようになっている。
これにより、在宅医療、訪問看護などを可能にする遠隔測定システムが実現されるようになった。例えば、遠隔測定システムでは、患者(被測定者)の容体をその場で測定し、測定結果(聴診音、血圧、体温などのバイタル情報)を遠隔地にいる測定指示者(診察者、医師など)の装置に転送する。これにより、医師は病院に居ながら、離れた場所にいる患者の診察を行うことが可能になる。一方、患者および現場の介護者は、特別な知識を持たずとも、医師の指導の下で、バイタル情報の測定を行うことが可能になる。このように、遠隔の患者を診察する遠隔測定システムを通信情報端末装置を用いて実現する提案が種々になされている。
例えば、特許文献1には、医師と患者の双方が携帯端末を用いることにより、診察に使う情報をリアルタイムでやり取りし、対面式の診察を行うことが可能な対話式診察システムが開示されている。やり取りされる情報としては、例えば、音声(問診、指示など)、医療データ(体温、脈拍、心音、血圧値、心電図など)、画像情報(患者の顔の表情など)が含まれており、携帯端末を用いてより高度な診察が可能となる。
例えば、特許文献2には、患者から採取した聴診音の聴診音信号をファイル化してコンピュータで遠隔地のユニットに送信する聴診システムが開示されている。これにより、医療の質を落とすことなく訪問医療、在宅看護(介護)などの医療施設外看護を実現することを可能にしている。
特開2006−042962号公報(2006年2月16日公開) 特開2001−333899号公報(2001年12月4日公開)
しかしながら、上記従来の構成では、以下の問題を生じる。
遠隔測定システムでは、被測定者が自ら測定装置(聴診器など)を用いて、自分のバイタル情報の測定を行うことが想定される。この場合、遠隔地にいる診察者が、被測定者に対して、測定部位を指導することになる。
特許文献1の技術では、診察者が被測定者を映像で確認し、音声によって聴診器の当てる位置を目的の測定部位に誘導する方法が採用されている。しかしながら、被測定者は正しい測定部位を視覚的に確認することができず、逐一送信される音声にしたがって測定部位を模索するしかない。そのため、効率よく、被測定者に正しい測定部位を把握させることができないという問題がある。
特許文献2の技術では、測定部位が疑似画像によって示されるが、被測定者自身が自分の体の測定部位を特定する場合には、直感的に分かりづらいという問題がある。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、被測定者自身が測定者となって測定を行う場合に、測定者が容易に測定部位を把握することが可能な情報端末装置、遠隔測定システム、情報端末装置の制御方法、制御プログラムおよび記録媒体を実現することにある。
本発明に係る情報端末装置は、上記課題を解決するために、第2の情報端末装置と通信して、被測定者に対して測定を行う遠隔測定システムを構築する第1の情報端末装置であって、上記第2の情報端末装置から提供された、上記被測定者の患部を表した被測定者画像上に測定の対象となる測定部位を示す目印が少なくとも追加された情報付静止画を、左右反転させて鏡像画像を生成する鏡像生成手段と、表示部の表示画面上に、上記鏡像生成手段によって生成された上記鏡像画像を配置することを決定する配置決定手段とを備えていることを特徴としている。
上記構成によれば、第1の情報端末装置は、第2の情報端末装置から、被測定者画像上の被測定者の体のいずれかに、測定部位を表す目印が付加された情報付静止画を受信する。そして、第1の情報端末装置の鏡像生成手段は、上記情報付静止画を、測定部位の目印ごと、左右反転して、鏡像画像を生成する。これにより、表示部には、測定部位の目印ごと左右反転された被測定者の体を映す鏡像画像が表示される。
したがって、遠隔測定システムにおいて、第2の情報端末装置において、被測定者を観察するユーザが見ている表示部では、被測定者映像および情報付静止画は、すべて正像で表示されている。その一方、被測定者が見ている表示部では、鏡像画像が表示される。つまり、第2の情報端末装置のユーザは、通常、被測定者とは別の人が被測定者と対面で観察する場合と同じ状態で、被測定者を、被測定者画像を介して観察することできる。一方で、被測定者は、鏡に自分の姿を映した場合と同じ状態で、鏡像画像を介して自分自身の様子を観察することができる。
このため、第1の情報端末装置のユーザである被測定者は、鏡に映った自分を見るのと同じ感覚で、第2の情報端末装置のユーザによって指定された測定部位を、すぐさま直感的に把握することができる。
以上のことから、被測定者自身が測定者として測定を行う場合に、測定者が容易に測定部位を把握することが可能な、利便性の高い遠隔測定システムを実現することが可能になる。
上記鏡像生成手段は、被測定者の患部を撮影した被測定者映像を、左右反転させて鏡像映像を生成し、上記配置決定手段は、上記表示画面上に、上記鏡像画像と上記鏡像映像とを並べて配置してもよい。
なお、上記配置決定手段が、上記情報付静止画と、上記鏡像画像とを並べて配置する構成も本発明の範疇に入る。
さらに、第1の情報端末装置は、上記表示画面上に配置される表示対象物の反転処理の要否を制御する反転制御手段を備え、上記反転制御手段は、ユーザによって入力された正像鏡像切替指示にしたがって、反転処理の要否を判断し、上記配置決定手段は、上記反転制御手段の判断にしたがって、正像である上記被測定者画像、および、上記鏡像画像のいずれか一方を配置することができる。
これにより、被測定者自身が測定者となって測定を行う場合でも、他の測定者が被測定者に対し測定を行う場合でも、測定者が容易に測定部位を把握することが可能な、より一層利便性の高い遠隔測定システムを実現することが可能になる。
あるいは、第1の情報端末装置は、上記鏡像画像および被測定者の患部を撮影した被測定者映像を左右反転させた鏡像映像の少なくともいずれか一方の鏡像を表示するための第1表示部と、上記情報付静止画および上記被測定者映像の少なくともいずれか一方の正像を表示するための第2表示部と、上記配置決定手段によって配置が決定された表示画面の映像信号を表示部に出力する表示制御手段とを備え、上記表示制御手段は、上記鏡像が配置された表示画面の映像信号を上記第1表示部に出力するとともに、上記正像が配置された表示画面の映像信号を上記第2表示部に出力することができる。
これにより、被測定者自身が測定者となって測定を行う場合でも、他の測定者が被測定者に対し測定を行う場合でも、測定者が容易に測定部位を把握することが可能な、より一層利便性の高い遠隔測定システムを実現することが可能になる。
あるいは、上記表示部は、内容の異なる画面を異なる方向から1の画面上で視認可能な多映像指向性液晶ディスプレイであり、上記配置決定手段は、上記鏡像画像および被測定者の患部を撮影した被測定者映像を左右反転させた鏡像映像の少なくともいずれか一方の鏡像を配置した第1表示画面と、上記情報付静止画および上記被測定者映像の少なくともいずれか一方の正像を配置した第2表示画面とを生成し、上記配置決定手段によって生成された第1表示画面と第2表示画面とを合成した映像信号を上記表示部に出力する表示制御手段をさらに備えていてもよい。
これにより、被測定者自身が測定者となって測定を行う場合でも、他の測定者が被測定者に対し測定を行う場合でも、測定者が容易に測定部位を把握することが可能な、より一層利便性の高い遠隔測定システムを実現することが可能になる。
あるいは、上記鏡像生成手段は、被測定者の患部を撮影した被測定者映像を、左右反転させて鏡像映像を生成し、上記鏡像画像と上記鏡像映像とを重ねた重畳鏡像映像を生成する画像重畳手段をさらに備えていてもよい。
上記配置決定手段は、上記正像鏡像切替指示を入力するためのGUI部品を上記表示画面にさらに配置してもよい。
これにより、被測定者自身が測定者となって測定を行う場合でも、他の測定者が被測定者に対し測定を行う場合でも、測定者が容易に測定部位を把握することが可能な、より一層利便性の高い遠隔測定システムを実現することが可能になる。
あるいは、上記表示部は、ユーザの接触操作を受け付けることが可能なタッチパネルであり、上記反転制御手段は、上記タッチパネルを介して受け付けられた、上記接触操作に基づく正像鏡像切替指示にしたがって、反転処理の要否を判断してもよい。
これにより、被測定者自身が測定者となって測定を行う場合でも、他の測定者が被測定者に対し測定を行う場合でも、測定者が容易に測定部位を把握することが可能な、より一層利便性の高い遠隔測定システムを実現することが可能になる。
本発明の第2の情報端末装置は、上記課題を解決するために、第1の情報端末装置と通信して、被測定者に対して測定を行う遠隔測定システムを構築する第2の情報端末装置であって、被測定者の患部を表した被測定者画像に対して、ユーザによって入力された、測定の対象となる測定部位を示す目印を少なくとも含む入力情報を追加して、情報付静止画を生成する合成手段と、上記合成手段によって生成された上記情報付静止画を、上記第1の情報端末装置に対して出力する静止画出力手段とを備えていることを特徴としている。
上記構成によれば、第2の情報端末装置は、被測定者の現在の様子を写す静止画を、第2の情報端末装置のユーザである測定指示者の指示にしたがって編集することにより、被測定者画像上の被測定者の体のいずれかに、測定部位を表す目印が付加された情報付静止画を生成することができる。
これにより、上記情報付静止画を受信した第1の情報端末装置は、情報付静止画を、測定部位の目印ごと、左右反転して、鏡像画像を生成し、表示部に表示することができる。
このため、第1の情報端末装置のユーザである被測定者は、鏡に映った自分を見るのと同じ感覚で、第2の情報端末装置のユーザによって指定された測定部位を、すぐさま直感的に把握することができる。
以上のことから、被測定者自身が測定者として測定を行う場合に、測定者が容易に測定部位を把握することが可能な、利便性の高い遠隔測定システムを実現することが可能になる。
さらに、上記第2の情報端末装置は、上記第1の情報端末装置から提供された被測定者の患部を撮影した被測定者映像から、上記被測定者画像を抽出する静止画取得手段を備えていてもよい。
さらに、上記第2の情報端末装置は、ユーザによって入力された入力情報が、上記被測定者画像と合わせて反転表示されるべきか否かを判定する反転要否判定手段と、上記反転要否判定手段によって反転不要と判定された入力情報を非反転情報として出力する非反転情報出力手段とを備え、上記合成手段は、上記反転要否判定手段によって反転要と判定された入力情報を、上記被測定者画像に合成することが好ましい。
さらに、上記反転要否判定手段は、上記被測定者画像に対して入力された文字列を表すテキスト情報を、反転不要の入力情報として判定してもよい。
あるいは、上記反転要否判定手段は、上記被測定者画像に対して入力された入力情報が、文字認識処理の結果、文字であると判定された場合に、当該入力情報を反転不要と判定してもよい。
あるいは、上記反転要否判定手段は、反転不要を意味するジェスチャが入力された後に入力された入力情報を、反転不要と判定し、反転要を意味するジェスチャが入力された後に入力された入力情報を、反転要と判定してもよい。
あるいは、第2の情報端末装置の表示部には、上記被測定者画像とともに、反転不要の入力情報を入力するための第1入力ツールと、反転要の入力情報を入力するための第2入力ツールとが選択可能に表示され、上記反転要否判定手段は、上記第1入力ツールが選択されているときに入力された入力情報を反転不要と判定し、上記第2入力ツールが選択されているときに入力された入力情報を反転要と判定してもよい。
上述の第1の情報端末装置と、上述の第2の情報端末装置とを含んで構築される遠隔測定システムも本発明の範疇に入る。
本発明の第1の情報端末装置の制御方法は、上記課題を解決するために、第2の情報端末装置と通信して、被測定者に対して測定を行う遠隔測定システムを構築する第1の情報端末装置の制御方法であって、上記第2の情報端末装置から提供された、上記被測定者の患部を表した被測定者画像上に測定の対象となる測定部位を示す目印が少なくとも追加された情報付静止画を、左右反転させて鏡像画像を生成する鏡像生成ステップと、表示部の表示画面上に、上記鏡像生成ステップにて生成された上記鏡像画像を配置することを決定する配置決定ステップとを含むことを特徴としている。
本発明の第2の情報端末装置の制御方法は、上記課題を解決するために、第1の情報端末装置と通信して、被測定者に対して測定を行う遠隔測定システムを構築する第2の情報端末装置の制御方法であって、被測定者の患部を表した被測定者画像に対して、ユーザによって入力された、測定の対象となる測定部位を示す目印を少なくとも含む入力情報を追加して、情報付静止画を生成する合成ステップと、上記合成ステップにて生成された上記情報付静止画を、上記第1の情報端末装置に対して出力する静止画出力ステップとを含むことを特徴としている。
なお、上記第1の情報端末装置および第2の情報端末装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記各情報端末装置をコンピュータにて実現させる、上記第1の情報端末装置の制御プログラム、および、上記第2の情報端末装置の制御プログラム、ならびに、それらの少なくともいずれかを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明に係る情報端末装置は、上記課題を解決するために、第2の情報端末装置と通信して、被測定者に対して測定を行う遠隔測定システムを構築する第1の情報端末装置であって、上記第2の情報端末装置から提供された、上記被測定者の患部を表した被測定者画像上に測定の対象となる測定部位を示す目印が少なくとも追加された情報付静止画を、左右反転させて鏡像画像を生成する鏡像生成手段と、表示部の表示画面上に、上記鏡像生成手段によって生成された上記鏡像画像を配置することを決定する配置決定手段とを備えていることを特徴としている。
本発明の第2の情報端末装置は、上記課題を解決するために、第1の情報端末装置と通信して、被測定者に対して測定を行う遠隔測定システムを構築する第2の情報端末装置であって、被測定者の患部を表した被測定者画像に対して、ユーザによって入力された、測定の対象となる測定部位を示す目印を少なくとも含む入力情報を追加して、情報付静止画を生成する合成手段と、上記合成手段によって生成された上記情報付静止画を、上記第1の情報端末装置に対して出力する静止画出力手段とを備えていることを特徴としている。
本発明の第1の情報端末装置の制御方法は、上記課題を解決するために、第2の情報端末装置と通信して、被測定者に対して測定を行う遠隔測定システムを構築する第1の情報端末装置の制御方法であって、上記第2の情報端末装置から提供された、上記被測定者の患部を表した被測定者画像上に測定の対象となる測定部位を示す目印が少なくとも追加された情報付静止画を、左右反転させて鏡像画像を生成する鏡像生成ステップと、表示部の表示画面上に、上記鏡像生成ステップにて生成された上記鏡像画像を配置することを決定する配置決定ステップとを含むことを特徴としている。
本発明の第2の情報端末装置の制御方法は、上記課題を解決するために、第1の情報端末装置と通信して、被測定者に対して測定を行う遠隔測定システムを構築する第2の情報端末装置の制御方法であって、被測定者の患部を表した被測定者画像に対して、ユーザによって入力された、測定の対象となる測定部位を示す目印を少なくとも含む入力情報を追加して、情報付静止画を生成する合成ステップと、上記合成ステップにて生成された上記情報付静止画を、上記第1の情報端末装置に対して出力する静止画出力ステップとを含むことを特徴としている。
したがって、測定者が容易に測定部位を把握することが可能な情報端末装置を実現することが可能になるという効果を奏する。
本発明の一実施形態における患者側情報端末装置の要部構成を示す機能ブロック図である。 本発明の一実施形態における聴診システム(遠隔測定システム)の概要を示す図である。 本発明の一実施形態における患者側情報端末装置のハードウェア構成を示すブロック図である。 本発明の一実施形態における医師側情報端末装置のハードウェア構成を示すブロック図である。 本発明の一実施形態における医師側情報端末装置の要部構成を示す機能ブロック図である。 本発明の一実施形態における聴診システムの処理の流れを示すフローチャートである。 (a)は、本発明の一実施形態における医師側情報端末装置の表示部に表示される、患者を表示するための患者領域の具体例を示す図であり、(b)および(c)は、患者側情報端末装置の表示部に表示される、患者領域の具体例を示す図である。 本発明の一実施形態における患者側情報端末装置の処理の流れを示すフローチャートである。 (a)は、本発明の一実施形態における医師側情報端末装置の表示部に表示される、患者を表示するための患者領域の具体例を示す図であり、(b)および(c)は、患者側情報端末装置の表示部に表示される、患者領域の具体例を示す図である。 本発明の一実施形態における患者側情報端末装置の処理の流れを示すフローチャートである。 (a)および(b)は、患者側情報端末装置のタッチパネルに表示された患者領域の具体例を示す図である。 本発明の一実施形態における患者側情報端末装置の構成、および、患者側情報端末装置のそれぞれの表示部13a、13bに表示される、患者領域の具体例を示す図である。 本発明の一実施形態における患者側情報端末装置の処理の流れを示すフローチャートである。 本発明の一実施形態における患者側情報端末装置の構成、および、患者側情報端末装置の表示部に表示される、患者領域の具体例を示す図である。 (a)は、本発明の一実施形態における医師側情報端末装置の表示部に表示される、患者を表示するための患者領域の具体例を示す図であり、(b)および(c)は、患者側情報端末装置の表示部に表示される、患者領域の具体例を示す図である。 本発明の一実施形態における患者側情報端末装置の処理の流れを示すフローチャートである。 本発明の一実施形態における医師側情報端末装置の処理の流れを示すフローチャートである。 (a)は、本発明の一実施形態における医師側情報端末装置の表示部に表示される、患者を表示するための患者領域の具体例を示す図であり、(b)および(c)は、患者側情報端末装置の表示部に表示される、患者領域の具体例を示す図である。 本発明の一実施形態における医師側情報端末装置における機能構成を、具体例を用いて説明する図である。 本発明の一実施形態における医師側情報端末装置の処理の流れを示すフローチャートである。 (a)は、本発明の一実施形態における医師側情報端末装置の表示部に表示される、患者を表示するための患者領域の具体例を示す図であり、(b)および(c)は、患者側情報端末装置の表示部に表示される、患者領域の具体例を示す図である。
≪実施形態1≫
本発明の実施形態について、図1〜図6に基づいて説明すると以下の通りである。
以下で説明する実施形態では、一例として、本発明の遠隔測定システムを、聴診システムとして実現した場合について説明する。上記聴診システムでは、測定現場にいる患者の聴診音を、遠隔地にいる医師が確認し、医師が患者の容体を診察するためのシステムである。
〔聴診システムの概要〕
図2は、本発明の実施形態における聴診システムの概要を示す図である。図2に示すとおり、聴診システム100は、患者側情報端末装置1、医師側情報端末装置2、測定装置3およびサーバ装置5を備えている。
本実施形態における聴診システム100では、測定現場6にいる、被測定者であって測定者でもある患者Pと、遠隔地7にいる医師Dとが、それぞれの場所に設けられた情報端末装置(1、2)を用いて通話することが可能である。そして、患者Pは、医師Dの指導の下、測定現場6にて、測定装置3を用いて自身の聴診音の測定を行う。
本実施形態では、測定装置3は、患者Pが発する生体音を採取する聴診器である。以下では、測定装置3を聴診器3と称する。聴診器3は、例えば、患者側情報端末装置1と無線通信することが可能な電子聴診器などで実現される。
なお、測定現場6には、患者Pの測定を補助する測定補助者Uが居合わせてもよい。測定補助者Uは、例えば、高度看護師(NP;Nurse Practitioner)などの医療従事者、患者を介護する家族などである。測定補助者Uは、聴診器3および患者側情報端末装置1を操作することができる。測定補助者Uは、医師ほどの高度な知識、技能および権限を有してはいないが、あるいは、専門外の診療であるが、専門の医師Dの指導の下に、測定現場6にて即時に、簡便な診察および治療を行う技能を持ち合わせていてもよい。また、測定補助者Uは、単に、聴診器3および患者側情報端末装置1を操作して、測定を行うのみであってもよい。
聴診器3によって採取された聴診音の電子データ(以下、測定データ)は、患者側情報端末装置1によって取り込まれ、患者側情報端末装置1から医師側情報端末装置2へと、ネットワーク4およびサーバ装置5を介して送信される。
なお、測定装置は、聴診器3の他に、例えば、血圧計、体温計、エコー装置などで実現されてもよい。各測定装置が取得した生体信号は、D/A変換されて測定データとして患者側情報端末装置1内で処理される。
患者側情報端末装置1は、測定現場6に設けられた患者Pの情報端末装置である。患者側情報端末装置1は、例えば、ネットワーク4に接続可能なデスクトップパソコンなどで実現される。詳細は後述するが、患者側情報端末装置1には、デジタルビデオカメラなどの撮像部が設けられている。この撮像部によって、診察時の患者Pの様子が撮影される。
撮影された患者映像(ライブビュー画像)はリアルタイムにサーバ装置5を経由して医師側情報端末装置2に送信される。また、患者側情報端末装置1は、医師側情報端末装置2から送信されるデータ(主に、静止画)をサーバ装置5およびネットワーク4を介して受信し、表示する機能も有する。この静止画を表示する機能については、後に詳述する。
医師側情報端末装置2は、患者側情報端末装置1が送信した患者映像をリアルタイムに表示する機能を有する。さらに、医師側情報端末装置2は、上記患者映像から静止画を抽出して該静止画を編集する機能を有する。この編集する機能とは、具体的には、例えば、ポインティングデバイスにより、静止画上の特定の場所(患者の測定部位など)に目印を入力したり、文字を入力したりする機能である。さらに、医師側情報端末装置2は、上記目印および文字などの入力情報が付加された静止画(以下、情報付静止画)を、患者側情報端末装置1に送信する機能を有する。
サーバ装置5は、ネットワーク4に接続可能な任意の位置に設けられている。サーバ装置5は、医師側情報端末装置2と通信することが許可された特定の患者側情報端末装置1と、医師側情報端末装置2との間の情報のやり取りを可能にするサーバ機能を有する。
また、本実施形態では、サーバ装置5は、あらかじめ登録されている患者たちの情報(電子カルテなど)を記憶したデータベースを保持していてもよい。このデータベースは、権限を有する特定の医師側情報端末装置2しかアクセスできないように管理されていることが好ましい。なお、サーバ装置5は、本発明の聴診システム100において必須の構成ではない。例えば、医師側情報端末装置2が、患者側情報端末装置1および所有者である患者Pの情報を管理しており、患者側情報端末装置1と医師側情報端末装置2とがプライベートなネットワークを介して通信するような形態も、本発明の聴診システム100の範疇に入る。
以上のとおり、本発明の聴診システム100において、医師側情報端末装置2は、患者映像を編集し、測定部位を明示した情報付静止画を患者側情報端末装置1に供給する機能を備えていることを特徴としている。患者側情報端末装置1は、上記情報付静止画を、測定者でもある患者Pが測定部位を容易に把握できるように適切な状態で表示する機能を備えていることを特徴としている。各装置のそれぞれの機能について、図を参照しながら、以下に詳細に説明する。
〔患者側情報端末装置のハードウェア構成〕
図3は、本実施形態における患者側情報端末装置1のハードウェア構成を示すブロック図である。なお、図3に示す例は、本発明の患者側情報端末装置1のハードウェア構成の一例を示すものであって、患者側情報端末装置1の構成を限定するものではない。
図3に示すとおり、患者側情報端末装置1は、本体1a、通信部11、音声入出力部12、すなわち、音声入力部12aおよび音声出力部12b、表示部13、操作部14、ならびに、撮像部16を備える構成となっている。なお、本体1aには、図3には示されていないが、制御部10、記憶部15、および、近距離通信部17が収容されている。
制御部10は、患者側情報端末装置1が備える各部を統括制御するものであり、例えば、CPU(central processing unit)などで実現される。
通信部11は、通信網を介して外部の装置と通信を行うものである。通信部11は、例えば、ネットワーク4を介して、サーバ装置5または医師側情報端末装置2とデータの送受信を行う。さらに、患者側情報端末装置1が、電話などの通話機能を備えている場合には、通信部11は、電話回線網を介して、音声通話データなどを、他の装置との間で送受信する。具体的には、通信部11は、患者映像を、サーバ装置5を介して医師側情報端末装置2に送信したり、医師側情報端末装置2から、医師の音声データおよび測定部位が示された情報付静止画などを受信したりする。
音声入出力部12は、音声入力部12aおよび音声出力部12bで構成されている。音声入力部12aは、患者側情報端末装置1の外部で発生した音声の入力を受け付けるものであり、マイク等により実現される。音声入力部12aを介して入力された音声は、音声認識されて、患者側情報端末装置1に対する指示信号に変換されてもよい。音声出力部12bは、患者側情報端末装置1が処理した音声データを、音声として出力するものであり、スピーカ、ヘッドフォン端子およびヘッドフォン等により実現される。音声入出力部12により、患者Pおよび測定補助者Uは、遠隔地7にいる医師Dとの間で、音声による意思伝達を実施することができる。
表示部13は、患者側情報端末装置1が扱う各種情報を表示するものであり、例えば、LCD(液晶ディスプレイ)などの表示装置で構成される。表示部13が表示する情報は、例えば、撮像部16によって撮影されたライブビュー画像(患者映像)であったり、医師側情報端末装置2から送信された情報付静止画であったり、ユーザ(患者Pおよび測定補助者U)が患者側情報端末装置1を操作するためのGUI(Graphical User Interface)部品であったり、聴診器3などの各種測定装置で測定した、被測定者の測定結果(バイタル情報)であったりする。
なお、本実施形態では、表示部13に表示される患者映像および情報付静止画は、左右反転されて、患者の姿が鏡像で示されるようになっている。患者Pは、表示部13に表示された鏡像を見ながら聴診器3を用いてバイタル情報をセンシングすることができる。
操作部14は、ユーザが、患者側情報端末装置1に指示信号を直接入力するためのものである。例えば、操作部14は、本体1aに設けられたボタン、スイッチ、キーまたはジョグダイアルなどの適宜の入力機構、キーボード、もしくは、マウスなどで実現される。ユーザは、例えば、マウスまたはキーボードで実現された操作部14を操作して、表示部13に表示されたGUI部品を操作することによって、患者側情報端末装置1に対して指示を入力することができる。なお、操作部14は、表示部13と一体に形成されて、タッチパネルとして実現されてもよい。
記憶部15は、(1)患者側情報端末装置1の制御部10が実行する基本制御プログラム、(2)制御部10が実行するOSプログラム、(3)制御部10が、患者側情報端末装置1が有する各種機能を実行するためのアプリケーションプログラム、および、(4)該アプリケーションプログラムを実行するときに読み出す各種データを記憶するものである。あるいは、(5)制御部10が各種機能を実行する過程で演算に使用するデータおよび演算結果等を記憶するものである。
例えば、上記の(1)〜(4)のデータは、ROM(read only memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)、HDD(Hard Disc Drive)などの不揮発性記憶装置にて実現された記憶部15に記憶される。また、例えば、上記の(5)のデータは、RAM(Random Access Memory)などの揮発性記憶装置にて実現された記憶部15に記憶される。どのデータをどの記憶装置に記憶するのかについては、患者側情報端末装置1の使用目的、利便性、コスト、物理的な制約などから適宜決定される。
例えば、患者Pの年齢、性別、氏名、既往歴等の患者情報、聴診器3によって採取された測定データ、患者を撮影した動画、静止画などが、不揮発的に記憶部15に記憶される。あるいは、リアルタイムに撮影された患者映像などは、一時的に記憶部15に記憶される。
撮像部16は、静止画または動画を撮像するものであり、レンズおよび撮像素子などを含む適宜の撮像機構で構成される。例えば、撮像部16は、CCD(Charge Coupled Devices)カメラまたはCMOS(Complementary Metal-Oxide-Semiconductor)カメラなどで実現されるが、その他の撮像装置を撮像部16として用いてもよい。撮像部16は、少なくとも1台、患者の身体が正面から撮影できるような位置に設置されることが好ましい。撮像部16が撮影して取得された患者映像は、患者側情報端末装置1からサーバ装置5を介して医師側情報端末装置2にリアルタイムに供給される。これにより、医師側情報端末装置2を利用する医師Dは、患者Pがバイタル状態をセンシングしている様子を患者映像を通して確認することができる。
近距離通信部17は、近距離通信手段を用いて、聴診器3などの測定装置と通信するものである。近距離通信部17の近距離通信手段は、有線にて実現されてもよいが、無線にて実現されることが好ましい。例えば、本実施形態では、聴診器3が被測定者から採取した聴診音データ(測定データ)を、聴診器3が近距離無線通信手段を介して患者側情報端末装置1に送信する。そして、近距離通信部17は、聴診器3から上記測定データを受信する。近距離無線通信手段としては、IrDA、IrSSなどの赤外線通信、Bluetooth(登録商標)通信、WiFi通信などの近距離無線通信技術、または、Felicaなどの非接触型ICカードなど、適宜の手段を用いることが可能である。近距離通信部17が信号を受信するためのアンテナおよび信号復調部などは本体1aに収容されていてもよい。
〔医師側情報端末装置のハードウェア構成〕
図4は、本実施形態における医師側情報端末装置2のハードウェア構成を示すブロック図である。なお、図4に示す例は、本発明の医師側情報端末装置2のハードウェア構成の一例を示すものであって、医師側情報端末装置2の構成を限定するものではない。
図4に示すとおり、医師側情報端末装置2は、本体2a、通信部41、音声入出力部42、すなわち、音声入力部42aおよび音声出力部42b、表示部43、ならびに、操作部44を備える構成となっている。なお、本体2aには、図4には示されていないが、制御部40および記憶部45が収容されている。
医師側情報端末装置2のハードウェア構成は、患者側情報端末装置1とほぼ同様であるので重複する内容はここでは繰り返して説明しない。
通信部41は、患者側情報端末装置1から患者映像を受信したり、患者Pまたは測定補助者Uの音声データを受信したり、聴診器3によって採取された患者Pの測定データを受信したり、医師側情報端末装置2が生成した情報付静止画を患者側情報端末装置1に送信したりする。
表示部43は、医師側情報端末装置2が扱う各種情報を表示する。表示部43が表示する情報は、例えば、患者側情報端末装置1から受信したライブビュー画像(患者映像)であったり、医師側情報端末装置2にて編集中の患者の静止画(情報付静止画)であったり、ユーザ(医師D)が医師側情報端末装置2を操作するためのGUI部品であったり、被測定者の測定データ(バイタル情報)であったりする。
特に、本実施形態では、医師側情報端末装置2は、上記患者映像の1フレーム(静止画)に、医師Dがコメントを追加したり、測定部位に目印を追加したりして、上記静止画に情報を追加する機能を備える。そこで、表示部43には、さらに、医師Dが静止画に対して情報を入力するためのGUI部品(ペン型のカーソルなど)、および、医師Dによって静止画に追加された入力情報(測定部位の目印など)が表示されてもよい。さらに、表示部43には、医師Dが患者Pの容体を詳細に把握できるように、聴診器3が採取した聴診音の波形データが表示されてもよい。上記波形データは、患者側情報端末装置1からほぼリアルタイムに送信されてくることが好ましい。これにより、医師Dは、患者Pの測定が正常に行われているかどうか確認できる。また、測定方法に問題があれば、患者映像から抽出した静止画を編集して、ペンまたはマウスなどで正しい測定部位をマーキングして、患者側情報端末装置1にすぐに返信することができる。なお、上記波形データなどの測定データは、医師Dが患者Pの診断に利用することもできる。
操作部44は、患者側情報端末装置1の操作部14と同様に、本体2aに設けられる適宜の入力機構、キーボード、または、マウスなどで実現されてもよいが、さらに、ペンなどでなぞられた形状を医師側情報端末装置2に入力することができるタブレットで実現されることが好ましい。タブレットで実現された操作部44を用いれば、医師Dは、容易な操作で、静止画に対して目印または文字などを追加し、編集することが可能となる。なお、マウスとしての操作部44を用いて静止画に対して目印が追加されてもよいし、キーボードとしての操作部44によって、静止画に対して文字が追加されてもよい。
〔患者側情報端末装置の機能構成〕
図1は、本実施形態における患者側情報端末装置1の要部構成を示す機能ブロック図である。
図1に示すとおり、患者側情報端末装置1の制御部10は、機能ブロックとして、少なくとも、表示制御部23および映像処理部20を備える構成となっている。そして、本実施形態では、映像処理部20は、少なくとも、配置決定部30および鏡像生成部31を含む構成である。なお、制御部10は、さらに、必要に応じて、入出力制御部21、測定データ処理部22および操作受付部24を備えていてもよい。また、映像処理部20は、さらに、必要に応じて、画像重畳部32および反転制御部33を含んでいてもよい。
上述した制御部10の各機能ブロックは、CPU(central processing unit)等が、ROM(read only memory)、NVRAM(non-Volatile random access memory)等で実現された記憶装置(記憶部15)に記憶されているプログラムをRAM(random access memory)等に読み出して実行することで実現できる。
入出力制御部21は、音声入出力部12によって入出力される音声信号のD/A変換を行うものである。例えば、音声入力部12a(マイク)から入力された音声信号は、D/A変換されて、音声データとして、通信部11を介してネットワーク4へ送出される。本実施形態では、送信先は、サーバ装置5であるが、サーバ装置5によって、上記音声データは、医師側情報端末装置2へと転送される。一方、入出力制御部21は、通信部11を介して医師側情報端末装置2から受信された、医師Dの音声データを、音声出力部12bへと出力する。
測定データ処理部22は、近距離通信部17を介して受信された聴診器3などの測定装置から出力された測定データを処理するものである。具体的には、測定データ処理部22は、測定データを、自装置の表示部13に表示されるように形式変換を行ったり、通信部11を介して医師側情報端末装置2に送信されるように形式変換を行ったりする。
なお、測定データ処理部22は、聴診器3の測定装置から生体信号を取得する場合には、必要に応じて、測定信号のD/A変換を行ってもよい。例えば、測定データ処理部22は、聴診器3から取得された音信号を、連続波形データへと処理し、電子データとして保存、送信可能にする。また、測定データ処理部22は、血圧計から取得された信号を、血圧の数値を示す単一データへと処理し、電子データとして保存、送信可能にする。また、測定データ処理部22は、エコー装置から取得された映像信号を、動画像データへと処理し、電子データとして保存、送信可能にする。以上のとおり、患者側情報端末装置1は、測定装置のそれぞれのハードウェア性能に応じた適切な精度を満たすD/A変換を行う機能を有していてもよい。近距離通信部17が、聴診器3からの測定データをデジタル信号として受信することができる場合には、D/A変換を行う機能はなくてもよい。
測定データ処理部22が処理した測定データは、図示しないデータ送出部によって、サーバ装置5に送信するか(通信部11へ供給するか)、表示部13に表示するか(映像処理部20へ供給するか)が決定され、分配される。通常は、測定データ処理部22のデータ送出部は、測定データがサーバ装置5に送信されつつ、表示部13にも表示されるように、該測定データを、各部に分配する。
映像処理部20は、患者側情報端末装置1が扱う表示対象データを処理するものであり、表示部13に表示される画面を生成するものである。本実施形態では、映像処理部20は、配置決定部30および鏡像生成部31を含む。
鏡像生成部31は、撮像部16によって撮影された患者映像、および、医師側情報端末装置2から受信された情報付静止画に対して、左右反転させる処理を実行するものである。鏡像生成部31は、上記患者映像を左右反転させて鏡像映像を生成し、上記情報付静止画を左右反転させて鏡像画像を生成する。鏡像生成部31によって生成された鏡像映像は、元の患者映像すなわち正像映像とは別のデータとして、記憶部15に格納される。上記鏡像画像も、同様に、元の情報付静止画すなわち正像画像とは別のデータとして、記憶部15に格納される。
配置決定部30は、表示対象データの表示部13の画面における配置を設計するものである。配置決定部30が扱う表示対象データは、例えば、これに限定されないが、GUI部品、患者映像(正像映像)、上記鏡像映像、情報付静止画(正像画像)、上記鏡像画像、および、測定データなどである。
表示制御部23は、映像処理部20によって処理された映像または画像を含む画面のデータを映像信号として表示部13に出力するものである。
操作受付部24は、操作部14が操作されることによって患者側情報端末装置1に入力された指示信号を受け付けるものである。指示信号入力のイベントが発生すると、操作受付部24は、イベントに応じた指示信号の内容を、制御部10の各部に供給する。
〔医師側情報端末装置の機能構成〕
図5は、本実施形態における医師側情報端末装置2の要部構成を示す機能ブロック図である。
図5に示すとおり、医師側情報端末装置2の制御部40は、機能ブロックとして、少なくとも、映像受信部55、映像処理部50、表示制御部53、操作受付部54、および、入力情報処理部56を備える構成となっている。そして、本実施形態では、映像処理部50は、静止画取得部65、画像重畳部66および配置決定部67を含む構成である。入力情報処理部56は、少なくとも、入力情報生成部60および静止画出力部61を含む構成である。なお、制御部40は、さらに、必要に応じて、入出力制御部51、および、測定データ受信部52を備えていてもよい。また、入力情報処理部56は、さらに、必要に応じて、反転要否判定部62および非反転情報出力部63を含んでいてもよい。
上述した制御部40の各機能ブロックは、CPU(central processing unit)等が、ROM(read only memory)、NVRAM(non-Volatile random access memory)等で実現された記憶装置(記憶部45)に記憶されているプログラムをRAM(random access memory)等に読み出して実行することで実現できる。
医師側情報端末装置2の機能構成のうち、患者側情報端末装置1の機能構成とほぼ同様であるものについては、重複する内容はここでは繰り返して説明しない。
入出力制御部51は、本実施形態では、音声入力部42aから入力された医師Dの音声信号を音声データとして通信部41に出力する。一方、入出力制御部51は、通信部41を介して受信した、患者Pまたは測定補助者Uの音声データを音声信号として音声出力部42bに出力する。
測定データ受信部52は、通信部41を介して受信された測定データを取得するものである。取得された測定データは、映像処理部20に供給されて、表示部43に表示されるように、映像処理部20によって処理される。
映像受信部55は、通信部41を介して受信された患者映像を取得するものである。取得された患者映像は、映像受信部55によって、リアルタイムで映像処理部20に供給される。これにより、供給された患者映像は、リアルタイムで表示部43に表示されるように、映像処理部20によって処理される。
入力情報処理部56は、操作部44を介して入力された医師Dが入力した入力情報を処理するものである。入力情報処理部56は、本実施形態では、少なくとも、入力情報生成部60および静止画出力部61を含む。
入力情報生成部60は、操作部44から入力された入力情報を、映像処理部50が扱えるオブジェクトに成形するものである。例えば、ペンとタブレットとを介して、患者映像または静止画に対して、入力情報(目印)が入力されたとする。入力情報生成部60は、タブレットを介して入力された入力信号が示す、医師Dが描いたペンの筆跡から上記目印の形状(および色)を特定する。また、上記目印が検出された静止画上の位置を特定する。そして、入力情報生成部60は、上記目印の形状と位置とを指定する形式へと入力情報を成形する。入力情報生成部60は、上記入力情報を映像処理部50に引き渡して、該入力情報を静止画に追加するように依頼する。
静止画出力部61は、上記依頼に対する応答として、映像処理部50から、上記静止画に上記入力情報が付加された情報付静止画を受け取る。また、静止画出力部61は、該情報付静止画を、通信部41に出力する。これにより、情報付静止画は、ネットワーク4を介して患者側情報端末装置1に供給される。
映像処理部50は、医師側情報端末装置2が扱う表示対象データを処理するものである。映像処理部50は、表示部43に表示される画面を生成するものであり、また、表示部43に表示された画像(患者映像の1フレーム)が編集された場合には、その編集操作にしたがって、画像に対して編集処理を施すものである。映像処理部50は、静止画取得部65、画像重畳部66および配置決定部67を含む。
静止画取得部65は、ライブビュー画像である患者映像から1フレームを静止画としてキャプチャするものである。本実施形態では、例えば、医師Dが、操作部44(例えば、ペンおよびタブレット)を用いて、患者映像に編集を施した(入力情報を入力した)タイミングで、表示部43に出力されているフレームを静止画として取得してもよい。あるいは、医師Dが、操作部44(例えば、マウス)を用いて、キャプチャボタン(GUI部品)をクリックしたタイミングで、表示部43に出力されているフレームを静止画として取得してもよい。静止画取得部65によって取得された静止画に対して、医師Dにより入力された入力情報(目印および文字など)が反映される。
画像重畳部66は、操作部44を介して医師Dが入力した入力情報を、静止画取得部65によって取得された静止画に重ねて合成するものである。例えば、医師Dがペンを用いて、静止画上の患者Pの測定部位を丸で囲むとする。この丸のオブジェクトが入力情報として入力情報生成部60によって成形される。画像重畳部66は、入力情報生成部60からの依頼にしたがって、入力情報(丸)を、静止画上の指定された位置に重ねて合成する。画像重畳部66は、こうして、静止画に入力情報を合成して、情報付静止画を生成する。上記の例では、情報付静止画は、患者Pの体の測定部位を、医師Dが描いたとおりの丸の目印によって示した画像である。画像重畳部66は、生成した情報付静止画を入力情報処理部56の静止画出力部61に返す。
配置決定部67は、表示対象データの表示部43の画面における配置を設計するものである。配置決定部67が扱う表示対象データは、例えば、これに限定されないが、GUI部品(特に、静止画編集用のGUI部品)、患者映像(正像映像)、情報付静止画(正像画像)、および、測定データなどである。
表示制御部53は、映像処理部50によって処理された映像または画像を含む画面のデータを映像信号として表示部43に出力するものである。
操作受付部54は、操作部44が操作されることによって医師側情報端末装置2に入力された指示信号を受け付けるものである。
〔聴診システムの処理フロー〕
図6は、本発明の実施形態における聴診システム100の処理の流れを示すフローチャートである。
測定現場6にある患者側情報端末装置1と、遠隔地7にある医師側情報端末装置2との間で通信が確立すると、医師Dの患者Pに対する診療が開始される。
まず、患者側情報端末装置1の撮像部16が起動される。撮像部16は、患者Pを撮影し、患者Pのライブビュー画像(患者映像)を取得する(S101)。聴診器による測定を行う場合は、上半身を撮影することが好ましい。血圧計による測定の場合は、腕を撮影することが好ましい。
患者映像は、映像処理部20によって通信可能なデータ形式へと処理され通信部11に出力される。通信部11は、上記患者映像を医師側情報端末装置2に送信する(S102)。
一方、医師側情報端末装置2の通信部41は、患者側情報端末装置1から上記患者映像を受信する。受信された患者映像は、映像受信部55および映像処理部50によって処理される。表示制御部53は、患者映像を表示するための画面に対応する映像信号を表示部43に出力して、患者映像を表示する(S103)。これにより、医師Dは、患者Pの様子をリアルタイムで視認できるようになる。
続いて、医師Dが、患者映像を見ながら、患者の静止画をキャプチャする指示を操作部44を介して入力すると(S104においてYES)、そのタイミングで、静止画取得部65は、患者の静止画を取得する(S105)。そして、上記静止画は、例えば、図4に示すとおり、表示部43に表示される。医師Dは、上記静止画に対して、ペンを用いて、マーキングしたり、ペイントしたり、文字を入力したりすることが可能である。
ここで、医師Dが、例えば、図4に示すとおり、上記静止画上の任意の位置に、測定部位を表す目印を記入したとする。このように情報入力のイベントが発生すると(S106においてYES)、入力情報処理部56および映像処理部50は、入力された入力情報を静止画に重畳させて、情報付静止画を生成する(S107)。ここでは、情報付静止画は、患者の姿が写っている静止画上の、医師Dが記入した位置に、測定部位を表す目印が重ねられた画像である。
医師Dは、静止画に対する編集を終えると、例えば、送信ボタンなどのGUI部品をクリックして、その編集内容で、情報付静止画を送信することを患者側情報端末装置1に対して指示することができる。この指示に応じて、通信部41は、上記情報付静止画を患者側情報端末装置1に送信する(S108)。
これに対して、患者側情報端末装置1の通信部11は、上記情報付静止画を受信する(S109)。そして、映像処理部20の鏡像生成部31は、上記情報付静止画の左右を反転させた鏡像画像を生成する(S110)。
表示制御部23は、鏡像生成部31によって生成された上記鏡像画像を表示部13に表示する(S111)。例えば、図4に示すとおり、医師側情報端末装置2において作成された情報付静止画は、右下に測定部位の目印を含んでいる。これを左右反転させた鏡像画像は、図3に示すとおり、左下に測定部位の目印を含んでいる。左下に測定部位の目印を含む鏡像画像は、患者Pにとって、鏡に映した自分の姿と同じに見える。
したがって、患者Pは、上記鏡像画像を見ながら、上記目印を頼りにして、すぐさま、自身の体における測定部位を特定し、そこに、聴診器3をあてなければならないことを、直感的に理解することができる。
なお、映像処理部20の鏡像生成部31は、撮像部16によって取得された患者映像を反転させた鏡像映像を生成してもよい(S112)。配置決定部30は、鏡像映像を画面に配置して、上記鏡像画像とともに表示部13に表示させてもよい。S112の処理は、S101より後のどのタイミングで実行されてもよい。
上記構成および方法によれば、医師側情報端末装置2は、患者の現在の様子を写す静止画を、医師Dの指示にしたがって編集することにより、患者の体のいずれかに、測定部位を表す目印が付加された情報付静止画を生成することができる。一方、上記情報付静止画を受信した患者側情報端末装置1は、情報付静止画を、測定部位の目印ごと、左右反転して、鏡像画像を生成し、表示部13に表示することができる。
これにより、聴診システム100において、医師Dが見ている表示部43では、患者映像および情報付静止画は、すべて正像である一方、患者Pが見ている表示部13では、鏡像画像が表示される。つまり、遠隔地7においては、医師Dは、通常医師Dが患者Pと対面で診察を行う場合と同じ状態で、患者Pを観察することできる。一方で、測定現場6においては、患者Pは、鏡に自分の姿を映した場合と同じ状態で、自分自身の様子を観察することができる。
このため、医師Dは、通常の現場の診療と同じ感覚で、適切な測定部位を指定することができ、これに対して、患者Pは、鏡に映った自分を見るのと同じ感覚で、指定された測定部位を、すぐさま直感的に把握することができる。
以上のことから、被測定者(患者P)自身が測定者として測定を行う場合に、測定者が容易に測定部位を把握することが可能な、利便性の高い聴診システム100を実現することが可能になる。
〔実施形態1の変形例〕
なお、本実施形態では、表示制御部23は、鏡像画像(情報付静止画の左右反転画像)とともに、鏡像映像(ライブビュー画像の左右反転映像)を表示してもよいことを説明した。ここで、鏡像画像と鏡像映像とは、並べて表示部13に表示されてもよいし、重ねて表示部13に表示されてもよい。
例えば、配置決定部30は、鏡像画像と鏡像映像とを横並びに配置して画面を生成してもよい。あるいは、映像処理部20は、画像重畳部32を備え、画像重畳部32が、鏡像画像と鏡像映像とを重ねた重畳画像を生成してもよい。例えば、画像重畳部32は、鏡像映像の上に、半透過させた鏡像画像を重ね合わせることが考えられる。患者Pは、鏡像映像に映る自分の姿が、鏡像画像と一致するように体を動かしたり、撮像部16を動かしたりすることができる。そして、患者Pは、一致した重畳画像を確認して、聴診器3を鏡像画像上の目印と重なるように当てることによって、簡単に正しい測定部位をつきとめることが可能となる。
≪実施形態2≫
本発明の遠隔測定システムに関する他の実施形態について、図1、図5、図7および図8に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔本実施形態が解決しようとする課題〕
本実施形態では、聴診システム100において、患者Pが居る測定現場6に、看護師などの医療専門者(測定補助者U)が付き添うことを想定している。具体的には、患者Pの状態に応じて患者P自身で測定が可能なときは患者P自身が測定を行い、患者Pの容体が悪く、自身で測定を行うことが困難な場合、あるいは、操作に不慣れな患者Pの場合には、測定補助者Uが測定を行うことを想定している。
上述の実施形態1によれば、患者Pと測定補助者Uとは、同じ患者側情報端末装置1の表示部13の画面を見ながら、医師Dの指導の下、目的の測定部位に聴診器3をあてて、バイタル情報を測定することになる。医師Dは、実施形態1のときと同様に、患者Pを映像でモニタリングしながら、患者映像の静止画に指示を書き込みするなどして、患者Pまたは測定補助者Uに指示を与える。つまり、聴診器3をあてるべき測定部位を静止画に示して指示する。
しかしながら、患者側情報端末装置1の表示部13には、患者Pの姿が鏡像で表示される。そのため、患者Pが測定する場合は、患者Pにとって利便性が高いが、患者Pと対面する測定補助者Uが測定する場合には、鏡像で表示された測定部位は把握しづらく不便である。
本実施形態では、上記の不都合に鑑みて、被測定者自身が測定者となって測定を行う場合でも、他の測定者が測定を行う場合でも、測定者が容易に測定部位を把握することが可能な、さらに利便性の高い遠隔測定システムを実現することを目的とする。
〔医師側情報端末装置の機能構成〕
本実施形態における医師側情報端末装置2の機能構成は、図5に示すとおりである。
ただし、本実施形態において、実施形態1の医師側情報端末装置2と異なる点は、以下の点である。すなわち、映像処理部50の配置決定部67は、患者映像(正像)と、キャプチャした静止画(正像)とを並べて配置することを決定する。
図7の(a)は、本実施形態の表示部43に表示される、患者を表示するための患者領域43rの具体例を示す図である。図7の(a)に示すとおり、配置決定部67は、患者領域43rに、患者映像430と、編集前後または編集中の情報付静止画431とを並べて配置する。医師Dは、患者映像430から静止画をキャプチャする場合には、例えば、患者映像430をマウスでドラッグして、情報付静止画431の領域にドロップする操作を行うことなどが考えられる。
〔患者側情報端末装置の機能構成〕
本実施形態における患者側情報端末装置1の機能構成は、図1に示すとおりである。
ただし、本実施形態において、実施形態1の患者側情報端末装置1と異なる点は、以下の点である。
すなわち、映像処理部20の配置決定部30は、ライブビュー画像と、医師側情報端末装置2から供給される静止画とを並べて配置することを決定する。さらに、配置決定部30は、ライブビュー画像および静止画の両方について、正像と鏡像とを切り替える操作をユーザに行わせるためのGUI部品を配置することを決定する。
図7の(b)および(c)は、本実施形態の表示部13に表示される、患者を表示するための患者領域13rの具体例を示す図である。図7の(b)は、患者P用に、鏡像が表示されている例を示す図であり、図7の(c)は、測定補助者U用に、正像が表示されている例を示す図である。
配置決定部30は、患者Pに対しては、図7の(b)に示すとおり、患者領域13rに、鏡像映像130と、鏡像画像131とを並べて配置する。さらに、本実施形態では、配置決定部30は、鏡像から正像に切り替える操作を行うためのGUI部品132を配置する。測定補助者Uは、鏡像から正像に切り替えたい場合には、例えば、マウスを操作して、GUI部品132内の測定補助者のオプションボタンをクリックすることなどが考えられる。
配置決定部30は、測定補助者Uに対しては、図7の(c)に示すとおり、患者領域13rに、患者映像133(正像)と、情報付静止画134(正像)とを並べて配置する。さらに、本実施形態では、配置決定部30は、正像から鏡像に切り替える操作を行うためのGUI部品135を配置する。患者Pが正像から鏡像に切り替えたい場合には、GUI部品135内の患者のオプションボタンをクリックすればよい。
また、本実施形態において、映像処理部20は、反転制御部33を必ず備える構成である。
反転制御部33は、表示対象のオブジェクトについて反転処理(鏡像表示)の要否を判断し制御するものである。本実施形態では、反転制御部33は、操作部14を介して入力された、正像鏡像切替指示にしたがって、正像および鏡像のいずれを表示させるべきかを制御する。例えば、反転制御部33は、図7の(b)に示す患者領域13rの状態で、測定補助者用のオプションボタンがクリックされた場合には、鏡像を正像に切り替えるべきと判断する。そして、反転制御部33は、鏡像を正像に切り替えるように、配置決定部30に対して指示する。
一方、図7の(c)に示す患者領域13rの状態で、患者用のオプションボタンがクリックされた場合には、正像を鏡像に切り替えるべきと判断する。そして、反転制御部33は、正像を鏡像に切り替えるように、配置決定部30に対して指示する。
〔患者側情報端末装置の処理フロー〕
図8は、本発明の実施形態における患者側情報端末装置1の処理の流れを示すフローチャートである。
診療が開始されると、撮像部16は、患者Pを撮影し、患者映像を取得する(S201)。そして、鏡像生成部31は、上記患者映像の鏡像映像を生成する(S202)。
一方で、通信部11は、上記患者映像を医師側情報端末装置2に送信する(S203)。続いて、上記患者映像に基づいて生成された情報付静止画を医師側情報端末装置2から受信する(S204)。情報付静止画が受信された場合には、鏡像生成部31は、上記情報付静止画の鏡像画像を生成する(S205)。
配置決定部30は、生成された鏡像映像130と、鏡像画像131と、切替操作用のGUI部品132とを患者領域13rに配置する(S206)。
表示制御部23は、上記患者領域13rを含む画面を表示部13に表示する(S207)。このときの表示内容は、例えば、図7の(b)に示すとおりである。
ここで、正像への切り替え操作の入力を操作受付部24が検知した場合には(S208においてYES)、配置決定部30は、患者映像(正像映像)133と、情報付静止画(映像画像)134と、切替操作用のGUI部品135とを患者領域13rに配置する(S209)。
表示制御部23は、上記患者領域13rを含む画面を表示部13に表示する(S210)。このときの表示内容は、例えば、図7の(c)に示すとおりである。
ここで、鏡像への切り替え操作の入力を操作受付部24が検知した場合には(S211においてYES)、配置決定部30は、S206に戻り、以降同様の動作を繰り返す。
上記構成および方法によれば、測定部位を表す目印が付加された情報付静止画を受信した患者側情報端末装置1は、情報付静止画を、測定部位の目印ごと、左右反転して、鏡像画像を生成し、表示部13に表示することができる。また、鏡像映像を並べて表示することができる。
この一方で、さらに、患者側情報端末装置1は、元の患者映像(正像)と、元の情報付静止画(正像)とを並べて表示部13に表示することが可能である。
そして、反転制御部33の制御により、患者側情報端末装置1は、ユーザの正像鏡像切替指示にしたがって、正像と鏡像とを任意に切り替えることが可能である。
これにより、聴診システム100において、医師Dが見ている表示部43では、患者映像および情報付静止画は、すべて正像である一方、患者Pが見ている表示部13では、鏡像画像および鏡像映像が表示される。つまり、遠隔地7においては、医師Dは、通常医師Dが患者Pと対面で診察を行う場合と同じ状態で、患者Pを観察することできる。一方で、測定現場6においては、患者Pは、鏡に自分の姿を映した場合と同じ状態で、自分自身の様子を観察することができる。
さらに、測定現場6において、測定補助者Uが測定を行う場合には、患者側情報端末装置1の表示部13の表示を、正像に容易に切り替えることが可能である。
このため、患者Pが測定を行う場合には、患者Pは、鏡像画像によって、鏡に映った自分を見るのと同じ感覚で、指定された測定部位を、すぐさま直感的に把握することができる。その一方、測定補助者Uが測定を行う場合には、測定補助者Uは、正像画像によって、対面で診療を行う場合と同じ感覚で、適切な測定部位を、すぐさま直感的に把握することができる。
以上のことから、被測定者(患者P)自身が測定者となって測定を行う場合でも、他の測定者(測定補助者U)が測定を行う場合でも、測定者が容易に測定部位を把握することが可能な、より一層利便性の高い聴診システム100を実現することが可能になる。
なお、上述の例では、正像と鏡像とを切り替える操作について、患者側情報端末装置1は、GUI部品(ソフトウェアボタン)を用いて、ユーザーアクションによって容易に切り替えることができる構成としたが、これに限定されない。患者側情報端末装置1の本体1a、表示部13、または、操作部14に物理的に設置されているボタンを操作することにより、正像と鏡像とを切り替えることができる構成としてもよい。
≪実施形態3≫
本発明の遠隔測定システムに関する他の実施形態について、図1、図5、図9〜図11に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔医師側情報端末装置の機能構成〕
本実施形態における医師側情報端末装置2の機能構成は、図5に示すとおりである。
ただし、本実施形態において、上述の各実施形態の医師側情報端末装置2と異なる点は、以下の点である。すなわち、映像処理部50の画像重畳部66は、患者映像(正像)と、キャプチャした静止画(正像)とを重ねた重畳画像を生成し、配置決定部67は、上記重畳画像を配置することを決定する。
図9の(a)は、本実施形態の表示部43に表示される患者領域43rの具体例を示す図である。図9の(a)に示すとおり、画像重畳部66は、患者映像430と情報付静止画431とを重畳させる。例えば、画像重畳部66は、情報付静止画431上に、半透過させた患者映像430を重ね合わせることが考えられる。
なお、医師側情報端末装置2においては、医師Dは、患者の測定部位を正確にマーキングする必要がある。そのため、医師Dが、静止画に対して編集を行っている間は、配置決定部67は、ライブビュー画像と静止画とを並べて表示することを決定してもよい。
〔患者側情報端末装置の機能構成〕
本実施形態における患者側情報端末装置1の機能構成は、図1に示すとおりである。
ただし、本実施形態において、上述の各実施形態の患者側情報端末装置1と異なる点は、以下の点である。
すなわち、本実施形態において、映像処理部20は、画像重畳部32および反転制御部33を必ず備える構成である。
画像重畳部32は、鏡像映像130と鏡像画像131とを重ね合わせて重畳鏡像映像を生成するものである。または、画像重畳部32は、患者映像133と情報付静止画134とを重ね合わせて重畳正像映像を生成するものである。
配置決定部30は、反転制御部33の指示にしたがって、上記重畳鏡像映像または重畳正像映像を切り替えて配置することを決定する。
図9の(b)および(c)は、本実施形態の表示部13に表示される、患者を表示するための患者領域13rの具体例を示す図である。図9の(b)は、患者P用に、鏡像が表示されている例を示す図であり、図9の(c)は、測定補助者U用に、正像が表示されている例を示す図である。
配置決定部30は、患者Pに対しては、図9の(b)に示すとおり、患者領域13rに、鏡像映像130と鏡像画像131とを重ねた重畳鏡像映像136、および、GUI部品132を配置する。
配置決定部30は、測定補助者Uに対しては、図9の(c)に示すとおり、患者領域13rに、患者映像133(正像)と情報付静止画134(正像)とを重ねた重畳正像映像137を配置する。
〔患者側情報端末装置の処理フロー〕
図10は、本発明の実施形態における患者側情報端末装置1の処理の流れを示すフローチャートである。
S301〜S305は、図8におけるS201〜S205と同様であるため説明を省略する。
画像重畳部32は、生成された鏡像映像130と鏡像画像131とを重ねて重畳鏡像映像136を生成する(S306)。
配置決定部30は、生成された重畳鏡像映像136と、切替操作用のGUI部品132とを患者領域13rに配置する(S307)。
表示制御部23は、上記患者領域13rを含む画面を表示部13に表示する(S307)。このときの表示内容は、例えば、図9の(b)に示すとおりである。
ここで、正像への切り替え操作の入力を操作受付部24が検知した場合には(S308においてYES)、画像重畳部32は、患者映像(正像映像)133と情報付静止画(映像画像)134とを重ねて重畳正像映像137を生成する(S309)。
配置決定部30は、重畳正像映像137と、切替操作用のGUI部品135とを患者領域13rに配置する(S310)。
表示制御部23は、上記患者領域13rを含む画面を表示部13に表示する(S310)。このときの表示内容は、例えば、図9の(c)に示すとおりである。
ここで、鏡像への切り替え操作の入力を操作受付部24が検知した場合には(S311においてYES)、配置決定部30は、S306に戻り、以降同様の動作を繰り返す。なお、画像重畳部32は、重畳鏡像映像136および重畳正像映像137を一度生成したら、これらを記憶部15に記憶させておく構成が好ましい。上記構成によれば、必要なデータを記憶部15から読み出すだけでよく、切り替え操作が行われる度に、S306またはS309の動作を行うことを省略することができる。
上記構成および方法によれば、患者Pは、重畳鏡像映像136を確認して、測定部位を把握することができる。患者Pは、鏡像映像に映る自分の姿が、鏡像画像と一致するように体を動かしたり、撮像部16を動かしたりすればよい。患者Pは、自分の姿が鏡像映像と一致したときの重畳鏡像映像136を確認して、聴診器3を鏡像画像上の目印と重なるように当てることによって、簡単に正しい測定部位をつきとめることが可能となる。
一方、測定補助者Uは、患者の姿が情報付静止画と一致した時の重畳正像映像137を確認して、聴診器3を情報付静止画上の目印と重なるように当てることによって、簡単に正しい測定部位をつきとめることが可能となる。
以上のことから、被測定者(患者P)自身が測定者となって測定を行う場合でも、他の測定者(測定補助者U)が測定を行う場合でも、測定者が容易に測定部位を把握することが可能な、より一層利便性の高い聴診システム100を実現することが可能になる。
〔実施形態2および3の変形例〕
なお、実施形態2および3では、表示制御部23が正像鏡像切替操作のためのGUI部品を表示し、切替指示を受け付ける構成について説明した。しかし、本発明の患者側情報端末装置1の構成はこれに限定されない。
表示部13および操作部14がタッチパネルとして構成されている場合に、操作受付部24は、タッチパネルに対してなされた特定のタッチ操作を検知して、正像鏡像切替指示を受け付ける構成であってもよい。
図11の(a)および(b)は、タッチパネルに表示された患者領域13rの具体例を示す図である。図11に示す例では、操作受付部24は、正像鏡像切替指示を、タッチパネルに対するタッチ操作(例えば、患者領域13r上を指をスライドさせる操作、フリック、ワイプ、タップなど)に基づいて受け付ける。そのため、図11に示すとおり、表示制御部23は、正像鏡像切替操作のためのGUI部品を表示しなくてもよい。
≪実施形態4≫
本発明の遠隔測定システムに関する他の実施形態について、図1、図5、図12および図13に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
なお、本実施形態における医師側情報端末装置2の機能構成は、図5に示すとおりである。本実施形態における医師側情報端末装置2は、上述のいずれの実施形態における医師側情報端末装置2の機能構成を備えていてもよい。
〔患者側情報端末装置の構成〕
本実施形態における患者側情報端末装置1のハードウェア構成および機能構成は、図1に示すものとほぼ同様である。
ただし、本実施形態において、上述の各実施形態の患者側情報端末装置1と異なる点は、以下の点である。
すなわち、患者側情報端末装置1は、1つの表示部13を備える代わりに、患者Pが閲覧するための患者用表示部13aと、測定補助者Uが閲覧するための測定補助者用表示部13bとを備える構成である。
そして、映像処理部20は、鏡像を配置した患者用画面と、正像を配置した測定補助者用画面とを生成する構成である。表示制御部23は、患者用画面の映像信号を患者用表示部13aに出力し、測定補助者用画面の映像信号を測定補助者用表示部13bに出力する構成である。
本実施形態では、映像処理部20には、必ずしも画像重畳部32および反転制御部33は設けられない。
図12は、本実施形態の患者側情報端末装置1の構成、および、本実施形態のそれぞれの表示部13a、13bに表示される、患者領域13rの具体例を示す図である。
映像処理部20の配置決定部30は、患者領域13rに鏡像映像130と鏡像画像131とを配置した患者用画面を生成するとともに、患者領域13rに患者映像133と情報付静止画134とを配置した測定補助者用画面を生成する。生成されたそれぞれの画面は、映像処理部20から表示制御部23に供給される。
表示制御部23は、鏡像が配置された患者用画面の映像信号を患者用表示部13aに出力し、正像が配置された測定補助者用画面の映像信号を測定補助者用表示部13bに出力する。
結果として、図12に示すとおり、患者用表示部13aに表示された患者領域13rには、鏡像が表示され、測定補助者用表示部13bに表示された患者領域13rには、正像が表示される。
〔患者側情報端末装置の処理フロー〕
図13は、本発明の実施形態における患者側情報端末装置1の処理の流れを示すフローチャートである。
S401〜S405は、図8におけるS201〜S205と同様であるため説明を省略する。
配置決定部30は、鏡像映像130と鏡像画像131とを配置した患者用画面を生成する(S406)。また、配置決定部30は、患者映像133と情報付静止画134とを配置した測定補助者用画面を生成する(S407)。配置決定部30は、S406およびS407のいずれを先に実行しても構わない。上記患者用画面および上記測定補助者用画面は、表示制御部23に供給される。
続いて、表示制御部23は、映像処理部20から供給された画面のデータが、患者用画面であれば(S408においてYES)、その映像信号を患者用表示部13aに出力する。そして、患者用表示部13aには、鏡像が配置された患者用画面が表示される(S409)。一方、画面のデータが、測定補助者用画面であれば(S408においてNO)、表示制御部23は、その映像信号を測定補助者用表示部13bに出力する。そして、測定補助者用表示部13bには、正像が配置された測定補助者用画面が表示される(S410)。
上記構成および方法によれば、患者Pは、患者用表示部13aに表示された鏡像画像131を確認して、測定部位を容易に把握することができる。つまり、患者Pは、鏡に自分の姿を映した場合と同じ状態で、自分の体の測定部位を探すことできる。一方で、それと同時に、測定補助者Uは、測定補助者用表示部13bに表示された情報付静止画134を確認して、測定部位を容易に把握することができる。つまり、測定補助者Uは、患者Pと対面で診察を行う場合と同じ状態で、患者Pの体の測定部位を探すことできる。この場合、GUI部品の操作またはタッチ操作などによる正像鏡像の切替操作が不要となる。
以上のことから、被測定者(患者P)自身が測定者となって測定を行う場合でも、他の測定者(測定補助者U)が測定を行う場合でも、測定者が容易に測定部位を把握することが可能な、より一層利便性の高い聴診システム100を実現することが可能になる。
〔実施形態4の変形例〕
なお、本実施形態では、配置決定部30が、ライブビュー画像と、静止画とを並べて配置することを決定する構成について説明した。しかし、これに限定されず、映像処理部20が画像重畳部32を備える場合には、画像重畳部32は、重畳鏡像映像136および重畳正像映像137を生成してもよい。そして、配置決定部30が、重畳鏡像映像136を配置した患者用画面と、重畳正像映像137を配置した測定補助者用画面を生成してもよい。
≪実施形態5≫
本発明の遠隔測定システムに関する他の実施形態について、図1、図5、図13および図14に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
なお、本実施形態における医師側情報端末装置2の機能構成は、図5に示すとおりである。本実施形態における医師側情報端末装置2は、上述のいずれの実施形態における医師側情報端末装置2の機能構成を備えていてもよい。
〔患者側情報端末装置の構成〕
本実施形態における患者側情報端末装置1のハードウェア構成および機能構成は、図1に示すものとほぼ同様である。
ただし、本実施形態において、上述の各実施形態の患者側情報端末装置1と異なる点は、以下の点である。
すなわち、本実施形態の患者側情報端末装置1が備える表示部13は、デュアルビュー液晶を備えた表示装置で実現されている。デュアルビュー液晶の構成によれば、1つの液晶画面から出射される光を、画面の場所ごとに、特定の視野方向にのみ出射されるように制御することができる。
映像処理部20は、実施形態4と同様に、鏡像を配置した患者用画面と、正像を配置した測定補助者用画面とを生成する構成である。表示制御部23は、患者用画面と測定補助者用画面とをデュアルビュー液晶の構成に適合するように、1つの画面に合成する構成である。
本実施形態では、映像処理部20には、必ずしも画像重畳部32および反転制御部33は設けられない。
図14は、本実施形態の患者側情報端末装置1の構成、および、本実施形態の表示部13に表示される、患者領域13rの具体例を示す図である。
映像処理部20は、患者領域13rに鏡像画像131が少なくとも配置された、鏡像の患者用画面を生成するとともに、患者領域13rに情報付静止画134が少なくとも配置された、正像の測定補助者用画面を生成する。生成されたそれぞれの画面は、映像処理部20から表示制御部23に供給される。
表示制御部23は、鏡像が配置された患者用画面と、正像が配置された測定補助者用画面とを合成した1画面の映像信号を表示部13に出力する。表示制御部23は、デュアルビュー液晶の構成に適合するように、表示部13の画面上の特定の画素に患者用画面の画素を、残りの画素に、測定補助者用画面の画素を、それぞれ配置して合成を行う。
このようにして合成された映像信号がデュアルビュー液晶の表示部13に出力されると、図14に示すとおり、ある角度から画面を観察する患者Pには、鏡像の患者用画面のみが見え、他の角度から観察する測定補助者Uには、正像の測定補助者用画面のみが見える。
〔患者側情報端末装置の処理フロー〕
本実施形態における患者側情報端末装置1の処理の流れを、図13を参照しながら説明する。
S401〜S407までは、実施形態4と同様である。
S408を実施する代わりに、表示制御部23は、患者用画面と測定補助者用画面とを合成した映像信号を表示部13に出力する(S408’)。
そして、S409およびS410を実施する代わりに、表示制御部23は、患者用画面と測定補助者用画面とを含む合成画面を表示部13に表示する(S409’)
上記構成および方法によれば、患者Pは、表示部13に表示された鏡像画像131を、ある特定の角度から確認して、測定部位を容易に把握することができる。つまり、患者Pは、鏡に自分の姿を映した場合と同じ状態で、自分の体の測定部位を探すことできる。一方で、それと同時に、測定補助者Uは、表示部13に表示された情報付静止画134を、上記角度とは異なる角度から確認して、測定部位を容易に把握することができる。つまり、測定補助者Uは、患者Pと対面で診察を行う場合と同じ状態で、患者Pの体の測定部位を探すことできる。この場合、GUI部品の操作またはタッチ操作などによる正像鏡像の切替操作が不要となる。さらに、1台の表示装置(表示部13)だけを設置すればよく、患者側情報端末装置1の設置面積が少なくて済む。
以上のことから、被測定者(患者P)自身が測定者となって測定を行う場合でも、他の測定者(測定補助者U)が測定を行う場合でも、測定者が容易に測定部位を把握することが可能な、より一層利便性の高い聴診システム100を実現することが可能になる。
〔実施形態5の変形例〕
なお、本実施形態では、配置決定部30がライブビュー画像と静止画とを並べて配置した画面が表示部13に表示されてもよい。また、画像重畳部32によってライブビュー画像と静止画とが重畳された重畳映像が表示部13に表示されてもよい。
≪実施形態6≫
本発明の遠隔測定システムに関する他の実施形態について、図1、図5、図15〜図17に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔本実施形態が解決しようとする課題〕
本発明の聴診システム100において、医師Dは、医師側情報端末装置2を用いて、患者の静止画に対して測定部位を示すマーキングを行い、マーキングが付加された情報付静止画を患者側情報端末装置1に送信することができる。この情報付静止画は、患者側情報端末装置1において左右反転されて鏡像で示されるため、患者Pは、測定部位を直感的に容易に把握することができる。これにより、医師Dは、遠隔地7に居ながら、所望の測定部位を測定者に容易に指示することができ、効率よく診療を行うことが可能となる。
本実施形態では、医師Dは、医師側情報端末装置2を用いて、患者の静止画に対して、文字などの書き込みを行うことを想定している。例えば、聴診器3のあて方の注意などを記載することが想定される。
上述の各実施形態によれば、医師Dが入力した入力情報は静止画に反映されて、情報付静止画として、患者側情報端末装置1において鏡像表示される。そのため、文字など反転されては不都合な入力情報まで反転されてしまい、逆に、患者Pがその入力情報(文字記号など)を認識しづらくなるという不都合がある。
本実施形態では、上記の不都合に鑑みて、被測定者自身が測定者となって測定を行う場合でも、測定者が容易に測定部位を把握するとともに、その他の必要な情報も容易に把握することが可能な、さらに利便性の高い遠隔測定システムを実現することを目的とする。
〔医師側情報端末装置の機能構成〕
本実施形態における医師側情報端末装置2の機能構成は、図5に示すとおりである。
ただし、本実施形態において、上述の各実施形態の医師側情報端末装置2と異なる点は、以下の点である。
すなわち、入力情報処理部56は、必ず、反転要否判定部62および非反転情報出力部63を含んでいる点である。
また、入力情報処理部56は、入力情報として、ペンによる手書きのマーキングオブジェクトだけではなく、キーボードなどによって入力されたテキスト情報を受け付ける構成である。
反転要否判定部62は、医師Dによって静止画に対して追加された入力情報の各々について、該入力情報が、上記静止画とともに反転されるべきか否かを判定するものである。
本実施形態では、反転要否判定部62は、キーボード(操作部44)などを介して入力されたテキスト情報に対して、反転不要と判定し、その他の入力情報(手書きの目印など)を反転要と判定する。
非反転情報出力部63は、反転要否判定部62によって反転不要と判定された入力情報を、患者側情報端末装置1が認識可能な形式に成形して非反転情報として出力するものである。非反転情報出力部63が出力した非反転情報は、通信部41によって、情報付静止画とは別のデータとして患者側情報端末装置1に送信される。本実施形態では、上記非反転情報は、すなわち、医師Dによって入力されたテキスト情報である。
なお、操作受付部54が、テキスト情報を受け付ける方法としては、例えば、静止画上の予め決められた領域の中にテキストが入力された場合に、操作受付部54がテキスト情報を受け付けてもよい。あるいは、医師Dは、静止画上の任意の領域にテキストを入力することができ、操作受付部54は、静止画上のテキストが入力された位置情報とともに、テキスト情報を受け付けてもよい。また、操作受付部54は、入力されたテキストの属性情報(フォント情報、色情報など)をテキスト情報とともに併せて受け付けてもよい。
また、映像処理部50の配置決定部67は、静止画の編集を受け付けるための画面(およびGUI部品)を生成する際、入力されたテキストと、静止画上の患者の上半身が重ならないように、画面を2つのレイヤーで構成するようにしてもよい。そして、例えば、上層レイヤーを、テキスト入力を受け付ける(表示する)ためのレイヤーと定め、患者の上半身を下層レイヤーと定めることにより、反転要否判定部62が、反転不要のテキスト情報と、反転要の静止画とを識別することが可能になる。
図15の(a)は、本実施形態の表示部43に表示される、患者を表示するための患者領域43rの具体例を示す図である。図15の(a)に示すとおり、配置決定部67は、患者領域43rに、患者映像430と、編集中の情報付静止画431とを並べて配置する。
医師Dは、例えば、これまでの実施形態と同様に、タブレットとペンとを用いて特定部位を表す目印を静止画に書き込むことができる。また、本実施形態では、図15に示すとおり、静止画の所定の(あるいは任意の)領域に、例えばキーボードを用いて、コメントをテキスト情報として入力することができる。
反転要否判定部62は、入力情報生成部60によって生成された入力情報のうち、測定部位の目印(図15の情報付静止画431に表れている手書きの丸)を反転要のオブジェクトと判定する。一方、上記所定の領域に入力された文字列を反転不要のテキスト情報と判定する。
反転要と判定された丸のオブジェクトは、反転要否判定部62から画像重畳部66へ引き渡される。画像重畳部66は、丸のオブジェクトと静止画とを合成して、情報付静止画を生成する。生成された情報付静止画は、静止画出力部61から通信部41へと出力される。一方、反転不要と判定されたテキスト情報は、非反転情報出力部63によって、上記情報付静止画とは別のデータである非反転情報として、通信部41に出力される。
上記情報付静止画と、上記非反転情報(テキスト情報)とは、それぞれ、通信部41によって、ネットワーク4およびサーバ装置5を介して、患者側情報端末装置1に送信される。
〔患者側情報端末装置の機能構成〕
本実施形態における患者側情報端末装置1の機能構成は、図1に示すとおりである。
ただし、本実施形態において、実施形態1の患者側情報端末装置1と異なる点は、以下の点である。
すなわち、映像処理部20は、配置決定部30および鏡像生成部31に加えて、画像重畳部32および反転制御部33を含んでいる。
反転制御部33は、表示対象のオブジェクトについて反転表示の要否を判断し制御するものである。本実施形態では、反転制御部33は、医師側情報端末装置2から供給された表示対象のオブジェクトを、左右反転して表示させるべきか否かを判断する。具体的には、反転制御部33は、情報付静止画については、鏡像表示時に反転が必要であると判断し、テキスト情報については、鏡像表示、正像表示に拘らず、反転が不要であると判断する。
鏡像生成部31は、反転制御部33の指示にしたがって、鏡像表示時には、情報付静止画のみを左右反転させて鏡像画像を生成する。
画像重畳部32は、本実施形態では、反転制御部33の指示にしたがって、別々に受信された情報付静止画にテキスト情報を重ね合わせたり、上記鏡像画像に上記テキスト情報を重ね合わせたりするものである。
配置決定部30は、鏡像表示時には、反転させていない上記テキスト情報が重ねられた鏡像画像を配置して画面を生成する。正像表示時には、上記テキスト情報が正像のまま重ねられた情報付静止画を配置して画面を生成する。本実施形態では、配置決定部30は、さらに、正像と鏡像とを切り替える操作をユーザに行わせるためのGUI部品を配置してもよい。
図15の(b)および(c)は、本実施形態の表示部13に表示される、患者を表示するための患者領域13rの具体例を示す図である。図15の(b)は、患者P用に、鏡像が表示されている例を示す図であり、図15の(c)は、測定補助者U用に、正像が表示されている例を示す図である。
配置決定部30は、患者Pに対しては、図15の(b)に示すとおり、患者領域13rに、鏡像映像130と、鏡像画像131とを並べて配置する。さらに、本実施形態では、配置決定部30は、GUI部品132を配置する。しかしながら、配置決定部30は、テキスト情報については、反転させずに、そのままの状態で配置する。
配置決定部30は、測定補助者Uに対しては、図15の(c)に示すとおり、患者領域13rに、患者映像133(正像)と、情報付静止画134(正像)とを並べて配置する。さらに、本実施形態では、配置決定部30は、GUI部品135を配置する。配置決定部30は、テキスト情報についても、同様に、そのままの状態で配置する。
〔患者側情報端末装置の処理フロー〕
図16は、本発明の実施形態における患者側情報端末装置1の処理の流れを示すフローチャートである。
診療が開始されると、撮像部16は、患者Pを撮影し、患者映像を取得する(S501)。そして、鏡像生成部31は、上記患者映像の鏡像映像を生成する(S502)。
一方で、通信部11は、上記患者映像を医師側情報端末装置2に送信する(S503)。続いて、上記患者映像に基づいて生成された情報付静止画およびテキスト情報を医師側情報端末装置2から受信する(S504)。情報付静止画が受信された場合には、鏡像生成部31は、上記情報付静止画の鏡像画像を生成する(S505)。そして、画像重畳部32は、生成された上記鏡像画像に、受信された上記テキスト情報をそのまま重ねる(S506)。
配置決定部30は、生成された鏡像映像130と、上記テキスト情報が重ねられた鏡像画像131と、切替操作用のGUI部品132とを患者領域13rに配置する(S507)。
表示制御部23は、上記患者領域13rを含む画面を表示部13に表示する(S507)。このときの表示内容は、例えば、図15の(b)に示すとおりである。
ここで、正像への切り替え操作の入力を操作受付部24が検知した場合には(S508においてYES)、画像重畳部32は、S504で受信された情報付静止画に、受信された上記テキスト情報をそのまま重ねる(S509)。
そして、配置決定部30は、患者映像(正像映像)133と、上記テキスト情報が重ねられた情報付静止画(映像画像)134と、切替操作用のGUI部品135とを患者領域13rに配置する(S510)。
表示制御部23は、上記患者領域13rを含む画面を表示部13に表示する(S510)。このときの表示内容は、例えば、図15の(c)に示すとおりである。
ここで、鏡像への切り替え操作の入力を操作受付部24が検知した場合には(S511においてYES)、配置決定部30は、S507に戻り、以降同様の動作を繰り返す。
〔医師側情報端末装置の処理フロー〕
図17は、本発明の実施形態における医師側情報端末装置2の処理の流れを示すフローチャートである。
診療が開始され、患者側情報端末装置1から患者映像が送信されると、映像受信部55は、通信部41を介して上記患者映像を受信する。そして、映像処理部50が処理した画面の映像信号が表示制御部53から出力されることにより、上記患者映像が表示部43に表示される(S601)。
続いて、医師Dが、患者映像を見ながら、患者の静止画をキャプチャする指示を操作部44を介して入力すると(S602においてYES)、そのタイミングで、静止画取得部65は、患者の静止画を取得する(S603)。このキャプチャされた静止画は、これから編集が行われる静止画として、表示部43に表示される(S603)。医師Dは、上記静止画に対して、ペンとタブレット、または、キーボードなどを用いて、マーキングしたり、ペイントしたり、文字を入力したりすることが可能である。
ここで、医師Dが、操作部44を用いて、上記静止画に対して編集を行ったとする。すなわち、入力情報が入力されたとする。このように情報入力のイベントが発生すると(S604においてYES)、入力情報生成部60は、入力された入力情報を取得する。そして、上記入力情報に対して、反転要否判定部62は、反転要否の判定を実行する(S605)。
上記入力情報が、テキストを入力するための所定(任意)の領域(またはレイヤー)に入力されたテキスト情報であれば(S605においてYES)、反転要否判定部62は、当該テキスト情報を反転不要と判定する。非反転情報出力部63は、上記判定にしたがって、上記テキスト情報を通信部41に出力する(S606)。
一方、上記入力情報が、目印などであって、テキスト情報でなければ(S605においてNO)、反転要否判定部62は、当該入力情報を反転要と判定する。画像重畳部66は、上記判定にしたがって、上記入力情報をS603にて取得した上記静止画に重畳させる(S607)。
静止画出力部61は、上記入力情報が重畳された情報付静止画を通信部41に出力する(S608)。
なお、通信部41が上記テキスト情報と上記情報付静止画とを送信するよりも前に、さらに、入力情報を受け付ける場合には(S609においてNO)、入力情報処理部56および映像処理部50は、S604以降の処理を繰り返してもよい。
一方、例えば、医師Dが「編集完了・送信」のボタンをクリックするなどして、情報入力が完了した場合には(S609においてYES)、通信部41は、最終的に出力された、テキスト情報および情報付静止画を、個々に、患者側情報端末装置1に送信する(S610)。
上記構成および方法によれば、医師側情報端末装置2において医師Dが入力した入力情報は、鏡像表示時に反転すべき情報と、鏡像表示に拘らず反転させない情報とが患者側情報端末装置1において識別可能なように分けて、患者側情報端末装置1に供給される。
患者側情報端末装置1は、鏡像表示時に反転すべき情報は、情報付静止画として、静止画に反映されているので、この情報付静止画を鏡像画像にすることにより、反転すべき情報を患者Pにとって正しく見えるように鏡像表示させることができる。
一方、患者側情報端末装置1は、上記情報付静止画とは別で送信されたテキスト情報については、反転すると読みづらくなるところ、鏡像表示時でも反転させることなくそのまま鏡像画像に重ねて患者Pにとって正しく見えるように表示させることができる。
これにより、患者Pは、測定部位などの目印については、自身の姿とともに鏡で見るのと同じ状態で確認することができるとともに、文字については、通常どおり読める状態で確認することが可能になる。
以上のことから、被測定者(患者P)自身が測定者として測定を行う場合に、測定者が容易に測定部位を把握することが可能な、より一層利便性の高い聴診システム100を実現することが可能になる。
≪実施形態7≫
本発明の遠隔測定システムに関する他の実施形態について、図1、図5、図16〜図19に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔医師側情報端末装置の機能構成〕
本実施形態における医師側情報端末装置2の機能構成は、図5に示すとおりである。
ただし、本実施形態において、上述の各実施形態の医師側情報端末装置2と異なる点は、以下の点である。
すなわち、入力情報処理部56の反転要否判定部62は、医師Dの入力に応じて入力情報生成部60によって生成された入力情報について、文字認識処理を実行する。そして、反転要否判定部62は、文字認識処理の結果、入力情報のうち、文字と認識されたオブジェクトを、テキストオブジェクト、文字と認識されなかったオブジェクトを非テキストオブジェクトと識別する。そして、テキストオブジェクトについて反転は不要と判定し、非テキストオブジェクトについて反転は必要と判定する。
図18の(a)は、本実施形態の表示部43に表示される患者領域43rの具体例を示す図である。図18の(a)に示すとおり、配置決定部67は、患者領域43rに、患者映像430と、編集前後または編集中の情報付静止画431とを並べて配置する。
図18の(a)は、医師Dが、ペンとタブレットとを用いて、測定部位を表す丸の目印と、測定時の注意事項のコメントと、目印とコメントとの関連を示す矢印とを入力情報として、入力した例を示している。
図19は、本実施形態の医師側情報端末装置2における機能構成を、具体例を用いて説明する図である。
図19に示すとおり、入力情報生成部60は、操作受付部54が受け付けた入力信号に基づいて、医師Dが、ペンとタブレットとを用いて入力した入力情報を生成する。上記の例では、入力情報生成部60は、丸の目印と、矢印と、コメントとを生成する。
反転要否判定部62は、入力情報生成部60によって生成されたそれぞれの入力情報について、文字認識処理を実行し、テキストオブジェクトであるのか、非テキストオブジェクトであるのかをそれぞれ判定する。図19に示す例では、反転要否判定部62は、コメント(「ここ3秒あてる」)をテキストオブジェクト、すなわち、反転不要と判定する。また、反転要否判定部62は、丸の目印および矢印を非テキストオブジェクト、すなわち、反転要と判定する。
反転不要と判定されたテキストオブジェクト(コメント)は、非反転情報出力部63に供給される。非反転情報出力部63は、図19に示すとおり、テキストオブジェクトを、静止画上のどの位置に配置するのかを示す位置情報とともに、非反転情報として通信部41に出力する。
一方、反転要と判定された非テキストオブジェクト(目印および矢印)は、位置情報とともに、画像重畳部66に引き渡される。画像重畳部66は、事前に取得された静止画に、上記非テキストオブジェクトを、それぞれの位置情報にしたがって重畳させる。これにより、非テキストオブジェクトが付加された情報付静止画が生成される。情報付静止画は、静止画出力部61に返される。
図19に示すとおり、静止画出力部61は、画像重畳部66から受け取った情報付静止画を、通信部41に出力する。
上記の構成により、医師Dが入力したコメントは、非反転情報として患者側情報端末装置1に送信され、医師Dが入力した目印および矢印は、静止画に重畳されて、情報付静止画として患者側情報端末装置1に送信される。
〔患者側情報端末装置の機能構成〕
本実施形態における患者側情報端末装置1の機能構成は、図1に示すとおりである。本実施形態における患者側情報端末装置1の機能構成は、実施形態6における患者側情報端末装置1の機能構成とほぼ同様である。
本実施形態では、反転制御部33は、具体的には、情報付静止画については、鏡像表示時に反転が必要であると判断し、文字と認識されたテキストオブジェクトについては、鏡像表示、正像表示に拘らず、反転が不要であると判断する。
図18の(b)および(c)は、本実施形態の表示部13に表示される、患者を表示するための患者領域13rの具体例を示す図である。図18の(b)は、患者P用に、鏡像が表示されている例を示す図であり、図18の(c)は、測定補助者U用に、正像が表示されている例を示す図である。
配置決定部30は、患者Pに対しては、図18の(b)に示すとおり、患者領域13rに、鏡像映像130と、鏡像画像131とを並べて配置する。さらに、本実施形態では、配置決定部30は、GUI部品132を配置する。しかしながら、配置決定部30は、テキストオブジェクト(コメント:「ここ3秒あてる」)については、反転させずに、そのままの状態で配置する。
配置決定部30は、測定補助者Uに対しては、図18の(c)に示すとおり、患者領域13rに、患者映像133(正像)と、情報付静止画134(正像)とを並べて配置する。さらに、本実施形態では、配置決定部30は、GUI部品135を配置する。配置決定部30は、テキストオブジェクト(コメント:「ここ3秒あてる」)についても、同様に、そのままの状態で配置する。
なお、本発明の実施形態における患者側情報端末装置1の処理の流れは、図16に示すとおりである。患者側情報端末装置1は、図16に示すテキスト情報の代わりに、テキストオブジェクト(コメント:「ここ3秒あてる」)を受信して、鏡像または正像画像に重ねて表示する。
なお、本発明の実施形態における医師側情報端末装置2の処理の流れは、図17に示すとおりである。医師側情報端末装置2は、図17に示すテキスト情報の判定の代わりに、テキストオブジェクトか、非テキストオブジェクトかの判定を実施する。そして、テキスト情報の代わりにテキストオブジェクトを情報付静止画とは別に患者側情報端末装置1へ送信する。
上記構成および方法によれば、手書き文字であっても、キーボードを介してタイプ入力された文字であっても、テキストオブジェクトをすべて鏡像表示に拘らず反転させない情報として、情報付静止画と分けて患者側情報端末装置1に供給することができる。文字は、必ず、鏡像表示に拘らず反転させないことが好ましい。
患者Pは、測定部位などの目印については、自身の姿とともに鏡で見るのと同じ状態で確認することができるとともに、文字については、通常どおり読める状態で確認することが可能になる。
医師Dは、入力方法の制限を受けたり、意識したりしなくても、入力した文字を反転させないようにして、静止画を編集することができる。
以上のことから、被測定者(患者P)自身が測定者として測定を行う場合に、測定者が容易に測定部位を把握することが可能な、より一層利便性の高い聴診システム100を実現することが可能になる。
≪実施形態8≫
本発明の遠隔測定システムに関する他の実施形態について、図1、図5、図16、図18〜図20に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔医師側情報端末装置の機能構成〕
本実施形態における医師側情報端末装置2の機能構成は、図5に示すとおりである。
ただし、本実施形態において、上述の各実施形態の医師側情報端末装置2と異なる点は、以下の点である。
すなわち、操作受付部54は、タブレットを介して入力されたジェスチャを識別可能である。例えば、入力情報が入力される合図のジェスチャとして、円を右回りに描くジェスチャが入力されたり、円を左回りに描くジェスチャが入力されたりした場合に、「右回りの入力合図ジェスチャ」および「左回りの入力合図ジェスチャ」を識別することができる。
そして、入力情報処理部56の反転要否判定部62は、医師Dが入力した入力合図ジェスチャに続けて入力された入力情報について、「右回りの入力合図ジェスチャ」に続けて入力されたのか、「左回りの入力合図ジェスチャ」に続けて入力されたのかに応じて、反転の要否を判定する。本実施形態では、一例として、反転要否判定部62は、「右回りの入力合図ジェスチャ」に続けて入力された入力情報を反転要と判定し、「左回りの入力合図ジェスチャ」に続けて入力された入力情報を反転不要と判定する。
例えば、図18の(a)に示す例では、医師Dは、右回りに円を描くジェスチャの入力を、静止画以外の領域に対して行った後に、静止画上に、丸の目印、または、矢印を記入すればよい。また、医師Dは、左周りに円を描くジェスチャの入力を、静止画以外の領域に対して行った後に、静止画上に、コメントを記入すればよい。
このようにすれば、図19に示すとおり、反転要否判定部62は、「右回りの入力合図ジェスチャ」に続けて入力された丸の目印、および、矢印を反転要オブジェクトとして識別する。また、「左回りの入力合図ジェスチャ」に続けて入力されたコメントを反転不要オブジェクトとして識別する。
反転要オブジェクトは、静止画に合成されて情報付静止画として患者側情報端末装置1に供給され、反転不要オブジェクトは、位置情報とともに非反転情報として患者側情報端末装置1に供給される。
〔患者側情報端末装置の機能構成〕
本実施形態における患者側情報端末装置1の機能構成は、図1に示すとおりである。本実施形態における患者側情報端末装置1の機能構成は、実施形態6および7における患者側情報端末装置1の機能構成とほぼ同様である。
本実施形態では、反転制御部33は、具体的には、情報付静止画については、鏡像表示時に反転が必要であると判断し、「左回りの入力合図ジェスチャ」に続けて入力された反転不要オブジェクトについては、鏡像表示、正像表示に拘らず、反転が不要であると判断する。
なお、本発明の実施形態における患者側情報端末装置1の処理の流れは、図16に示すとおりである。患者側情報端末装置1は、図16に示すテキスト情報の代わりに、反転不要オブジェクト(コメント:「ここ3秒あてる」)を受信して、鏡像または正像画像に重ねて表示する。
〔医師側情報端末装置の処理フロー〕
図20は、本発明の実施形態における医師側情報端末装置2の処理の流れを示すフローチャートである。
S701〜S703は、図17におけるS601〜S603と同様であるため説明を省略する。医師Dは、S703にて取得された静止画に対して、ペンとタブレット、または、キーボードなど(操作部44)を用いて、マーキングしたり、ペイントしたり、文字を入力したりすることが可能である。
ここで、医師Dが、操作部44を用いて、情報入力ジェスチャを入力したのちに、静止画に対して編集を行ったとする。ここでは、「左回りの入力合図ジェスチャ」を入力したのちに、「ここ3秒あてる」という手書き文字を入力したとする。
上記情報入力ジェスチャが入力され、入力情報が静止画に対して入力されると(S704においてYES)、反転要否判定部62は、情報入力ジェスチャが、「左回りの入力合図ジェスチャ」、すなわち、反転不要のジェスチャか、「右回りの入力合図ジェスチャ」、すなわち、反転要のジェスチャかを判定する(S705)。ここで、入力されたジェスチャが、「左回りの入力合図ジェスチャ」であれば、このジェスチャの直後に入力された入力情報を、反転不要オブジェクトと識別する(S705においてYES)。
そして、非反転情報出力部63は、上記識別された反転不要オブジェクト(コメント:「ここ3秒あてる」)を、情報付静止画とは別の非反転情報として、通信部41に出力する(S706)。
あるいは、S703以降において、医師Dが、操作部44を用いて、「右回りの入力合図ジェスチャ」を入力したのちに、測定部位を示す丸の目印を入力したとする(S704においてYES)。
入力されたジェスチャが、「右回りの入力合図ジェスチャ」であれば、反転要否判定部62は、このジェスチャの直後に入力された入力情報を、反転要オブジェクトと判定する(S705においてNO)。
画像重畳部66は、上記判定にしたがって、上記反転要オブジェクトをS703にて取得した上記静止画に重畳させる(S707)。
静止画出力部61は、上記反転要オブジェクト(丸の目印)が重畳された情報付静止画を通信部41に出力する(S708)。
なお、通信部41が上記反転不要オブジェクトと上記情報付静止画とを送信するよりも前に、さらに、入力情報を受け付ける場合には(S709においてNO)、入力情報処理部56および映像処理部50は、S704以降の処理を繰り返してもよい。
一方、例えば、医師Dが「編集完了・送信」のボタンをクリックするなどして、情報入力が完了した場合には(S709においてYES)、通信部41は、最終的に出力された、反転不要オブジェクトおよび情報付静止画を、個々に、患者側情報端末装置1に送信する(S710)。
上記構成および方法によれば、医師側情報端末装置2において医師Dが、情報入力ジェスチャを入力した後に入力した入力情報は、情報入力ジェスチャの種類に応じて、反転不要オブジェクトと、反転要オブジェクトとに識別される。そして、医師側情報端末装置2は、鏡像表示時に反転すべき情報(反転要オブジェクト)と、鏡像表示に拘らず反転させない情報(反転不要オブジェクト)とが患者側情報端末装置1において識別可能なように分けて、患者側情報端末装置1に供給することができる。
患者側情報端末装置1は、鏡像表示時に反転すべき情報は、情報付静止画として、静止画に反映されているので、この情報付静止画を鏡像画像にすることにより、反転すべき情報を患者Pにとって正しく見えるように鏡像表示させることができる。
一方、患者側情報端末装置1は、上記情報付静止画とは別で送信された反転不要オブジェクトについては、鏡像表示時でも反転させることなくそのまま鏡像画像に重ねて、医師Dの意図通りに患者Pに見えるように表示させることができる。
これにより、医師Dは、反転させたくない入力情報と、反転させたい入力情報とを、文字、図形などの種類を問わず、意図通りに分けて入力することが可能となる。
以上のことから、被測定者(患者P)自身が測定者として測定を行う場合に、測定者が容易に測定部位を把握することが可能な、より一層利便性の高い聴診システム100を実現することが可能になる。
≪実施形態9≫
本発明の遠隔測定システムに関する他の実施形態について、図1、図5、図19、および、図21に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔医師側情報端末装置の機能構成〕
本実施形態における医師側情報端末装置2の機能構成は、図5に示すとおりである。
ただし、本実施形態において、上述の各実施形態の医師側情報端末装置2と異なる点は、以下の点である。
すなわち、配置決定部67は、表示部43上の患者領域43rまたは他の任意の領域に、入力情報を入力するためのGUI部品、すなわち、パレットを、反転要否別に配置し表示させる。そして、操作受付部54は、入力情報が入力されているとき、反転要のパレットが選択されているのか、反転不要のパレットが選択されているのかを識別することができる。
そして、入力情報処理部56の反転要否判定部62は、医師Dが入力した入力情報が、反転要のパレットが選択されているときに入力されたのか、反転不要のパレットが選択されているときに入力されたのかに応じて、反転の要否を判定する。
図21の(a)は、本実施形態の表示部43に表示される患者領域43rの具体例を示す図である。図21の(a)に示すとおり、配置決定部67は、患者領域43rに、患者映像430と、編集前後または編集中の情報付静止画431とを並べて配置する。さらに、本実施形態では、配置決定部67は、反転要の入力情報を入力するための反転要パレット432、および、反転不要の入力情報を入力するための反転不要パレット433を配置する。
例えば、図21の(a)に示す例では、医師Dは、反転要パレット432を選択した後に、静止画上に、丸の目印、または、矢印を記入すればよい。また、医師Dは、反転不要パレット433を選択した後に、静止画上に、コメントを記入すればよい。
このようにすれば、図19に示すとおり、反転要否判定部62は、反転要パレット432選択中に入力された丸の目印、および、矢印を反転要オブジェクトとして識別する。また、反転不要パレット433選択中に入力されたコメントを反転不要オブジェクトとして識別する。
反転要オブジェクトは、静止画に合成されて情報付静止画として患者側情報端末装置1に供給され、反転不要オブジェクトは、位置情報とともに非反転情報として患者側情報端末装置1に供給される。
なお、本実施形態における医師側情報端末装置2の処理の流れは、図20に示すとおりである。医師側情報端末装置2の操作受付部54が、S704において、パレットの選択を受け付けると、S705において、反転要否判定部62が、選択されたパレットに応じて、入力情報の反転要否を判定する。
〔患者側情報端末装置の機能構成〕
本実施形態における患者側情報端末装置1の機能構成は、図1に示すとおりである。本実施形態における患者側情報端末装置1の機能構成は、実施形態6〜8における患者側情報端末装置1の機能構成とほぼ同様である。
本実施形態では、反転制御部33は、具体的には、情報付静止画については、鏡像表示時に反転が必要であると判断し、反転不要パレット433選択中に入力された反転不要オブジェクトについては、鏡像表示、正像表示に拘らず、反転が不要であると判断する。
図21の(b)および(c)は、本実施形態の表示部13に表示される、患者を表示するための患者領域13rの具体例を示す図である。図21の(b)は、患者P用に、鏡像が表示されている例を示す図であり、図21の(c)は、測定補助者U用に、正像が表示されている例を示す図である。
配置決定部30は、患者Pに対しては、図21の(b)に示すとおり、患者領域13rに、鏡像映像130と、鏡像画像131とを並べて配置する。さらに、本実施形態では、配置決定部30は、GUI部品132を配置する。しかしながら、配置決定部30は、反転不要パレット433から入力された入力情報(コメント:「☆ここ3秒あてる」)については、反転させずに、そのままの状態で配置する。
配置決定部30は、測定補助者Uに対しては、図21の(c)に示すとおり、患者領域13rに、患者映像133(正像)と、情報付静止画134(正像)とを並べて配置する。さらに、本実施形態では、配置決定部30は、GUI部品135を配置する。配置決定部30は、反転不要パレット433から入力された入力情報(コメント:「☆ここ3秒あてる」)についても、同様に、そのままの状態で配置する。
なお、本実施形態における患者側情報端末装置1の処理の流れは、図16に示すとおりである。患者側情報端末装置1は、図16に示すテキスト情報の代わりに、反転不要オブジェクト(コメント:「ここ3秒あてる」)を受信して、鏡像または正像画像に重ねて表示する。
上記構成および方法によれば、医師側情報端末装置2において医師Dが、パレットを選択した後に入力した入力情報は、そのとき選択されていたパレットの種類に応じて、反転不要オブジェクトと、反転要オブジェクトとに識別される。そして、医師側情報端末装置2は、鏡像表示時に反転すべき情報(反転要オブジェクト)と、鏡像表示に拘らず反転させない情報(反転不要オブジェクト)とが患者側情報端末装置1において識別可能なように分けて、患者側情報端末装置1に供給することができる。
患者側情報端末装置1は、鏡像表示時に反転すべき情報は、情報付静止画として、静止画に反映されているので、この情報付静止画を鏡像画像にすることにより、反転すべき情報を患者Pにとって正しく見えるように鏡像表示させることができる。
一方、患者側情報端末装置1は、上記情報付静止画とは別で送信された反転不要オブジェクトについては、鏡像表示時でも反転させることなくそのまま鏡像画像に重ねて、医師Dの意図通りに患者Pに見えるように表示させることができる。
これにより、医師Dは、反転させたくない入力情報と、反転させたい入力情報とを、文字、図形などの種類を問わず、意図通りに分けて入力することが可能となる。
以上のことから、被測定者(患者P)自身が測定者として測定を行う場合に、測定者が容易に測定部位を把握することが可能な、より一層利便性の高い聴診システム100を実現することが可能になる。
〔実施形態2〜9の変形例〕
上述の各実施形態(特に、実施形態2〜9)においては、患者側情報端末装置1の患者領域13r、医師側情報端末装置2の患者領域43rともに、ライブビュー画像と静止画とを並べて表示するか、もしくは、重ねて表示する構成であった。
しかし、このような構成に限定されず、患者側情報端末装置1の患者領域13rにおいては、ライブビュー画像と静止画とを重ねる一方、医師側情報端末装置2の患者領域43rにおいては、ライブビュー画像と静止画とを並べて表示するという構成であってもよい。
上記構成によれば、患者Pは、自身のリアルタイムの姿と、測定部位が表示された静止画とを重ねて見ることにより、より迅速に自身の測定部位を把握することができる。一方、医師Dは、患者Pの現在の様子を把握しつつ、様々な入力情報(測定部位)を静止画に対して正確にかつ容易に入力することが可能となる。
また、患者側情報端末装置1の配置決定部30は、鏡像画像と、正像の情報付静止画とを並べて配置する構成であってもよい。
〔実施形態1〜9の変形例〕
上述の各実施形態においては、撮像部16によって撮影された患者の実写映像および画像を用いる構成であった。しかし、このような構成に限定されず、患者側情報端末装置1または医師側情報端末装置2が、上記実写映像または実写画像から、患者の体形を模型で表した模擬画像を生成し、医師側情報端末装置2は、上記模擬画像に対して入力情報を追加することにより情報付静止画を生成してもよい。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
〔実施形態1の変形例〕
例えば、実施形態1の医師側情報端末装置2を、実施形態6〜9に記載の医師側情報端末装置2のごとく構成する。この場合、実施形態1の患者側情報端末装置1は、反転不要オブジェクト(テキスト情報、テキストオブジェクトなどを含む)を、情報付静止画とは別に受信することができる。したがって、実施形態1においても、患者側情報端末装置1を、情報付静止画を鏡像で表示する一方、反転不要オブジェクトに対しては、鏡像生成の処理を行わずに、正像のまま表示する構成とすることができる。
〔ソフトウェアによる実現例〕
最後に、患者側情報端末装置1および医師側情報端末装置2の各ブロック、特に、映像処理部20の各部、入力情報処理部56の各部、および、映像処理部50の各部は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、患者側情報端末装置1および医師側情報端末装置2は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである患者側情報端末装置1または医師側情報端末装置2の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記患者側情報端末装置1または医師側情報端末装置2に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、患者側情報端末装置1および医師側情報端末装置2を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR(High Data Rate)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は、遠隔地の測定指示者が、被測定者および測定者に対して測定部位を指示し、被測定者および測定者が居る測定現場にて得られた測定結果を遠隔地にて測定指示者が受信し、該測定結果を利用した処理を実行することが可能な、遠隔測定システムに広く適用することが可能である。とりわけ、本発明は、遠隔地から医師が測定部位を指示し、患者および測定補助者が居る測定現場にて得られた測定結果を利用して、遠隔地から医師が上記患者の診察を行う遠隔診察システムに好適に用いられる。
1 患者側情報端末装置(情報端末装置)
1a 本体
2 医師側情報端末装置(情報端末装置)
2a 本体
3 聴診器(測定装置)
4 ネットワーク
5 サーバ装置
6 測定現場
7 遠隔地
10 制御部
11 通信部
12 音声入出力部
12a 音声入力部
12b 音声出力部
13 表示部(タッチパネル)
13a 患者用表示部(第1表示部/表示部)
13b 測定補助者用表示部(第2表示部/表示部)
13r 患者領域
14 操作部(タッチパネル/ペンとタブレット/マウス/キーボード)
15 記憶部
16 撮像部
17 近距離通信部
20 映像処理部(映像処理手段)
21 入出力制御部(入出力制御手段)
22 測定データ処理部(測定データ処理手段)
23 表示制御部(表示制御手段)
24 操作受付部(操作受付手段)
30 配置決定部(配置決定手段)
31 鏡像生成部(鏡像生成手段)
32 画像重畳部(画像重畳手段)
33 反転制御部(反転制御手段)
40 制御部
41 通信部
42 音声入出力部
42a 音声入力部
42b 音声出力部
43 表示部
43r 患者領域
44 操作部
45 記憶部
50 映像処理部(映像処理手段)
51 入出力制御部(入出力制御手段)
52 測定データ受信部(測定データ受信手段)
53 表示制御部(表示制御手段)
54 操作受付部(操作受付手段)
55 映像受信部(映像受信手段)
56 入力情報処理部(入力情報処理手段)
60 入力情報生成部(入力情報生成手段)
61 静止画出力部(静止画出力手段)
62 反転要否判定部(反転要否判定手段)
63 非反転情報出力部(非反転情報出力手段)
65 静止画取得部(静止画取得手段)
66 画像重畳部(合成手段/画像重畳手段)
67 配置決定部(配置決定手段)
100 聴診システム(遠隔測定システム/遠隔診察システム)
130 鏡像映像
131 鏡像画像
132 GUI部品
133 患者映像
134 情報付静止画
135 GUI部品
136 重畳鏡像映像
137 重畳正像映像
430 患者映像
431 情報付静止画
432 反転要パレット(第2入力ツール)
433 反転不要パレット(第1入力ツール)
D 医師(測定指示者/処理者)
P 患者(被測定者/測定者)
U 測定補助者(測定者)

Claims (21)

  1. 第2の情報端末装置と通信して、被測定者に対して測定を行う遠隔測定システムを構築する第1の情報端末装置であって、
    上記第2の情報端末装置から提供された、上記被測定者の患部を表した被測定者画像上に測定の対象となる測定部位を示す目印が少なくとも追加された情報付静止画を、左右反転させて鏡像画像を生成する鏡像生成手段と、
    表示部の表示画面上に、上記鏡像生成手段によって生成された上記鏡像画像を配置することを決定する配置決定手段とを備えていることを特徴とする第1の情報端末装置。
  2. 上記鏡像生成手段は、
    被測定者の患部を撮影した被測定者映像を、左右反転させて鏡像映像を生成し、
    上記配置決定手段は、
    上記表示画面上に、上記鏡像画像と上記鏡像映像とを並べて配置することを特徴とする請求項1に記載の第1の情報端末装置。
  3. 上記表示画面上に配置される表示対象物の反転処理の要否を制御する反転制御手段を備え、
    上記反転制御手段は、ユーザによって入力された正像鏡像切替指示にしたがって、反転処理の要否を判断し、
    上記配置決定手段は、上記反転制御手段の判断にしたがって、正像である上記被測定者画像、および、上記鏡像画像のいずれか一方を配置することを特徴とする請求項1または2に記載の第1の情報端末装置。
  4. 上記鏡像画像および被測定者の患部を撮影した被測定者映像を左右反転させた鏡像映像の少なくともいずれか一方の鏡像を表示するための第1表示部と、
    上記情報付静止画および上記被測定者映像の少なくともいずれか一方の正像を表示するための第2表示部と、
    上記配置決定手段によって配置が決定された表示画面の映像信号を表示部に出力する表示制御手段とを備え、
    上記表示制御手段は、上記鏡像が配置された表示画面の映像信号を上記第1表示部に出力するとともに、上記正像が配置された表示画面の映像信号を上記第2表示部に出力することを特徴とする請求項1から3までのいずれか1項に記載の第1の情報端末装置。
  5. 上記表示部は、内容の異なる画面を異なる方向から1の画面上で視認可能な多映像指向性液晶ディスプレイであり、
    上記配置決定手段は、上記鏡像画像および被測定者の患部を撮影した被測定者映像を左右反転させた鏡像映像の少なくともいずれか一方の鏡像を配置した第1表示画面と、上記情報付静止画および上記被測定者映像の少なくともいずれか一方の正像を配置した第2表示画面とを生成し、
    上記配置決定手段によって生成された第1表示画面と第2表示画面とを合成した映像信号を上記表示部に出力する表示制御手段をさらに備えていることを特徴とする請求項1から4までのいずれか1項に記載の第1の情報端末装置。
  6. 上記鏡像生成手段は、被測定者の患部を撮影した被測定者映像を、左右反転させて鏡像映像を生成し、
    上記鏡像画像と上記鏡像映像とを重ねた重畳鏡像映像を生成する画像重畳手段をさらに備えていることを特徴とする請求項1に記載の第1の情報端末装置。
  7. 上記配置決定手段は、
    上記正像鏡像切替指示を入力するためのGUI部品を上記表示画面にさらに配置することを特徴とする請求項3に記載の第1の情報端末装置。
  8. 上記表示部は、ユーザの接触操作を受け付けることが可能なタッチパネルであり、
    上記反転制御手段は、上記タッチパネルを介して受け付けられた、上記接触操作に基づく正像鏡像切替指示にしたがって、反転処理の要否を判断することを特徴とする請求項3に記載の第1の情報端末装置。
  9. 第1の情報端末装置と通信して、被測定者に対して測定を行う遠隔測定システムを構築する第2の情報端末装置であって、
    被測定者の患部を表した被測定者画像に対して、ユーザによって入力された、測定の対象となる測定部位を示す目印を少なくとも含む入力情報を追加して、情報付静止画を生成する合成手段と、
    上記合成手段によって生成された上記情報付静止画を、上記第1の情報端末装置に対して出力する静止画出力手段とを備えていることを特徴とする第2の情報端末装置。
  10. 上記第1の情報端末装置から提供された被測定者の患部を撮影した被測定者映像から、上記被測定者画像を抽出する静止画取得手段を備えていることを特徴とする請求項9に記載の第2の情報端末装置。
  11. ユーザによって入力された入力情報が、上記被測定者画像と合わせて反転表示されるべきか否かを判定する反転要否判定手段と、
    上記反転要否判定手段によって反転不要と判定された入力情報を非反転情報として出力する非反転情報出力手段とを備え、
    上記合成手段は、上記反転要否判定手段によって反転要と判定された入力情報を、上記被測定者画像に合成することを特徴とする請求項9または10に記載の第2の情報端末装置。
  12. 上記反転要否判定手段は、
    上記被測定者画像に対して入力された文字列を表すテキスト情報を、反転不要の入力情報として判定することを特徴とする請求項11に記載の第2の情報端末装置。
  13. 上記反転要否判定手段は、
    上記被測定者画像に対して入力された入力情報が、文字認識処理の結果、文字であると判定された場合に、当該入力情報を反転不要と判定することを特徴とする請求項11に記載の第2の情報端末装置。
  14. 上記反転要否判定手段は、
    反転不要を意味するジェスチャが入力された後に入力された入力情報を、反転不要と判定し、反転要を意味するジェスチャが入力された後に入力された入力情報を、反転要と判定することを特徴とする請求項11に記載の第2の情報端末装置。
  15. 表示部には、上記被測定者画像とともに、反転不要の入力情報を入力するための第1入力ツールと、反転要の入力情報を入力するための第2入力ツールとが選択可能に表示され、
    上記反転要否判定手段は、上記第1入力ツールが選択されているときに入力された入力情報を反転不要と判定し、上記第2入力ツールが選択されているときに入力された入力情報を反転要と判定することを特徴とする請求項11に記載の第2の情報端末装置。
  16. 請求項1から8までのいずれか1項に記載の第1の情報端末装置と、
    請求項9から15までのいずれか1項に記載の第2の情報端末装置とを含むことを特徴とする遠隔測定システム。
  17. 上記第1の情報端末装置は、
    被測定者の上半身を少なくとも撮影した被測定者映像を上記第2の情報端末装置に提供し、
    上記第2の情報端末装置は、
    上記被測定者映像から抽出された被測定者画像に含まれる被測定者の上半身のいずれかの位置に、聴診器を当てる測定部位を示す目印が追加された情報付静止画を上記第1の情報端末装置に提供することを特徴とする請求項16に記載の遠隔測定システム。
  18. 第2の情報端末装置と通信して、被測定者に対して測定を行う遠隔測定システムを構築する第1の情報端末装置の制御方法であって、
    上記第2の情報端末装置から提供された、上記被測定者の患部を表した被測定者画像上に測定の対象となる測定部位を示す目印が少なくとも追加された情報付静止画を、左右反転させて鏡像画像を生成する鏡像生成ステップと、
    表示部の表示画面上に、上記鏡像生成ステップにて生成された上記鏡像画像を配置することを決定する配置決定ステップとを含むことを特徴とする第1の情報端末装置の制御方法。
  19. 第1の情報端末装置と通信して、被測定者に対して測定を行う遠隔測定システムを構築する第2の情報端末装置の制御方法であって、
    被測定者の患部を表した被測定者画像に対して、ユーザによって入力された、測定の対象となる測定部位を示す目印を少なくとも含む入力情報を追加して、情報付静止画を生成する合成ステップと、
    上記合成ステップにて生成された上記情報付静止画を、上記第1の情報端末装置に対して出力する静止画出力ステップとを含むことを特徴とする第2の情報端末装置の制御方法。
  20. コンピュータを、請求項1から15までのいずれか1項に記載の情報端末装置の各手段として機能させるための制御プログラム。
  21. 請求項20に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2011269385A 2011-12-08 2011-12-08 情報端末装置、遠隔測定システム、情報端末装置の制御方法、制御プログラムおよび記録媒体 Expired - Fee Related JP5951244B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011269385A JP5951244B2 (ja) 2011-12-08 2011-12-08 情報端末装置、遠隔測定システム、情報端末装置の制御方法、制御プログラムおよび記録媒体
PCT/JP2012/081847 WO2013085048A1 (ja) 2011-12-08 2012-12-07 情報端末装置、遠隔測定システム、情報端末装置の制御方法、制御プログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011269385A JP5951244B2 (ja) 2011-12-08 2011-12-08 情報端末装置、遠隔測定システム、情報端末装置の制御方法、制御プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2013119014A true JP2013119014A (ja) 2013-06-17
JP5951244B2 JP5951244B2 (ja) 2016-07-13

Family

ID=48574399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011269385A Expired - Fee Related JP5951244B2 (ja) 2011-12-08 2011-12-08 情報端末装置、遠隔測定システム、情報端末装置の制御方法、制御プログラムおよび記録媒体

Country Status (2)

Country Link
JP (1) JP5951244B2 (ja)
WO (1) WO2013085048A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020081364A (ja) * 2018-11-26 2020-06-04 パイオニア株式会社 情報処理装置、システム、情報処理方法、およびプログラム
JP2021033330A (ja) * 2019-08-13 2021-03-01 トヨタ自動車株式会社 車載装置、第1の情報処理装置、情報処理システム、および情報処理方法
JP2021128059A (ja) * 2020-02-13 2021-09-02 コベルコ建機株式会社 ガイダンスシステム
JP2022053127A (ja) * 2020-09-24 2022-04-05 株式会社グッドケア 心電図リアルタイム伝送システム
WO2023053260A1 (ja) * 2021-09-29 2023-04-06 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7176513B2 (ja) * 2017-05-01 2022-11-22 株式会社ニデック 眼科装置
JP7527773B2 (ja) * 2019-11-18 2024-08-05 キヤノン株式会社 放射線撮影システム、放射線撮影方法、画像処理装置およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07313450A (ja) * 1994-05-26 1995-12-05 Olympus Optical Co Ltd 内視鏡装置
JPH11299730A (ja) * 1998-04-24 1999-11-02 Olympus Optical Co Ltd 内視鏡装置
JP2000245738A (ja) * 1999-02-26 2000-09-12 Olympus Optical Co Ltd 遠隔手術支援システム
JP2001327488A (ja) * 2000-05-19 2001-11-27 Tesshokai 聴診システム及びプログラムを記録した機械読み取り可能な媒体
JP2006042962A (ja) * 2004-08-02 2006-02-16 Matsushita Electric Ind Co Ltd 携帯端末装置、当該携帯端末装置を用いた対話式診察システム及び診察用データ通信方法
JP2011070680A (ja) * 2005-07-08 2011-04-07 Sharp Corp マルチビュー表示システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07313450A (ja) * 1994-05-26 1995-12-05 Olympus Optical Co Ltd 内視鏡装置
JPH11299730A (ja) * 1998-04-24 1999-11-02 Olympus Optical Co Ltd 内視鏡装置
JP2000245738A (ja) * 1999-02-26 2000-09-12 Olympus Optical Co Ltd 遠隔手術支援システム
JP2001327488A (ja) * 2000-05-19 2001-11-27 Tesshokai 聴診システム及びプログラムを記録した機械読み取り可能な媒体
JP2006042962A (ja) * 2004-08-02 2006-02-16 Matsushita Electric Ind Co Ltd 携帯端末装置、当該携帯端末装置を用いた対話式診察システム及び診察用データ通信方法
JP2011070680A (ja) * 2005-07-08 2011-04-07 Sharp Corp マルチビュー表示システム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020081364A (ja) * 2018-11-26 2020-06-04 パイオニア株式会社 情報処理装置、システム、情報処理方法、およびプログラム
JP7193080B2 (ja) 2018-11-26 2022-12-20 エア・ウォーター・バイオデザイン株式会社 情報処理装置、システム、情報処理方法、およびプログラム
JP2021033330A (ja) * 2019-08-13 2021-03-01 トヨタ自動車株式会社 車載装置、第1の情報処理装置、情報処理システム、および情報処理方法
JP7172915B2 (ja) 2019-08-13 2022-11-16 トヨタ自動車株式会社 車載装置、第1の情報処理装置、情報処理システム、および情報処理方法
US11694791B2 (en) 2019-08-13 2023-07-04 Toyota Jidosha Kabushiki Kaisha On-board apparatus, first information processing apparatus, information processing system, and information processing method
JP2021128059A (ja) * 2020-02-13 2021-09-02 コベルコ建機株式会社 ガイダンスシステム
JP7306291B2 (ja) 2020-02-13 2023-07-11 コベルコ建機株式会社 ガイダンスシステム
JP2022053127A (ja) * 2020-09-24 2022-04-05 株式会社グッドケア 心電図リアルタイム伝送システム
JP7164121B2 (ja) 2020-09-24 2022-11-01 株式会社グッドケア 心電図リアルタイム伝送システム
WO2023053260A1 (ja) * 2021-09-29 2023-04-06 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
JP5951244B2 (ja) 2016-07-13
WO2013085048A1 (ja) 2013-06-13

Similar Documents

Publication Publication Date Title
JP5951244B2 (ja) 情報端末装置、遠隔測定システム、情報端末装置の制御方法、制御プログラムおよび記録媒体
EP2821014B1 (en) Sharing information of medical imaging apparatus
JP5134721B1 (ja) ポータブル超音波診断装置
JP6011378B2 (ja) 超音波画像診断装置
KR102207255B1 (ko) 초음파 장치의 정보 공유 방법, 의료 전문가 디바이스의 통신 방법 및 정보 공유 시스템
JP5958321B2 (ja) 医用情報処理装置及びプログラム
KR20130053587A (ko) 의료기기 및 이를 이용한 의료영상 디스플레이 방법
JP2014023715A (ja) 測定支援装置、測定支援方法、制御プログラム、および、記録媒体
US20130173439A1 (en) System and Method for Remote Veterinary Image Analysis and Consultation
JP2016091298A (ja) 問診票作成システム、携帯情報端末、問診票作成方法、問診票作成プログラム、及び、問診票管理サーバ
JP2019133271A (ja) 遠隔診療端末装置、コンピュータプログラム及びサーバ
WO2005048833A1 (ja) 健康データ収集装置
JP2017049695A (ja) 支援システム、支援方法、プログラム
US20160179355A1 (en) System and method for managing image scan parameters in medical imaging
US20210375452A1 (en) Method and System for Remote Augmented Reality Medical Examination
JP2008217294A (ja) 携帯端末を利用した医療用通信装置
JP2012065735A (ja) 読影レポート入力端末、読影レポート入力システム、読影レポート入力方法
US20040225476A1 (en) Inspection apparatus for diagnosis
JP6048107B2 (ja) 電子カルテ装置及びプログラム
JP2019133270A (ja) コンピュータプログラム、支援装置及び支援方法
US20130123646A1 (en) Method and electronic device for remote diagnosis
JP3194808U (ja) 所見入力支援装置
US9076310B2 (en) Method and electronic device for remote diagnosis
JP5958320B2 (ja) 電子カルテ装置及びプログラム
JP7422101B2 (ja) 超音波診断システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160608

R150 Certificate of patent or registration of utility model

Ref document number: 5951244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees