JP2018107603A - センサ情報取得装置、センサ情報取得方法、センサ情報取得プログラム及び医療器具 - Google Patents
センサ情報取得装置、センサ情報取得方法、センサ情報取得プログラム及び医療器具 Download PDFInfo
- Publication number
- JP2018107603A JP2018107603A JP2016251717A JP2016251717A JP2018107603A JP 2018107603 A JP2018107603 A JP 2018107603A JP 2016251717 A JP2016251717 A JP 2016251717A JP 2016251717 A JP2016251717 A JP 2016251717A JP 2018107603 A JP2018107603 A JP 2018107603A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- unit
- image
- information acquisition
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/34—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means
- H04R1/342—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means for microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/004—Monitoring arrangements; Testing arrangements for microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Acoustics & Sound (AREA)
- Medical Informatics (AREA)
- Otolaryngology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- User Interface Of Digital Computer (AREA)
- Endoscopes (AREA)
- Studio Devices (AREA)
Abstract
【課題】本発明によれば、作業等の影響によってセンサの位置や向き等が変更された場合でも、常に所望の対象物に関する有効なセンサ情報を取得することができる。【解決手段】 センサと、前記センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定し、前記センサが取り付けられる変位部の変位に関する情報に基づいて、前記センサの情報取得方向を制御する制御部とを具備し、作業等の影響によってセンサの位置や向き等が変更された場合でも、常に所望の対象物に関する有効なセンサ情報を取得することができる。【選択図】図1
Description
本発明は、
撮影機器や録音機器は、イメージセンサやマイクロホン等のセンサによって、画像情報や音声情報等の情報(以下、センサ情報という)を取得する。センサは、センサ情報を取得する範囲の制限から配置位置や配置方向を変更した方がより有用な情報を取得できる場合がある。また、センサの配置位置や配置方向の変更を行うことなく、センサ情報の有効な取得範囲を変更できる装置も開発されている。
例えば、マイクロホンを複数用いることで、高い感度が得られる方向を切換えることが可能な指向性切換え機能を有するマイクロホン装置も開発されている。例えば、ユーザが指向性を切換えて、いずれの方向の感度を高くするかを指定することで、ユーザがマイクロホンの向きを変えることなく、所望の方向の感度を高くすることが可能である。
また、イメージセンサは、被写体光学像をイメージセンサの撮像面に入射させる光学レンズの焦点距離及び撮像面のサイズによって画角が決定し、光学レンズの光軸方向と被写体距離が決まると、撮影範囲が決定する。ユーザが撮影機器の向きを変えることで、撮影範囲を変更することができる。その他、ズーム機能や撮像エリアの切り替え等で画角変更が可能である。また、特許文献1には、腹腔鏡装置による臨床時において、体腔内に位置する処置具の先端部の位置を検出し、この先端部がモニタの画像の中心に位置するように処置具の先端部を追尾する体腔内観察装置も提案されている。
このように、従来、ユーザが指定した方向に感度を高くする指向性を有するマイクロホンやユーザが指定した方向を撮影中心とする撮影機器が開発されている。これにより、ユーザによってマイクロホンや撮影機器の配置位置や配置方向を変更することなく、所望の対象物に関するセンサ情報を取得することが可能である。
しかしながら、特許文献1の提案では、処置具の先端部が、撮影対象である体腔内の観察部位から離間した場合には、観察部位である対象物を撮影することができないことがある。また、ユーザが情報を取得しようとする対象物が移動していないにも拘わらず、ユーザ等によってマイクロホンや撮影機器の配置位置や配置方向が変更された場合には、センサは所望の対象物に関する有効なセンサ情報を取得することはできないことがあるという問題があった。
本発明は、例えば、作業等の影響によって、ユーザが装着したセンサの位置や向き等が変更された場合でも、常に所望の対象物に関する有効なセンサ情報を取得することができるセンサ情報取得装置、センサ情報取得方法、センサ情報取得プログラム及び医療器具を提供することを目的とする。
本発明の一態様によるセンサ情報取得装置は、センサと、前記センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定し、前記センサが取り付けられる変位部の変位に関する情報に基づいて、前記センサの情報取得方向を制御する制御部とを具備する。
また、本発明の一態様によるセンサ情報取得方法は、センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定し、前記センサが取り付けられる変位部の変位に関する情報を取得し、取得した変位に関する情報に基づいて、前記センサの情報取得方向を制御する。
本願では、主に、対象物は比較的動きが少ないのに、ユーザの身体に装着した機器、装置が、ユーザの立ち居振る舞い、作業等によって、ユーザが意識しないうちに向きを変えてしまうことによって生じる課題を克服する。ユーザの顔の動きによって眼鏡型端末も向きを変え、腕時計型端末は、手の動きによって頻繁に向きを変えることになるが、作業等に集中していると、ユーザは機器、装置の状態が変わっていることに対し、注意を払っている余裕がないが、そのような状況下でも、ユーザを補助しつづける事が重要である。ユーザの身体の動きによる影響に比べ、対象物の位置変化は比較的小さい事も想定しているが、必ずしも、それは必須条件ではない。
本願では、主に、対象物は比較的動きが少ないのに、ユーザの身体に装着した機器、装置が、ユーザの立ち居振る舞い、作業等によって、ユーザが意識しないうちに向きを変えてしまうことによって生じる課題を克服する。ユーザの顔の動きによって眼鏡型端末も向きを変え、腕時計型端末は、手の動きによって頻繁に向きを変えることになるが、作業等に集中していると、ユーザは機器、装置の状態が変わっていることに対し、注意を払っている余裕がないが、そのような状況下でも、ユーザを補助しつづける事が重要である。ユーザの身体の動きによる影響に比べ、対象物の位置変化は比較的小さい事も想定しているが、必ずしも、それは必須条件ではない。
また、本発明の一態様によるセンサ情報取得プログラムは、コンピュータに、センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定する手順と、前記センサが取り付けられる変位部の変位に関する情報を取得する手順と、取得した変位に関する情報に基づいて、前記センサの情報取得方向を制御する手順とを実行させる。
また、本発明の一態様による医療器具は、変位自在な処置部と、前記処置部との位置関係が固定なセンサと、前記センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定し、前記変位部の変位に関する情報を取得する情報取得部と、取得した変位に関する情報に基づいて、前記センサの情報取得方向を制御する制御部とを具備する。
本発明によれば、例えば、作業等の影響によって、装着したセンサの位置や向き等が変更された場合でも、常に所望の対象物に関する有効なセンサ情報を取得することができるという効果を有する。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態に係るセンサ情報取得装置を示すブロック図である。図1は外部機器20とセンサ情報取得装置を構成するウェアラブル部10とによって、情報処理システムが構成された例を示している。本実施の形態において、外部機器20はセンサ情報取得装置に必須の構成ではない。
図1は本発明の第1の実施の形態に係るセンサ情報取得装置を示すブロック図である。図1は外部機器20とセンサ情報取得装置を構成するウェアラブル部10とによって、情報処理システムが構成された例を示している。本実施の形態において、外部機器20はセンサ情報取得装置に必須の構成ではない。
本実施の形態はマイクロホンが取得する音声情報の発生源である対象物(以下、追尾対象物ともいう)を設定すると共に、この設定時のマイクロホンの向きを基準に、マイクロホンから当該追尾対象物への方向の変化を所定のセンサによって検出し、マイクロホンと追尾対象物との相対的な位置関係の変化に応じてマイクロホンの指向性を制御することで、常に、追尾対象物から有効な音声情報を取得することを可能にするものである。マイクロホンと対象物の位置関係は、マイクロホン側の動きによっても、対象物側の動きによっても変わって来るが、本願は、このマイクロホンなどがウェアラブル機器であるがゆえに生じる、ユーザの姿勢や立ち居振る舞いなどによって生じる相対位置関係の変化を対策しようとしている。これにより、例えばユーザが何らかの作業等を行う結果、マイクロホンの向きが変更されてしまった場合でも、常に、追尾対象物方向の感度を高くする指向性制御を行って、追尾対象物方向から効率良く音声を収音することができる。対象物の方は、比較的動きが小さい事を想定しており、これによって、もっぱらユーザの身体の動きに対して機器性能を補正することを重点的に記載してあるが、対象物が変化した場合も、その状況をモニタして、その結果に応じて制御を変更しても良い。背景と対象物の関係が把握可能で、これらの関係が大きく変わらない状況であれば、動きの補償の対象はユーザの動きであると考えられる。また、ユーザの動きでも、装着部位によって動き方に特徴や制約があるので、その部位特有の動きを想定してマイクロホンの指向性を制御するという動き補償制御を行っても良い。
ウェアラブル部10は、図1の回路を内蔵した筐体をユーザの身体の一部に取り付けるための図示しない係止部を有しており、ユーザの動きに合わせて変位自在である。例えば、ウェアラブル部10が眼鏡型で構成された場合には、眼鏡のツルが係止部となり、ユーザの顔の動きに合わせて、ウェアラブル部10全体が移動する。
ウェアラブル部10は制御部11を備えている。制御部11は、ウェアラブル部10の各部を制御する。制御部11は、CPU等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。
制御部11には表示制御部11aが設けられている。表示制御部11aは、表示に関する各種処理を実行する。表示制御部11aは、例えば、ビデオコントローラやディスプレイコントローラ等によって構成することができ、制御部11とは別体に構成されていてもよい。表示制御部11aは、表示部13の表示を制御する。表示部13は、LCD等の表示画面を有しており、表示制御部11aから与えられた画像を表示する。例えば、表示制御部11aは、後述する画像取得部12aからの撮像画像を表示部13の表示画面上に表示させることができる。
ウェアラブル部10は情報取得部12を有している。情報取得部12は、ユーザが情報の取得を希望する追尾対象物に関するセンサ情報を取得するものであり、例えば、画像取得部12a、音声取得部12b及び姿勢取得部12cを備えている。画像取得部12aは、例えば、図示しないイメージセンサによって構成することができ、追尾対象物を撮像して撮像画像を取得することができる。画像取得部12aは、取得した撮像画像をセンサ情報として制御部11に出力するようになっている。本実施の形態においては、画像取得部12aは、広角レンズを採用することで、広角画像を取得することができるようになっている。
音声取得部12bは、例えば、マイクロホンによって構成することができ、追尾対象物からの音声を取得することができる。本実施の形態においては、音声取得部12bは、指向性が制御可能に構成されており、制御部11に制御されて、最も感度が高くなる方向(以下、ビーム方向という)が制御されるようになっている。即ち、ビーム方向が音声取得部12bによる情報取得方向である。例えば、音声取得部12bは、指向方向が可変のマイクロホン装置によって構成することができる。
指向方向が可変のマイクロホン装置としては、例えば、所定方向に配列した複数の全指向性マイクロホンによって構成されたものでもよい。例えば、特性が等しい2個の全指向性マイクロホンを所定の間隔で配置するものとする。これらのマイクロホンに所定の方向θから音声信号が到来するものとする。各マイクロホンに対する音声信号の経路差によって、各マイクロホンには、異なる伝搬遅延時間で音声信号が到来する。伝搬遅延時間の差は、マイクロホン同士の間隔と到来方向θとによって求めることができる。先に音声信号が到来する一方のマイクロホンの出力を伝搬遅延時間の差に相当する遅延量だけ遅延量可変の遅延回路によって遅延させることで、その位相を後に音声信号が到来する他方のマイクロホンの出力の位相に一致させることができる。従って、遅延回路の出力と他方のマイクロホンの出力とを加算することで、到来方向θに対して最も大きな出力を得ることができる。なお、到来方向θ以外の方向からの音声信号に対する遅延回路の出力の位相は、他のマイクロホンの出力の位相とは一致しておらず、加算結果は最も大きな出力とはならない。即ち、この場合には、この装置は、到来方向θがビーム方向となる。遅延回路の遅延量を適宜設定することで、任意の方向をビーム方向とした可変指向性マイクロホン装置を得ることができる。音声取得部12bとして、このような可変指向性マイクロホン装置を採用した場合には、制御部11は、指定したいビーム方向に応じた遅延量を遅延回路に設定することで、ビーム方向、即ち情報取得方向を希望する方向に設定することが可能である。
本実施の形態においては、情報取得部12は、音声取得部12bのビーム方向を決定するための追尾対象物方向の情報を取得するためにも利用される。画像取得部12aは十分に広い画角の広角画像を取得するようになっており、ユーザが例えば顔の向きを変えることによって画像取得部12aの視野範囲が変化した場合でも、視野範囲変更前の撮像範囲の一部を撮像し続ける可能性が高くなっている。画像取得部12aによる撮像画像は制御部11の範囲切換部11bに与えられる。範囲切換部11bは、画像取得部12aから視野範囲変更前後の撮像画像が与えられ、これらの撮像画像の画像解析によって、ユーザが向きを変えた場合にはその角度を検出することができるようになっている。
例えば、範囲切換部11bは、画像解析によって、追尾対象物を自動的に設定するようになっていてもよい。例えば、範囲切換部11bは、画像取得部12aからの撮像画像の中央に人物の顔や口の画像部分が存在することを画像解析によって検出した場合には、当該顔や口を追尾対象物に設定してもよい。また、例えば、範囲切換部11bは、ユーザによる追尾対象物の指定操作を受け付けて対象部の設定を行うようになっていてもよい。例えば、範囲切換部11bは、画像取得部12aが取得した撮像画像を表示部13の表示画面上に表示させた状態で図示しない操作部により画像上にポインタを表示させ、このポインタによって画像上の部分がユーザにより指定されると、当該画像部分を追尾対象物として設定してもよい。例えば、範囲切換部11bは、画像上の人物に対する指定操作を検出すると、撮像画像の画像解析によって画像各部の特徴量を求め、図示しないメモリに記憶されている各画像の特徴量のデータベースを参照することで、各画像部分が人物の顔や口であることを判定し、当該人物の顔や口の画像部分を追尾対象物として設定してもよい。
範囲切換部11bは、視野範囲変更前の追尾対象物の画像上の位置と、当該追尾対象物の視野範囲変更後の画像上の位置とを画像解析によって求め、当該位置の差を与える視野角の差を求める。範囲切換部11bは、求めた視野角の差だけビーム方向を変更するための制御信号を発生して、音声取得部12bに出力するようになっている。例えば、範囲切換部11bは、制御信号として、上述した可変指向性マイクロホン装置の遅延回路の遅延量を設定するための制御信号を発生する。
なお、例えば、音の発生源が一人の人物のみである場合等においては、最も大きな音声出力レベルが得られる方向を追尾対象物の方向と判定してもよい。この場合には、追尾対象物方向の情報は、音声取得部12bによっても取得することが可能である。音声取得部12bは、範囲切換部11bに制御されて、ビーム方向を変更することができる。範囲切換部11bは、ビーム方向をスイープさせながら音声出力レベルを監視することで、最も高い音声出力レベルが得られる方向を音声到来方向、即ち、追尾対象物方向と判定するようにしてもよい。
また、本実施の形態においては、姿勢取得部12cによっても追尾対象物の方向の判定を行うことができる。姿勢取得部12cは、ウェアラブル部10の姿勢を判定して判定結果を範囲切換部11bに出力することができるようになっている。例えば、姿勢取得部12cは、加速度センサやジャイロセンサ、地磁気センサ等によって構成することができ、これらのセンサの判定結果に基づいてウェアラブル部10の姿勢を判定することができる。ここでは、ユーザの姿勢(立ち居振る舞い等)が、対象物との相対位置変化の主要要因であることを前提とするので、それを保証するために、対象物が背景の中で同じ位置にあることを画像取得部からの画像で判定した結果をまず確認するようにしてもよい。また、これは、機器の使われるシチュエーションで判定したり、専用機器であれば、対象物の位置はほぼ同じであることを前提にした設計にしてもよい。
範囲切換部11bは、姿勢取得部12cから視野範囲変更前の姿勢の判定結果と視野範囲変更後の姿勢の判定結果とが与えられ、これらの姿勢の判定結果の変化に基づいて、当該姿勢の変化によって変化した追尾対象物方向の角度の変化を求めることができる。範囲切換部11bは、求めた角度の変化分だけビーム方向を元に戻すための制御信号を発生して、音声取得部12bに出力するようになっている。
ウェアラブル部10には通信部14が設けられている。通信部14は、制御部11に制御されて、外部機器20との間で有線又は無線による通信が可能である。例えば、通信部14は、外部機器20との間の伝送路に対応した各種コントローラによって構成することができる。例えば、伝送としてLANケーブルが採用された場合にはLANコントローラが、Wifiが採用された場合にはワイヤレスLANコントローラが通信部14として採用される。また、伝送路がUSBケーブルの場合にはUSBコントローラが、ビデオケーブルの場合にはビデオコントローラが通信部14として採用される。
制御部11は、通信部14を制御して、画像取得部12aからの撮像画像を外部機器20に送信させることができるようになっている。また、制御部11は、通信部14を制御して、外部機器20からの情報を受信することができる。
ウェアラブル部10には、記録部16が設けられている。記録部16は、制御部11に制御されて、図示しないメモリ等の記録媒体に情報取得部12において取得された画像や音声を記録することができるようになっている。また、記録部16は、図示しない記録媒体に記録された画像や音声を読み出して再生し、再生した画像や音声を制御部11に出力することができるようになっている。これにより、制御部11は、記録部16によって記録された画像を例えば表示部13に表示させることが可能である。
また、ウェアラブル部10にはバッテリ15が内蔵されている。バッテリ15は、制御部11に制御されて、ウェアラブル部10の各部に供給する電力を発生するようになっている。
本実施の形態においては、外部機器20としては、例えばパーソナルコンピュータ等を採用することができる。外部機器20は、制御部21を有している。制御部21は、外部機器20の各部を制御する。制御部21は、CPU等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。
外部機器20には表示部23が設けられている。制御部21は表示部23の表示を制御する。表示部23は、LCD等の表示画面を有しており、制御部21から与えられた画像を表示する。外部機器20には、操作入力部22が設けられている。操作入力部22は、図示しないキーボード等の入力装置を備えており、ユーザ操作に基づく操作信号を発生して、制御部21に供給するようになっている。これにより、制御部21は、ユーザ操作に対応した処理を実行することができるようになっている。
表示部23の表示画面上には、図示しないタッチパネルが設けられていてもよい。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部21に供給される。これにより、制御部21は、ユーザが表示画面上をタッチしたりスライドさせたりした場合には、その操作を検出することができる。即ち、制御部21は、ユーザのタッチ位置、指を閉じ離間させる操作(ピンチ操作)、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。
上述した説明では、範囲切換部11bにおいて追尾対象物の設定処理を行う例を説明したが、外部機器20の制御部21は、範囲切換部11bと連携することで、追尾対象物の設定処理を行ってもよい。例えば、制御部21は、画像取得部12aが取得した撮像画像を表示部23の表示画面上に表示させた状態で、ユーザのタッチパネル操作により画像上の部分が指定されると、当該画像部分を追尾対象物として設定してもよい。例えば、制御部21は、画像上の人物に対するタッチ操作を検出すると、撮像画像の画像解析によって画像各部の特徴量を求め、図示しないメモリに記憶されている各画像の特徴量のデータベースを参照することで、各画像部分が人物の顔や口であることを判定し、当該人物の顔や口の画像部分を追尾対象物として設定してもよい。この場合には、制御部21は追尾対象物の情報を通信部24,14を介して範囲切換部11bに送信する。
外部機器20には記録部25が設けられている。記録部25は、制御部21に制御されて、図示しないハードディスクやメモリやディスク媒体等の記録媒体に画像や音声を記録することができるようになっている。また、記録部25は、図示しない記録媒体に記録された画像や音声を読み出して再生し、再生した画像や音声を制御部21に出力することができるようになっている。これにより、制御部21は、記録部25によって記録された画像を例えば表示部23に表示させることが可能である。
また、外部機器20には通信部24が設けられている。通信部24は、制御部21に制御されて、ウェアラブル部10との間で有線又は無線による通信が可能である。例えば、通信部24は、ウェアラブル部10との間の伝送路に対応した各種コントローラによって構成することができる。例えば、伝送としてLANケーブルが採用された場合にはLANコントローラが、Wifiが採用された場合にはワイヤレスLANコントローラが通信部24として採用される。また、伝送路がUSBケーブルの場合にはUSBコントローラが、ビデオケーブルの場合にはビデオコントローラが通信部24として採用される。
制御部21は、ウェアラブル部10の画像取得部12aからの撮像画像が通信部14,24を介して伝送されると、この撮像画像を表示部23に与えてその表示画面上に表示させることができるようになっている。例えば、制御部21は、画像取得部12aにおいて取得された撮像画像の一部を拡大して表示部23に表示させることも可能である。
図2は図1中のウェアラブル部10の外観を説明するための説明図である。図2はウェアラブル部10を眼鏡型のウェアラブル端末装置(眼鏡型端末装置)によって構成した例を示している。また、図3はウェアラブル部10の各部と顔との位置関係を示す説明図である。
図2において、眼鏡フレーム18の一部には、図1の制御部11、情報取得部12、表示部13及び通信部14の一部を構成する各回路が収納される回路収納部17が配設されている。回路収納部17の先端には、操作の様子を観察可能なように、画像取得部12aを構成する撮像レンズ12aaが配設されている。被写体からの光学像は、撮像レンズ12aaを介して回路収納部17内に設けられた画像取得部12aの撮像素子に与えられる。この撮像素子によって、被写体光学像に基づく撮像画像を取得することができる。図2の例では、撮像レンズ12aaは、眼鏡フレーム18のツル部分の先端に設けられており、ツル部分は人物の顔31と略同じ向きを向いているので、画像取得部12aは、人の目32による観察方向と同じ方向の被写体を撮像することが可能になる。これにより、画像取得部12aは、人が観察している作業状態に対応する画像を撮像画像として取得することが可能である。上述したように、画像取得部12aによって取得された撮像画像に基づいて、音声取得部12bにおけるビーム方向の制御が行われる。
撮像レンズ12aaの下方には、音声取得部12bを構成する2つのマイクロホン12baが配設されている。ウェアラブル部10に配設された音声取得部12bは、2つのマイクロホン12baが眼鏡フレーム18に固定されており、眼鏡フレーム18の向き、即ち、眼鏡フレーム18によって顔に装着されたウェアラブル部10の向きに応じてマイクロホン12baの向けられた方向が変化する。そして、このマイクロホン12baの向けられた方向に拘わらず、範囲切換部11bによってビーム方向を所定の方向に制御することができるようになっている。
図示しない左右のリムに嵌込まれる左右のレンズのうち右側レンズの前方側には、眼鏡フレーム18に支持された導光部13bが設けられている。また、回路収納部17の側面には、導光部13bの入射面に向かって映像光を出射する表示パネル13aが配設されている。導光部13bの出射面は、人物が顔31に眼鏡フレーム18を装着した状態で、右目32の前方であって右レンズの一部の領域に対応する位置に配置されるようになっている。
回路収納部17内に収納された表示制御部11aは、制御部11によって処理した映像信号を表示部13に与え、表示部13は、この映像信号に基づく映像光を表示パネル13aから導光部13bの入射面に向かって出射する。映像光は導光部13b内を導光されて出射面から出射される。こうして、右目32の視野範囲の一部に、制御部11からの映像信号に基づく画像が視認されることになる。
なお、眼鏡型端末装置は、シースルーで観察対象を直接観察することを妨げず、直接観察の観察対象と視野範囲の一部に見える入力された映像信号に基づく画像とを同時に観察することができるように構成されている。例えば、眼鏡型端末装置であるウェアラブル部10を装着したユーザは、各種作業時に、作業の状況を直接観察すると同時に、画像取得部12a等によって取得された撮像画像を観察することも可能である。しかも、ウェアラブル部10は、ハンズフリーの機器であるから、作業及び観察に際して手足の動作が制限されることはないので、両手を駆使した作業性を損なうことなく画像取得部12aによって取得された画像の観察が可能である。
表示部13は、図3に示すように、顔31の右目32R前方に配置された導光部13bによって、画像取得部12aが取得した撮像画像を視認可能とする。図3における右目32R及び左目32Lをそれぞれ囲む破線は左右の目32R,32Lによる視界を示している。
図4はこの視界を説明するための説明図である。左視界43Lは左目32Lによる視界を示し、右視界43Rは右目32Rによる視界を示している。左視界43Lは図示しない左レンズ(素通しガラスでもよく、ガラスがなくてもよい)を通過した光学眼鏡視界であり、右視界43Rは図示しない右レンズ(素通しガラスでもよく、ガラスがなくてもよい)を通過した光学眼鏡視界である。右視界43Rの一部に、導光部13bによる表示領域13dが設けられる。
左右の視界43L,43Rにおける光学眼鏡視界は、ウェアラブル部10を装着した作業者が実際に見ている観察対象を示すものであり、表示領域13dはウェアラブル部10の画像取得部12aによって取得された画像である。従って、ウェアラブル部10を装着した作業者は、作業対象等を肉眼で確認しつつ両手を駆使して注意を要する作業をしながら、この作業対象の撮像画像を表示領域13dにおいて観察することができる。
なお、ウェアラブル部10を眼鏡型端末装置によって構成してユーザの頭部に装着する例を示したが、ウェアラブル部10としては、頭部以外の部分に装着する装置を採用してもよい。
次に、このように構成された実施の形態の動作について図5A〜図5D、図6及び図7を参照して説明する。図5A〜図5Dは第1の実施の形態の動作を説明するための説明図である。また、図6及び図7は第1の実施の形態の動作を説明するためのフローチャートである。
図5A〜図5Dは本実施の形態におけるウェアラブル部10を医療現場において採用した場合の例を示している。図5Aは医師51と患者52とが互いに向き合って図示しない椅子に腰掛けている様子を示している。医師51は頭部に例えば図2等に示すウェアラブル部10を装着する。図5Aでは医師51の頭部の右側にウェアラブル部10の情報取得部12が配設されていることを示している。医師51の左手には、外部機器20が配置されている。医師など医療従事者にとっては、様々な器具や用具、情報端末の取り扱いや、患者への接触が重要であり、両手を使えるようにウェアラブル機器を活用した方が効率的な状況が多い。ただし、ウェアラブル機器、あるいはユーザが装着して使う機器は、ユーザと機器の関係性は好ましくても、その他のもの、例えばここでは患者との位置関係などが、ユーザの姿勢や動作、行動によって安定しない場合があることにも注意を要する。
ここでは、医師が診察した部位画像で患者に説明をしたいような状況を想定しており、情報取得部12で、医師51が見た患者52の様子を画像として取得する。医師51は患者52に顔を向けて、例えば患者52の舌52aを観察して、患者52を診断する。このとき、医師51は見えるが患者52にはその様子が見えないので、どうすれば良く見えるかなどがわからなかったり、どこがどう悪くて、どうなれば治ったと言えるかなどの説明を受けたりするためにも、情報の可視化は重要である。
ウェアラブル部10の制御部11は、図6のステップS1において、ウェアラブル部10を起動する特定の入力信号や入力操作が発生した否かを判定し、発生していない場合には、ステップS12において省電力モード(省エネモード)を設定してステップS1に処理を戻す。省電力モードでは、制御部11はウェアラブル部10の一部のみにバッテリ15からの電力を供給するように制御するようになっている。ウェアラブル機器は装着時の負担を減らすために、電池を小型化して軽くし、余計なエネルギー消費をこまめに抑える設計が重要である。
ウェアラブル部10の制御部11は、図6のステップS1において、ウェアラブル部10を起動する特定の入力信号や入力操作が発生した否かを判定し、発生していない場合には、ステップS12において省電力モード(省エネモード)を設定してステップS1に処理を戻す。省電力モードでは、制御部11はウェアラブル部10の一部のみにバッテリ15からの電力を供給するように制御するようになっている。ウェアラブル機器は装着時の負担を減らすために、電池を小型化して軽くし、余計なエネルギー消費をこまめに抑える設計が重要である。
一方、外部機器20においては、制御部21は図7のステップS21において初期操作が行われたか否かを判定する。制御部21は、初期操作が行われるまでステップS21の判定を繰り返す待機状態となる。初期操作が行われると、制御部21はステップS22において初期画面を表示部23に表示する。初期画面は、各患者の治療に関する各種メニューを表示するものであり、患者IDを入力することで、患者個別の情報にアクセスすることができる。
制御部21は、ステップS23において患者IDが入力されたか否かを判定する。なお、患者IDは、操作入力部による操作、表示部23上のタッチパネルに対する操作あるいは音声入力等によって指定することができる。この音声認識などにも、ウェアラブル機器が装着されていると、ユーザの口元ではっきりと音声を判定することが可能となり、ウェアラブル機器の有用性がわかる。ウェアラブル部10が起動する前であっても、省エネ性の高い回路やソフトウェアを使い、マイクロホンの音声取得性能は低くても、特定の音声にのみ反応するような設計で、その特定音声で起動可能な設計にすることが出来る。患者IDが入力されない場合には、制御部21は処理をステップS21に戻す。患者IDが入力されると、制御部21は、患者IDにより指定された患者についての情報を図示しないデータベースから読み出して表示する(ステップS24)。
次に、制御部21はステップS25に処理を移行して、ウェアラブル部10を起動する操作(ON)又は起動を停止する操作(OFF)が有ったか否かを判定する。例えば、外部機器20の操作入力部、タッチパネル、音声入力等によって、ウェアラブル部10のオン,オフを制御することができる。制御部21は、オン操作がない場合には、処理をステップS32に移行してメニュー操作に応じてカルテを表示部23上に表示させ、ユーザ操作に基づいて医薬品検索を行い(ステップS33)、ユーザ操作に応じてカルテを更新して記録部に記録する(ステップS34)。制御部21は、ウェアラブル部10のオン操作が発生すると、処理をステップS25からステップS26に移行して、ウェアラブル部10をオンにする信号を通信部24,14を介して制御部11に送信する。なお、制御部21は、ウェアラブル部10のオフ操作が発生すると、処理をステップS25からステップS26に移行して、ウェアラブル部10をオフにする信号を通信部24,14を介して制御部11に送信する。ウェアラブルマイクを使って音声認識で医薬品検索などを行う場合は、様々な候補からの絞り込みが必要で、マイクロホンの性能を上げて高忠実性の収音とする。また、患者の受け答えなどを音声判定してもよく、この場合もマイク性能がノイズキャンセルも含めて良くないと、正しい認識が出来なくなる。
ウェアラブル部10の制御部11は、ステップS1において、ウェアラブル部10を起動する何らかの入力操作が発生したものと判定すると、処理をステップS2に移行して各部にバッテリ15からの電力を供給して各部を起動させる。なお、制御部11は、外部機器20による操作だけでなく音声取得部12bに対する音声入力によって、ステップS1からステップS2に処理を移行するようになっていてもよい。ウェアラブル部10のマイク収音による音声認識利用の検索のみならず、外部機器20のモニタの近くにマイクロホンを置いてもよいが、この場合は、ユーザがそちらを見る方が認識率が高まるので、ウェアラブル機器は患者との位置関係が変わってしまうが、このような状況にも問題なく対処したシステムを提供する。
医師51が装着しているウェアラブル部10の情報取得部12は、医師51の顔の前方を画像取得部12aによって撮像する。なお、画像取得部12aによる撮影範囲は比較的広角である。画像取得部12aによって取得された撮像画像は表示制御部11aにより表示部13に与えられて表示される(ステップS3)。また、画像取得部12aからの撮像画像は範囲切換部11bにも供給される。範囲切換部11bは、ステップS3において、撮像画像を画像解析する。なお、表示制御部11aは、画像取得部12aによって取得された撮像画像を表示部13に与えて表示させてもよく、また、通信部14,24を介して外部機器20の制御部21に与えて表示部23に表示させてもよい。この場合も、ユーザである医師がそちらを見るので、ウェアラブル機器は患者との位置関係が変わってしまうが、このような状況にも問題なく対処したシステムを提供する。患者の動きは、この場合、小さいと考えられる状況である。
外部機器20の制御部21は、ステップS27において、ウェアラブル部10からの情報を受信したか否かを判定している。情報受信がない場合には、制御部21は処理をステップS27からステップS30に処理を移行する。制御部21は、情報受信があった場合には、処理をステップS28に移行し、受信した情報が音声の場合には、ディクテーション処理を行って、テキスト情報を記録部25に記録する。また、受信した情報が画像の場圧には、制御部21はステップS29において撮像画像を表示部23に与えて表示させると共に、撮像画像を記録部25に与えて記録させる。
ウェアラブル部10の範囲切換部11bは、ステップS4において、画像解析を行い、医師51の前方に患者52の顔が検出されたか否かを判定する。範囲切換部11bは、撮像画像の中央に患者52の顔が検出されると、この顔の部分や口の部分等を追尾対象物として設定する。また、この場合には、範囲切換部11bは、医師51の顔の向きである撮像中心方向に音声取得部12bの指向性を一致させて制御する(ステップS5)。範囲切換部11bは、追尾対象物設定時における指向性の方向を基準方向に設定する。
情報取得部12の音声取得部12bは、周囲の音声を取得する。音声取得部12bは指向性を有しており、図5Aの状態では、ビーム方向は患者52の顔方向であり、この顔の周囲に比較的高い感度を有する。図5Aでは破線によって比較的高い感度を有する範囲12bbを示している。
情報取得部12が取得した音声は制御部11に供給される。制御部11は、入力された音声に対する音声認識処理によってテキスト情報を生成するディクテーション処理を実行することができる。ディクテーション処理によって取得されたテキスト情報は、通信部14,24を介して制御部21に転送され、制御部21によって記録部25に記録されるようになっている。なお、上述したように、制御部11は音声をそのまま通信部14,24を介して制御部21に転送し、制御部21においてディクテーション処理を実行するようになっていてもよい。このように、医師と患者の密接なコミュニケーションを文字化してドキュメントとして記録しておくことによって、正しい診断や検証が可能となる。
図5Bは図5Aの状態において、画像取得部12aによって取得される撮像画像61aを示している。なお、この撮像画像61aは、音声取得部12bの指向性制御のために用いるものであり、ウェアラブル部10の表示部13に表示させてもよく、表示させなくてもよい。また、この撮像画像61aを外部機器20の表示部23に与えて、撮像画像61aをそのまま又は一部を拡大して表示させてもよい。なお、撮像画像61aの中央には患者52の頭部近傍の画像52bが含まれており、撮像画像61aの左端部には外部機器20の画像20aが含まれている。なお、撮像画像61a中の破線にて示す円形範囲12bbは、音声取得部12bによる比較的高い感度を有する範囲(指向性による収音範囲)を示している。
図6の例では、追尾対象物は医師51の前方に位置する顔部等に自動的に設定されるが、制御部11又は制御部21は、ユーザ操作に基づいて追尾対象物を設定してもよい。例えば、表示部23に撮像画像61aを表示させた状態で、医師51等が表示部23の撮像画像61a上の患者の画像52b上をタッチ操作することで、制御部21は、当該画像52bやその顔の部分や口の部分を追尾対象物として設定してもよい。この場合には、制御部21は設定した追尾対象物の情報を通信部24,14を介して範囲切換部11bに送信する。
範囲切換部11bは、ステップS6において、医師51の姿勢が変化したか否かを判定する。例えば、範囲切換部11bは、画像取得部12aが取得した撮像画像に対する画像解析によって、医師51の姿勢が変化したか否かを検出する。ここでは、ユーザの姿勢(立ち居振る舞い等)が、対象物との相対位置変化の主要要因であることを前提とするので、それを保証するために、対象物が背景の中で同じ位置にあることを画像取得部からの画像で、まず判定するようにしてもよい。この場合、対象物の特徴的な部分、例えば顔を検出し、その顔の回りの画像を背景として、時間的にこれらの関係が変化しないことを判定すればよい。また、近年では、複眼のカメラや位相差方式の距離分布判定が可能な撮像素子が開発されており、状況の距離分布などがわかるので、それによって距離分布の変化がないことを検出し、対象物の変化がない、または少ないことを判定してもよい。背景と対象物の関係を画像や距離分布の時間変化などで把握可能で、これらの関係が大きく変わらなければ、動きの補償の対象はユーザの動きであると考えて良い。また、ユーザの動きでも、ここでは、もっぱら回転系の動きである、と規定してもよい。装着部位やそのときの想定作業、業務などによって、その時起こりうる動きを想定して動き補償制御を行っても良い。
医師51の姿勢が変化していない場合には、制御部11はステップS13において撮影操作の有無を判定する。なお、範囲切換部11bは、医師51の姿勢が所定の閾値角度以上変化した場合にのみ医師51の姿勢が変化したものと判定してもよい。医師51が図示しない操作部の操作により、或いは音声入力によって撮影を指示すると、画像取得部12aは撮影を行い(ステップS14)、撮影指示タイミングにおける静止画像を出力する。この静止画像は、通信部14,24を介して制御部21に転送され、制御部21によって記録部25に記録される。
医師51の姿勢が変化していない場合には、制御部11はステップS13において撮影操作の有無を判定する。なお、範囲切換部11bは、医師51の姿勢が所定の閾値角度以上変化した場合にのみ医師51の姿勢が変化したものと判定してもよい。医師51が図示しない操作部の操作により、或いは音声入力によって撮影を指示すると、画像取得部12aは撮影を行い(ステップS14)、撮影指示タイミングにおける静止画像を出力する。この静止画像は、通信部14,24を介して制御部21に転送され、制御部21によって記録部25に記録される。
いま、医師51の姿勢が変化するものとする。図5Cはこの場合の様子を示している。図5Cの例は、例えば医師51が外部機器20の表示部23上に表示された画像を見ながら、患者52に診断についての説明を行っていることを示している。医師51は、医師の前方に座っている患者52の顔を見ている状態(図5A)から左方向に顔の向きを変えて、顔を外部機器20の表示部23方向に向ける。この場合には、画像取得部12aによる撮像画像も変化する。
図5Dは図5Cの状態において画像取得部12aによって取得される撮像画像61bを示している。医師51の顔は外部機器20の方向を向いており、撮像画像61bの中央にはこの外部機器20の画像20aが含まれる。撮像画像61bの右端部には患者52の頭部近傍の画像52bが含まれている。
範囲切換部11bは、撮像画像の画像解析によって、音声取得部12bから追尾対象物への現在の方向を求め、基準方向から現在の方向までの角度(以下、追尾角度という)を算出する。例えば、範囲切換部11bは、追尾対称物の撮像画像上の位置の変化に基づいて追尾するための角度切り替えの量を求めてもよい。
範囲切換部11bは、ステップS6において医師51の姿勢が変化したものと判定した場合には、処理をステップS7に移行する。この場合には、画像取得部12aによる撮像画像は、患者52を撮像していないので、表示部13に表示していた画像取得部12aの撮像画像、即ち検査結果の表示をオフにする。また、この場合には、表示制御部11aは、医師51の姿勢変更直前に記録部16に記録されている撮像画像を読み出して、通信部14,24を介して制御部21に与えて、表示部23に表示させる(ステップS8)。
こうして、この場合は、図5Cに示すように、表示部23の表示画面23a上には、患者52の喉や舌の画像52cが表示される。また、画像取得部12aは、表示部23方向を撮像しており、図5Dに示すように、撮像画像61b中には外部機器20の画像20a中に喉や舌の画像52dが含まれる。
範囲切換部11bは、ステップS9において、ビーム方向を追尾角度だけ補正して、ビーム方向が現在の追尾対象物方向に一致するように制御信号を発生する。この制御信号は音声取得部12bに供給され、音声取得部12bは、ビーム方向を現在の追尾対象物の方向、即ち、患者52の顔部や口部の方向に変化させる。
こうして、音声取得部12bは、常にビーム方向を追尾対象物の方向に向けることができ、追尾対象物方向からの音声を確実に取得することが可能である。
制御部11は、ステップS10において端末オフ操作が発生したか否かを判定する。端末オフ操作がなければ、制御部11は処理をステップS3に戻す。端末オフ操作が発生すると、制御部11は、ウェアラブル部10の各部への電力供給を停止して、表示部13の表示もオフにする(ステップS11)。
なお、外部機器20の制御部21は、ステップS30においてログアウト操作が発生したか否かを判定する。ログアウト操作が行われない場合には、制御部21は処理をステップS25に移行し、ログアウト操作が行われた場合には、制御部21は処理をステップS31に移行して、ウェアラブル部10をオフにすると共に、表示部23の表示をオフにする。
なお、上記図6及び図7のフローは、医師51が姿勢を変化させた場合でも、追尾対象物が画像取得部12aの撮像範囲内に存在するものとして説明した。しかし、医師51の姿勢の変化量によっては、追尾対象物が撮像範囲から脱する可能性もある。そこで、この場合には、最後に撮像範囲に存在した追尾対象物の方向を基準方向からの追尾角度に固定して、この追尾角度に基づいて、音声取得部12bの指向性を制御する。そして、追尾対象物が再び撮像範囲に存在するようになった(補足した)場合には、その場合の追尾対象物の撮像画像上の位置に基づいて追尾角度を算出して、音声取得部12bの指向性を制御する。
この時、患者が動いたり、ユーザが動いたり、いろいろな要因で、二人の位置関係が変化して、収音特性に影響を与え得るが、ここではシチュエーションの特性も含めて、医師であるユーザの姿勢、動作、立ち居振る舞いによって問題が起こる事を前提としている。ユーザの動きが支配的か、対象(ここでは患者)の動きが支配的かは、時として考慮が必要で、例えば、患者が部屋から出て行くまでを追尾する必要はない。そのときには看護師や補助者との会話の方が重要になる場合がある。なお、このように、ユーザの動きが支配的か対象物の動きが支配的かは、対象物も背景も相対的に同じ場所にあるかどうかで判定可能で、このように対象物が同じ場所にいる場合は、ユーザの姿勢変化は、追尾画像が撮像画像中のどこからどこに移ったかで判定できる。つまり、本発明は、センサと、前記センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定するようにしてもよい。この方法は、ウェアラブル機器のカメラで、対象物の位置が変化しないことを検出して判定してもよいし、外部に監視カメラ、あるいは、PC用カメラのようなモニタカメラを設けて、患者の位置が変化しないことを判定した結果を受け取って判定してもよいし、人感センサのように人物の動きを判定するセンサを設けて、その出力が変わらない事で判定してもよい。また、画像での判定のみならず、距離分布などの変化を判定してもよい。ドローンのような装置では、レーザ光の照射とその反射から環境の状況を判定しているが、こうした技術を使っても良い。このように、前記センサが取り付けられる変位部の変位に関する情報に基づいて、前記センサの情報取得方向を制御する制御部を具備したことを特徴とするセンサ情報取得装置が提供できる。
この時、患者が動いたり、ユーザが動いたり、いろいろな要因で、二人の位置関係が変化して、収音特性に影響を与え得るが、ここではシチュエーションの特性も含めて、医師であるユーザの姿勢、動作、立ち居振る舞いによって問題が起こる事を前提としている。ユーザの動きが支配的か、対象(ここでは患者)の動きが支配的かは、時として考慮が必要で、例えば、患者が部屋から出て行くまでを追尾する必要はない。そのときには看護師や補助者との会話の方が重要になる場合がある。なお、このように、ユーザの動きが支配的か対象物の動きが支配的かは、対象物も背景も相対的に同じ場所にあるかどうかで判定可能で、このように対象物が同じ場所にいる場合は、ユーザの姿勢変化は、追尾画像が撮像画像中のどこからどこに移ったかで判定できる。つまり、本発明は、センサと、前記センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定するようにしてもよい。この方法は、ウェアラブル機器のカメラで、対象物の位置が変化しないことを検出して判定してもよいし、外部に監視カメラ、あるいは、PC用カメラのようなモニタカメラを設けて、患者の位置が変化しないことを判定した結果を受け取って判定してもよいし、人感センサのように人物の動きを判定するセンサを設けて、その出力が変わらない事で判定してもよい。また、画像での判定のみならず、距離分布などの変化を判定してもよい。ドローンのような装置では、レーザ光の照射とその反射から環境の状況を判定しているが、こうした技術を使っても良い。このように、前記センサが取り付けられる変位部の変位に関する情報に基づいて、前記センサの情報取得方向を制御する制御部を具備したことを特徴とするセンサ情報取得装置が提供できる。
このように本実施の形態においては、追尾対象物を設定すると共に、音声取得部から当該追尾対象物への方向の変化である追尾角度を検出し、追尾対象物設定時のビーム方向を基準に、追尾角度だけビーム方向を修正する。これにより、常に、ビーム方向を追尾対象物に向けることを可能にして、確実な収音を可能にすることができる。ここでは、装着した機器で取得した画像の情報を用いて追尾対象を判定し、ウェアラブル機器装着ユーザの姿勢の変化に対応して、その影響を受けないように追尾して音声の収音範囲を切り替えた。その他、監視カメラやウェブカメラや情報端末内蔵のカメラによって、ユーザの様子を撮影し、その姿勢変化を画像で判定してもよい。その他、追尾の仕方としては、画像のみならず、ユーザの姿勢判定を、加速度センサや方位センサ、角加速度センサなどを使って行ってもよい。さらには、マイクの指向性を高速で切り替えて、最も良い指向性を選ぶような方法もある。
(第2の実施の形態)
図8は本発明の他の実施の形態を示すブロック図である。図8において図1と同一の構成要素には同一符号を付して説明を省略する。
図8は本発明の他の実施の形態を示すブロック図である。図8において図1と同一の構成要素には同一符号を付して説明を省略する。
近年、医療現場では、ロボット手術が採用されることがある。ロボット手術は、体内に内視鏡カメラとロボットアームを挿入し、医師は、内視鏡カメラからの画像を表示するコンソールにおいて、画像により術野を目で捉えながら、手元のハンドルを操作することでロボットアームを動かせて、手術を行うものである。ロボット手術では、ロボット制御によって、微細な動きまで確実に制御できる利点がある。
しかしながら、ロボット手術においても、ロボットを操作する医師以外に止血要員等のスタッフが必要である。このため、治療を受ける患者の近くでロボットとスタッフとが交錯し、互いの動きが制約されることもある。また、医師はロボット操作に十分に習熟する必要があるという問題もある。
そこで、本実施の形態においては、術者の指先に取付け可能な医療器具を採用し、医療器具において画像を取得すると共に、設定した追尾対象物を例えば画面中央に表示し続けるように制御することで、患部を確認しながら治療等を実施することを可能にする。これにより、他のスタッフに与える影響や他のスタッフから受ける影響を十分に小さくして、効率良く手術等を行うことを可能にする。しかも、直接自分の手指を使った手術と同様の感覚で作業を行うことができ、作業性を向上させることができると共に、ロボット手術のために長期間の学習を行う必要もない。
図8は医療器具70とウェアラブル部80とによって、情報処理システムが構成された例を示している。本実施の形態はカメラが取得する画像情報のうち注目すべき対象物(追尾対象物)を設定すると共に、カメラから当該追尾対象物への方向の変化を所定のセンサによって検出することで、追尾対象物が例えば常に画面中央に表示されるように表示制御を行うものである。注目すべき対象物を画面中央に表示させることによって、注目すべき対象物の視認性が向上することがある。この場合には、画面中央に表示した部分に有効な情報が含まれることになり、情報取得方向は画面中央に表示される部分に向かう方向であるとも言える。本実施の形態は、カメラの向きが変化して撮影範囲が変化する場合でも、情報取得方向を追尾対象物方向に変化させることで、追尾対象物を画面中央に表示して追尾対象物の確認を容易にするものである。即ち、カメラの向きに拘わらず、追尾対象物の視認性が低下することを防止し、作業性を向上させることが可能である。
医療器具70は、図8の回路を内蔵した筐体をユーザの身体の一部に取り付けるための図示しない係止部を有しており、ユーザの動き、例えば手指の動きに合わせて移動自在である。
医療器具70は制御部71を備えている。制御部71は、医療器具70の各部を制御する。制御部71は、CPU等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。
医療器具70にはバッテリ75が内蔵されている。バッテリ75は、制御部71に制御されて、医療器具70の各部に供給する電力を発生するようになっている。医療器具70は光源部74も備えている。光源部74は、制御部71に制御されてバッテリ75からの電力供給により発光して、医療器具70の周囲を照明することができるようになっている。
医療器具70は情報取得部72を有している。情報取得部72は、ユーザが撮影を希望する追尾対象物に関するセンサ情報を取得するものであり、例えば、画像取得部72a及び状態判定部72bを備えている。画像取得部72aは、例えば、図示しないイメージセンサによって構成することができ、追尾対象物を撮像して撮像画像を取得することができる。画像取得部72aは、取得した撮像画像をセンサ情報として制御部71に出力するようになっている。本実施の形態においては、画像取得部72aは、広角レンズを採用することで、広角画像を取得することができるようになっている。
本実施の形態においては、情報取得部72は、画像取得部72aが取得しようとする撮像画像の対象物である追尾対象物の方向の情報を取得するためにも利用される。情報取得部72には状態判定部72bが設けられている。状態判定部72bは処置部73の変位を検知して、変位部である処置部73の変位に関する情報を制御部71の範囲切換部71aに出力するようになっている。処置部73は、鉗子や電気メス等の被検体に対する処置を行うための器具である。なお、図8では図示を省略しているが、処置部73として電気メスを採用する場合には、電気メス装置からの高周波電力を電気メスに供給するための信号線が配線されており、電気メスへの電力供給についても制御部71によって制御可能に構成されている。
範囲切換部71aは、処置部73の変位に関する情報に基づいて、視野範囲変更前後における撮像画像の視野範囲の変化量を算出することができるようになっている。範囲切換部71aは、求めた視野範囲の変化量の情報に基づいて追尾対象物の画像部分が画面中央に位置するように画像をシフト又はズームさせて表示画像を生成するようになっている。画像取得部72aは十分に広い画角の広角画像を取得するようになっており、医療器具70が動いて移動したり向きを変えたりすることによって画像取得部72aの視野範囲が変化した場合でも、視野範囲変更前の撮像範囲に含まれる追尾対象物の画像部分を撮像し続ける可能性は高い。従って、医療器具70の動きによる視野範囲の変化分だけ画像をシフト又はズームさせることにより、追尾対象物の画像部分を画面中央に表示させることが可能である。なお、範囲切換部71aは、追尾対象物の画像部分を画面中央以外の部分に表示させるようになっていてもよい。
制御部71は、範囲切換部71aによって生成された表示画像を通信部76を介してウェアラブル部80に送信することができるようになっている。
また、範囲切換部71aは、画像取得部72aの出力に基づいて、処置部73の変位に応じた表示画像を生成してもよい。画像取得部72aによる撮像画像は制御部71の範囲切換部71aに与えられる。範囲切換部71aは、撮像画像の画像解析によって、視野範囲変更前の撮像画像に含まれる追尾対象物の画像部分を視野範囲変更後の撮像画像中から検索し、当該画像部分が画面中央に位置するように、撮像画像をシフト又はズームさせて表示画像を生成してもよい。
範囲切換部71aは、追尾対象物を設定することができるようになっている。例えば、範囲切換部71aは、取得タイミングを指定するユーザ操作に基づいて、画像取得部12aからの撮像画像の中央の画像部分を追尾対象物として設定してもよい。例えば、範囲切換部71aは、処置具に設けられた図示しないボタンが操作されたタイミングを取得タイミングとしてもよく、また、処置部73の状態が所定の状態の場合を取得タイミングに設定して、追尾対象物を設定してもよい。また、例えば、範囲切換部71aは、ユーザによる追尾対象物の指定操作を受け付けて対象部の設定を行うようになっていてもよい。例えば、範囲切換部71aは、画像取得部72aが取得した撮像画像をウェアラブル部80の後述する表示部83の表示画面上に表示させた状態で図示しない操作部により画像上にポインタを表示させ、このポインタによって画像上の部分がユーザにより指定されると、当該画像部分を追尾対象物として設定してもよい。例えば、範囲切換部71aは、画像上の特定部分に対する指定操作を検出すると、指定された画像部分を含む所定の範囲の対象物を追尾対象物に設定してもよい。
医療器具70には通信部76が設けられている。通信部76は、制御部71に制御されて、ウェアラブル部80との間で有線又は無線による通信が可能である。例えば、通信部76は、ウェアラブル部80との間の伝送路に対応した各種コントローラによって構成することができる。例えば、伝送としてLANケーブルが採用された場合にはLANコントローラが、Wifiが採用された場合にはワイヤレスLANコントローラが通信部76として採用される。また、伝送路がUSBケーブルの場合にはUSBコントローラが、ビデオケーブルの場合にはビデオコントローラが通信部76として採用される。
本実施の形態においては、ウェアラブル部80としては、眼鏡型端末装置等を採用することができる。ウェアラブル部80は、制御部81を有している。制御部81は、ウェアラブル部80の各部を制御する。制御部81は、CPU等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。
ウェアラブル部80には通信部86が設けられている。通信部86は、制御部81に制御されて、医療器具70との間で有線又は無線による通信が可能である。例えば、通信部86は、医療器具70との間の伝送路に対応した各種コントローラによって構成することができる。例えば、伝送としてLANケーブルが採用された場合にはLANコントローラが、Wifiが採用された場合にはワイヤレスLANコントローラが通信部86として採用される。また、伝送路がUSBケーブルの場合にはUSBコントローラが、ビデオケーブルの場合にはビデオコントローラが通信部86として採用される。
制御部81には表示制御部81aが設けられている。表示制御部81aは、表示に関する各種処理を実行する。表示制御部81aは、例えば、ビデオコントローラやディスプレイコントローラ等によって構成することができ、制御部81とは別体に構成されていてもよい。表示制御部81aは、表示部83の表示を制御する。表示部83は、LCD等の表示画面を有しており、表示制御部81aから与えられた画像を表示する。例えば、表示制御部81aは、画像取得部72aからの撮像画像が通信部76,86を介して伝送されると、この撮像画像を表示部83の表示画面上に表示させることができる。
ウェアラブル部80は情報取得部82を有している。情報取得部82は、ウェアラブル部80の周囲のセンサ情報を取得するものであり、例えば、画像取得部82a及び音声取得部82bを備えている。画像取得部82aは、例えば、図示しないイメージセンサによって構成することができ、所定の撮像範囲において撮像画像を取得することができる。画像取得部82aは、取得した撮像画像をセンサ情報として制御部81に出力するようになっている。表示制御部81aは、画像取得部82aからの撮像画像を表示部83に表示させることもできる。
音声取得部82bは、例えば、マイクロホンによって構成することができ、周囲の音声を取得することができる。音声取得部82bは取得した音声を制御部81に供給することができる。制御部82は、ディクテーション処理によって、取得された音声のテキスト情報を取得することができる。これにより、制御部82は、ユーザによる音声コマンドを解釈して、音声による操作を受け付けることができる。
ウェアラブル部80には、記録部84が設けられている。記録部84は、制御部81に制御されて、図示しないメモリ等の記録媒体に情報取得部72,82において取得された画像や音声を記録することができるようになっている。また、記録部84は、図示しない記録媒体に記録された画像や音声を読み出して再生し、再生した画像や音声を制御部81に出力することができるようになっている。これにより、制御部81は、記録部84によって記録された画像を例えば表示部83に表示させることが可能である。
また、ウェアラブル部80にはバッテリ85が内蔵されている。バッテリ85は、制御部81に制御されて、ウェアラブル部80の各部に供給する電力を発生するようになっている。
図9は図8中の医療器具70の一例を示す説明図である。図9の左側は指を伸ばした場合の処置部73を示し、図9の右側は指を曲げた場合の処置部73を示している。
図9は医療器具70を電気メスの機能を備えた処置具によって構成した例を示している。処置部73は、第1フレーム91、第2フレーム92を有している。第1フレームの基端側には、術者の指を挿入して指の基端側で第1フレーム91を支持するための挿入部90が取り付けられている。挿入部90には図8の医療器具70内の制御部71、情報取得部72、バッテリ75及び通信部76の各部が搭載された回路部89が設けられている。
また、第1フレームの先端側には、駆動軸91bが取り付けられており、この駆動軸91bに基端側が回動自在に軸支された第2フレーム92が設けられている。第2フレーム92の先端側には電気メス93が取り付けられている。電気メス93は、第2フレーム92及び第1フレーム91内を挿通された図示しない配線によって回路部89に接続されて駆動されるようになっている。第2フレーム92の先端には光源部74も取り付けられている。光源部74は第2フレーム92及び第1フレーム91内を挿通された図示しない配線によってバッテリ75から電力供給を受けて照明光を被検体に照射するようになっている。
第1フレーム91の側部には係止部91aが設けられ、第2フレーム92の側部には係止部92aが設けられており、係止部91aと係止部92aには付勢部材94が架け渡されている。付勢部材94としては、バネやゴム等の弾性材料が採用されており、付勢部材94は係止部92aを係止部91a側に付勢する。この付勢力により、図9の左側に示すように、第1フレーム91と第2フレーム92とは略直線状に配置されるようになる。なお、後述するように、指100を曲げる動作によって付勢部材94の付勢力に抗して第2フレーム92を第1フレームに対して傾斜させた状態に配置することもできる。
駆動軸91bには、図示しないロータリエンコーダが配設されており、ロータリエンコーダは、第1フレーム91に対する第2フレーム92の傾斜角度の情報を取得することができるようになっている。ロータリエンコーダは、取得した傾斜角度の情報を第1フレーム91内に挿通された図示しない配線を介して、回路部89上の状態判定部72bに出力するようになっている。これにより、状態判定部72bは、処置部73の変位に関する情報を取得することができる。
また、処置部73として、術者の指が挿入されて指の第2関節近傍位置に嵌め込まれる嵌入部96も設けられている。嵌入部96には側部に軸部材96aが設けられており、第2フレーム92にも側部に軸部材92bが設けられている。軸部材96a,92bには環状部材95が取り付けられており、環状部材95は、軸部材96a,92b部分において軸部材96a,92bの周面に沿って回転自在であり、軸部材96a,92b間の距離は、環状部材95のサイズによって一定の距離を維持するようになっている。
術者は指100を第1フレーム91の基端側から挿入部90に挿入し、更に、嵌入部96にも挿入して、第2関節近傍において嵌入部96が位置するように処置部73を装着する。この状態で、指100を伸ばすと、図9の左側の状態となり、指100を曲げると、図9の矢印103のように第2フレーム92及び電気メス93が移動して、図9の右側の状態となる。指100を曲げる角度に応じて、第1フレーム91に対する電気メス93の角度も変化する。術者は指100を曲げる簡単な動作によって、電気メス93の角度を変えることができる。術者は指100を希望する位置に移動させ、希望する方向に向きを変え、希望する角度だけ曲げることによって、自由に電気メス93の位置や角度を変えることができ、生体の切除等を容易に行うことができる。
術者の指100の先端には、環状の嵌合部材97が嵌め込まれており、この嵌合部材97には指先端側に画像取得部72aが配設されている。画像取得部72aは、上述したように、比較的広角での撮像が可能である。図9においては、破線によって画像取得部72aの画角101a,101bを示している。
上述したように、範囲切換部71aは、処置部73の状態が所定の状態の場合の撮像画像によって追尾対象物を設定してもよい。例えば、範囲切換部71aは、指100が伸ばされて略直線状、即ち、第1フレーム91と第2フレームとが略直線状に配置されている場合における画像取得部72aの撮像画像の中心部分を追尾対象物に設定してもよい。
図9の左側の状態においては、太線矢印102aに示す方向が画角の中心方向である。この場合において、太線矢印102aに示す方向の被検体部分を追尾対象物に設定しているものとする。この場合には、範囲切換部71aは、状態判定部72bからの処置部73の変位に関する情報に基づいて、画像取得部72aの撮像画像のうち太線矢印102a方向の追尾対象物の画像部分を画面中央に配置する表示画像を生成する。
例えば、術者が指を伸ばした状態から指を曲げることによって、図9の左側の状態から図9の右側の状態に処置部73が変位するものとする。この場合においては、画像取得部72aは、画角101bの範囲を撮像している。画角101bの範囲には、図9の左側の太線矢印102a方向の被検体(追尾対象物)が含まれており、図9の右側の太線矢印102b方向は追尾対象物の方向を示している。即ち、画像取得部72aは、画角101bの範囲内において追尾対象物である被検体を撮像可能である。範囲切換部71aは、画像取得部72aの撮像画像のうち太線矢印102a方向の画像部分を画面中央にシフト又はズームさせて表示画像を生成する。
図10はウェアラブル部80の各部と顔との位置関係を示す説明図である。図10はウェアラブル部80として図2と同様の構成の眼鏡型のウェアラブル端末装置(眼鏡型端末装置)を採用した場合の例を示している。
ウェアラブル部80には、画像取得部82aを構成する撮像レンズ82aaが配設されている。被写体からの光学像は、撮像レンズ82aaを介して画像取得部82aの撮像素子に与えられる。この撮像素子によって、被写体光学像に基づく撮像画像を取得することができる。例えば、撮像レンズ82aaは、眼鏡フレームのツル部分の先端に設けられており、ツル部分は人物の顔111と略同じ向きを向いているので、画像取得部82aは、人の目112R,112Lの観察方向と同じ方向の被写体を撮像することが可能である。これにより、画像取得部82aは、人が観察している作業状態に対応する画像を撮像画像として取得することが可能である。
撮像レンズ82aaの下方には、音声取得部82bを構成するマイクロホン82baが配設されている。また、眼鏡型端末装置の左右のレンズのうち右側レンズの前方側には、表示部83の表示面83bが配設されている。表示面83bは、人物が顔111に眼鏡フレームを装着した状態で、右目112Rの前方であって右レンズの一部の領域に対応する位置に配置されるようになっている。
表示制御部81aは、制御部81によって処理した映像信号を表示部83に与え、表示部83は、この映像信号に基づく映像光を表示面83bに表示される。こうして、右目112Rの視野範囲の一部に、制御部81からの映像信号に基づく画像が視認されることになる。ここに、アドバイスや状況確認や処置のOK表示や、禁止、警告等の表示を、必要に応じて表示できるようにする。このような表示を出すために、眼鏡型端末の撮像結果を制御部81が判定したりしてもよいが、処置具側の制御部71が情報取得結果(出欠や異常な動きなどの判定)による判定を利用したりしても良い。
なお、眼鏡型端末装置は、シースルーで観察対象を直接観察することを妨げず、直接観察の観察対象と視野範囲の一部に見える入力された映像信号に基づく画像とを同時に観察することができるように構成されている。例えば、眼鏡型端末装置であるウェアラブル部80を装着したユーザは、各種作業時に、作業の状況を直接観察すると同時に、医療器具70の画像取得部72a等によって取得された撮像画像を観察することも可能である。しかも、ウェアラブル部80は、ハンズフリーの機器であるから、作業及び観察に際して手足の動作が制限されることはないので、両手を駆使した作業性を損なうことなく画像取得部72aによって取得された画像の観察が可能である。なお、混乱が生じないように断っておくと、この医療器具70も指に装着するので、ウェアラブル機器の特徴を持っている。眼鏡型端末と処置具(医療機器)は、装着する場所が離れているが、一つの機器として捉えることが出来、制御部などは共通のものが一つあれば、制御部71と制御部81を兼用することも可能である。
なお、図10における右目112R及び左目112Lをそれぞれ囲む破線は左右の目112R,112Lによる視界を示している。
図11はこの視界を説明するための説明図である。左視界113Lは左目112Lによる視界を示し、右視界113Rは右目112Rによる視界を示している。左視界113Lは図示しない左レンズ(素通しガラスでもよく、ガラスがなくてもよい)を通過した光学眼鏡視界であり、右視界113Rは図示しない右レンズ(素通しガラスでもよく、ガラスがなくてもよい)を通過した光学眼鏡視界である。右視界113Rの一部に、表示面83bによる表示領域83dが設けられる。この表示領域83dは、画像取得部72aによる撮像画像の観察が容易なように、十分大きなサイズに設定される。
左右の視界113L,113Rにおける光学眼鏡視界は、術者が例えば患者の体の外側から見た観察対象を示すものであり、表示領域83dは、術者が医療器具70を指100に装着した状態において、例えば患者の腹腔内の患部を撮像して得た追尾対象物を示すものである。従って、ウェアラブル部80を装着した作業者は、医療器具70を装着した状態の作業状態を体の外側から肉眼で確認しつつ両手を駆使して注意を要する作業をしながら、この作業対象の腹腔内の撮像画像を表示領域83dにおいて観察することができる。
次に、このように構成された実施の形態の動作について図12及び図13を参照して説明する。図12は第2の実施の形態の動作を説明するためのフローチャートである。図13は第2の実施の形態の動作を説明するための説明図である。
図13は本実施の形態における医療器具70を用いて患者の治療を行う例を示している。患者体表面121には医療器具70を挿入可能な開口が形成されている。術者は医療器具70が装着された指100を患者体表面121の開口を介して体腔内122に挿入する。指100を矢印131a方向に移動させることによって、医療器具70の第1フレーム91を矢印131b方向に移動させることができる。このような状況であるから、医療器具70のユーザの行為(指の動きを例としているが、姿勢、立ち居振る舞い)によって、様々な位置変化が支配的に生じるのであって、患者の方は、略静止していることを前提としている。
医療器具70の制御部71は、図12のステップS41において、医療器具70を起動する特定の入力信号や入力操作が発生した否かを判定し、発生していない場合には、ステップS53において省電力モード(省エネモード)を設定してステップS41に処理を戻す。省電力モードでは、制御部71は医療器具70の一部のみにバッテリ75からの電力を供給するように制御するようになっている。
制御部71は、医療器具70を起動するためのオン操作が発生したものと判定すると、処理をステップS42に移行して各部にバッテリ75からの電力を供給して各部を起動させる。なお、制御部71は、ウェアラブル部80における音声取得部82bに対する音声入力に応じて制御部81から通知されたコマンドに従って、ステップS41からステップS42に処理を移行するようになっていてもよい。
指100の先端に配置された画像取得部72aは、体腔内122を広角に撮像する。この撮像画像は、制御部71に供給される。制御部71は撮像画像をそのまま表示画像とするか又は中心画像を表示画像として、通信部76,86を介して医療器具70の制御部81に出力する(ステップS43)。表示制御部81aは、例えば、眼鏡型の医療器具70の表示部83に体腔内122の撮像画像を表示する。
制御部71は、ステップS44において照明が必要か否かを判定する。撮像画像が十分な明るさを有していない場合には、制御部71は、光源部74を発光させる(ステップS45)。こうして、医療器具70の先端側に設けられた光源部74によって体腔内122は照明され、画像取得部72aによる撮像画像は視認性に優れた画像となる。なお、制御部71は、ステップS44において照明が不要と判断した場合には、省電力の観点から光源部74を点灯させることなく、処理をステップS46に移行する。
こうして、術者は医療器具70の表示部83による表示領域83dに表示された体腔内112の撮像画像を見ながら指100を移動させ、医療器具70を治療を施す目的部位123、即ち、追尾対象物近傍に移動させる。範囲切換部71aは、指100が伸ばされて第1フレーム91と第2フレーム92とが略直線状の場合における画像取得部72aによる撮像画像の画像中心部分を追尾対象物に設定して(ステップS46)、ステップS47に移行する。なお、範囲切換部71aは、他の方法によって追尾対象物を設定してもよい。例えば、範囲切換部71aは、ウェアラブル部80の表示部83に表示された撮像画像中の目的部位123の画像部分を指定する操作によって、追尾対象物を設定してもよい。
ここでは、ユーザの指の動き(立ち居振る舞い等)が、対象物との相対位置変化の主要要因であることを前提とするので、それを保証するために、対象物が背景の中で同じ位置にあることを画像取得部からの画像で判定した結果をまず確認してもよい。ここでは、目的部位123の画像が、特定の体腔内パターンを背景として動かないことを撮像結果で判定するようなプロセスを入れてもよい。ここでは、ユーザの姿勢(立ち居振る舞い等)が、対象物との相対位置変化の主要要因であることを前提とするので、それを保証するために、対象物が背景の中で同じ位置にあることを画像取得部からの画像で、まず判定するようにしてもよい。この場合、目的部位123の特徴的な部分、例えば色や形状を検出し、その色や形状の回りの画像を背景として、時間的にこれらの関係が変化しないことを判定すればよい。また、近年では、複眼のカメラや位相差方式の距離分布判定が可能な撮像素子が開発されており、状況の距離分布などがわかるので、それによって距離分布の変化がないことを検出し、対象物の変化がない、または少ないことを判定してもよい。体腔内112であれば、照明光の反射の強さの分布によっても、背景と目的部位123の関係を把握可能で、これらの関係が大きく変わらなければ、動きの補償の対象はユーザの動きであると考えられる。また、ユーザの動きでも、ここでは、もっぱら回転系の動きであるので、装着部位によって、その特有の動きを想定して画像のシフト又はズームを制御するという動き補償制御を行っても良い。このような動きの規定は、装着部位に関係する関節の動きのパターンで行っても良く、作業内容や機器の専門性によっても規定することが出来るが、予め手動で入力するようにしてもよい。
ここでは、ユーザの指の動き(立ち居振る舞い等)が、対象物との相対位置変化の主要要因であることを前提とするので、それを保証するために、対象物が背景の中で同じ位置にあることを画像取得部からの画像で判定した結果をまず確認してもよい。ここでは、目的部位123の画像が、特定の体腔内パターンを背景として動かないことを撮像結果で判定するようなプロセスを入れてもよい。ここでは、ユーザの姿勢(立ち居振る舞い等)が、対象物との相対位置変化の主要要因であることを前提とするので、それを保証するために、対象物が背景の中で同じ位置にあることを画像取得部からの画像で、まず判定するようにしてもよい。この場合、目的部位123の特徴的な部分、例えば色や形状を検出し、その色や形状の回りの画像を背景として、時間的にこれらの関係が変化しないことを判定すればよい。また、近年では、複眼のカメラや位相差方式の距離分布判定が可能な撮像素子が開発されており、状況の距離分布などがわかるので、それによって距離分布の変化がないことを検出し、対象物の変化がない、または少ないことを判定してもよい。体腔内112であれば、照明光の反射の強さの分布によっても、背景と目的部位123の関係を把握可能で、これらの関係が大きく変わらなければ、動きの補償の対象はユーザの動きであると考えられる。また、ユーザの動きでも、ここでは、もっぱら回転系の動きであるので、装着部位によって、その特有の動きを想定して画像のシフト又はズームを制御するという動き補償制御を行っても良い。このような動きの規定は、装着部位に関係する関節の動きのパターンで行っても良く、作業内容や機器の専門性によっても規定することが出来るが、予め手動で入力するようにしてもよい。
範囲切換部71aは、ステップS47において、状態判定部72bからの情報に基づいて、指曲げが開始されたか否かを判定する。範囲切換部71aは、指曲げが開始されていないと判定した場合には、処理をステップS56に移行してズームが指定されているか否かを判定する。範囲切換部71aは、ズームが指定されていない場合には処理をステップS51に移行し、ズームが指定されている場合には、ステップS57において画像中心でズーム処理を実行して表示画像を得た後ステップS51に移行する。なお、この表示画像は、ステップS43において表示部83に表示される。
術者は、表示部83に表示された表示画像を確認しながら、指100の位置を移動させることにより、医療器具70の電気メス93を目的部位123に当接させる。図13に示すように、指100を矢印132a方向に曲げ伸ばしすることによって、電気メス93を矢印132b方向に傾斜させることが可能である。術者は指100を曲げたり伸ばしたり移動させたりする操作によって、電気メス93により目的部位123を切開する。この電気メス93へのエネルギー投入は、医師がフットスイッチを使ったり、医師が口の動きなどで行ったりもよく、他の指などで操作しても良い。このように医師には集中力を要する処置が多く、医師の様々な部位の自由度確保が重要で、機器に拘束されないようなウェアラブル機器によるソリューションが重要となる。この他、この機器は指100以外の他の指を使って処置部73を掴んだり支えたりする必要がなく、他の指に自由度を持たせてあるので、それらを使った専用器具で、縫合や止血などの別作業を行うことが可能となっている。
指100の曲げ伸ばしによる第2フレーム92の傾斜角の変化は、状態判定部72bによって判定される。状態判定部72bは取得した傾斜角の変化の情報を範囲切換部71aに出力する。範囲切換部71aは、ステップS47において指100の曲げ伸ばしが行われたものと判定すると、ステップS48において指曲げに応じて追尾対象物の方向を変更して、画像取得部72aによる撮像画像のうち追尾対象物の方向に対応する画像部分が画面中央に位置するように画像をシフト又はズームして表示画像を生成する。なお、ここでは、ユーザの指曲げが、対象物との相対位置変化の主要要因であることを前提としている。このような専用機器なので、それを前提にした設計でもよいが、ステップS47にこうした確認のプロセスを入れ込んでも良い。
即ち、術者は指100の曲げ伸ばしに拘わらず、目的部位123である追尾対象物を表示部83の画面中央に常に位置させた状態で、目的部位123を表示部83において観察しながら、電気メス93による切開作業を行うことができる。これにより、術者は目的部位123の確認が容易であると共に、指100を動かすという簡単な作業によって、目的部位123に対する処置が可能である。ここでは、ユーザの指の動きが、対象物との相対位置変化の主要要因であることを前提とするので、対象物が背景の中で同じ位置にあることを画像取得部からの画像で判定した結果をまず確認するようにしてもよい。例えば、目的部位と他の部位との位置関係を、常時、画像で確認しておくようにして、ステップS47での分岐にそれを反映させてもよい。つまり、目的部位が止まっている時のみ、ステップS47が指曲げと判定するとか工夫をしてもよく、そのような状況以外は指曲げOK信号を出さないようにしてもよい。指曲げOKの結果は、眼鏡型端末等に表示する。
範囲切換部71aはステップS49においてぶれ判定を行い、画像にぶれが生じていないと判定した場合には、処理をステップS54に移行してズームが指定されているか否かを判定する。範囲切換部71aは、ズームが指定されていない場合には処理をステップS51に移行し、ズームが指定されている場合には、ステップS55において画像中心でズーム処理を実行して表示画像を得た後ステップS51に移行する。なお、この表示画像は、追尾対象物の画像部分が画面中央に位置するように画像シフト又はズームされたものであり、ステップS43において表示部83に表示される。
範囲切換部71aは、ステップS49においてぶれが生じていると判定した場合には、次のステップS50において、画像処理によってぶれを補正した後、ステップS51に処理を移行する。
制御部71は、ステップS51において端末オフ操作が発生したか否かを判定する。端末オフ操作がなければ、制御部71は処理をステップS43に戻す。端末オフ操作が発生すると、制御部71は、ステップS52において医療器具70の各部への電力供給を停止して、表示部83の表示をオフにするためのコマンドを通信部76,86を介して制御部81に送信する。これにより、制御部81は表示部83の表示をオフにする。
なお、上記図12のフローは、指100の向き等に拘わらず、追尾対象物が画像取得部72aの撮像範囲内に存在するものとして説明した。しかし、指100の変位量によっては、追尾対象物が撮像範囲から脱する可能性もある。そこで、この場合には、最後に撮像範囲に存在した追尾対象物の方向の対象物を画面中央に位置させた状態で表示画像を固定する。そして、追尾対象物が再び撮像範囲に存在するようになった(補足した)場合には、その場合の追尾対象物の撮像画像上の位置の画像部分を画面中央に位置させるように表示画像を生成する。
(変形例)
ところで、図9の例では、バッテリ75を含む回路部89を挿入部90に配置するものと説明した。しかし、医療器具70の操作性を考慮すると挿入部90の重さは軽い方がよく、バッテリ75として十分な容量を確保することが困難な場合がある。そこで、このバッテリ75等を挿入部90以外の部分に配置する構成も考えられる。眼鏡型端末と処置具(医療機器)は、装着する場所が離れているが、一つの機器として捉えることが出来、制御部などは共通のものが一つあれば、制御部71と制御部81を兼用することも可能であると説明したが、それぞれの電源なども共通化してもよい。
ところで、図9の例では、バッテリ75を含む回路部89を挿入部90に配置するものと説明した。しかし、医療器具70の操作性を考慮すると挿入部90の重さは軽い方がよく、バッテリ75として十分な容量を確保することが困難な場合がある。そこで、このバッテリ75等を挿入部90以外の部分に配置する構成も考えられる。眼鏡型端末と処置具(医療機器)は、装着する場所が離れているが、一つの機器として捉えることが出来、制御部などは共通のものが一つあれば、制御部71と制御部81を兼用することも可能であると説明したが、それぞれの電源なども共通化してもよい。
図14はこのような変形例を示す説明図である。処置部73aは回路部89が省略された挿入部90aを採用した点が図9の処置部73と異なる。挿入部90aには、第1フレーム91内を挿通された複数の配線に接続された複数の配線を含むケーブル131が接続されている。ケーブル131は術者の手130上に配線されて、内部の各配線が術者の手首に巻かれたリストバンド135に搭載された回路部134及びバッテリ75に接続されるようになっている。なお、回路部134は医療器具70の必要な回路を含む。
このような構成によれば、比較的重量が重い回路部134及びバッテリ75が挿入部90aに搭載されていないので、術者は指100を比較的容易に動かすことが可能となる。なお、図14ではバッテリ75及び回路部134をリストバンド135に搭載する例を示したが、リストバンド135上に光源を配置して、光源からの光をライトガイドにより伝送して照明光として出射させる構成であってもよい。
このように本実施の形態においては、追尾対象物を設定すると共に、当該追尾対象物への方向の変化を検出して画像中心に配置する撮像画像の部分を修正する。これにより、常に、画面中央に追尾対象物が表示された表示画像を得ることができる。このように、作業に伴って画像取得部が変位する場合でも、追尾対象物を確実に捉えた撮像が可能である。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
また、多くの分岐などによって生じる結果については、ここでは単純化して説明したが、さらに多くの判断材料を利用しても良いことは言うまでもない。近年、どのような条件ではどのような制御を行う、といった事は、人工知能や機械学習、深層学習などが有効であることが知られており、ここで説明したようなプロフェッショナルが利用する機器では、その道の権威やベテランなどの技を、後進育成に繋げる事が期待されている分野である。この発明では、音声や画像などの情報を駆使して、それぞれの情報取得特性を向上させているが、どのような時に、この特性切り替えが重要であるかを、熟練者が利用して、良好切り替え時の条件データを蓄積していけば、これを教師データとして、さらに使いやすいシステムとすることが出来る。ここでは、そのような場合も含めて、最も説明が平易になる方法で実施例を書いて説明しているので、この方向での発展系をも見据えた技術であることは言うまでもない。また、ここで説明した多くの機器が連携する技術では、どこにどの機器の制御部があっても対応可能、応用設計可能であることも言うまでもない。ユーザと対象物、または、背景と対象物の関係を把握可能で、これらの関係が大きく変わらなければ、動きの補償の対象を特定可能であるが、上記各実施例ではユーザの動きが支配的であると考えられる状況をいかに判定するかを列挙したが、この判定もまた、状況や機器の装着部位、作業内容など、様々な変数が関わり合うので、人工知能などによって学習された結果に応じて制御を切り替えてもよいことは言うまでもない。
また、多くの分岐などによって生じる結果については、ここでは単純化して説明したが、さらに多くの判断材料を利用しても良いことは言うまでもない。近年、どのような条件ではどのような制御を行う、といった事は、人工知能や機械学習、深層学習などが有効であることが知られており、ここで説明したようなプロフェッショナルが利用する機器では、その道の権威やベテランなどの技を、後進育成に繋げる事が期待されている分野である。この発明では、音声や画像などの情報を駆使して、それぞれの情報取得特性を向上させているが、どのような時に、この特性切り替えが重要であるかを、熟練者が利用して、良好切り替え時の条件データを蓄積していけば、これを教師データとして、さらに使いやすいシステムとすることが出来る。ここでは、そのような場合も含めて、最も説明が平易になる方法で実施例を書いて説明しているので、この方向での発展系をも見据えた技術であることは言うまでもない。また、ここで説明した多くの機器が連携する技術では、どこにどの機器の制御部があっても対応可能、応用設計可能であることも言うまでもない。ユーザと対象物、または、背景と対象物の関係を把握可能で、これらの関係が大きく変わらなければ、動きの補償の対象を特定可能であるが、上記各実施例ではユーザの動きが支配的であると考えられる状況をいかに判定するかを列挙したが、この判定もまた、状況や機器の装着部位、作業内容など、様々な変数が関わり合うので、人工知能などによって学習された結果に応じて制御を切り替えてもよいことは言うまでもない。
なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、半導体やその他の記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。また、外部の機器が必要に応じて連携し、いくつかの機能や判断の代役を果たしてもよい。
10…ウェアラブル部、11…制御部、11a…表示制御部、11b…範囲切換部、12…情報取得部、12a…画像取得部、12b…音声取得部、12c…姿勢取得部、13…表示部、14…通信部、15…記録部、16…バッテリ。
Claims (13)
- センサと、
前記センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定し、前記センサが取り付けられる変位部の変位に関する情報に基づいて、前記センサの情報取得方向を制御する制御部と
を具備したことを特徴とするセンサ情報取得装置。 - 前記制御部は、追尾対象物の方向に上記情報取得方向を設定する
ことを特徴とする請求項1に記載のセンサ情報取得装置。 - 前記制御部は、ユーザ操作に基づいて前記追尾対象物を設定する
ことを特徴とする請求項2に記載のセンサ情報取得装置。 - 前記追尾対象物を追尾するための追尾用センサ
を具備したことを特徴とする請求項2に記載のセンサ情報取得装置。 - 前記制御部は、前記追尾対象物が前記追尾用センサの追尾可能な領域を脱した場合には、前記情報取得方向を最後に前記追尾対象物を追尾していた方向に固定する
ことを特徴とする請求項4に記載のセンサ情報取得装置。 - 前記制御部は、前記追尾対象物が前記追尾用センサの追尾可能な領域を脱した状態から追尾可能な領域に戻った場合には、前記情報取得方向を前記追尾対象物の追尾方向に設定する
ことを特徴とする請求項5に記載のセンサ情報取得装置。 - 前記変位部の変位に関する情報は、イメージセンサ、マイクロホン又は姿勢センサによって取得される
ことを特徴とする請求項1に記載のセンサ情報取得装置。 - 前記センサは、音声を取得するマイクロホンにより構成され、
前記制御部は、前記センサを構成するマイクロホンの指向性を制御する
ことを特徴とする請求項1に記載のセンサ情報取得装置。 - 前記センサは、画像を取得するイメージセンサにより構成され、
前記制御部は、前記イメージセンサによって取得された撮像画像中の所定の画像部分を画面の所定位置に表示する
ことを特徴とする請求項1に記載のセンサ情報取得装置。 - センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定し、
前記センサが取り付けられる変位部の変位に関する情報を取得し、
取得した変位に関する情報に基づいて、前記センサの情報取得方向を制御する
ことを特徴とするセンサ情報取得方法。 - コンピュータに、
センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定する手順と、
前記センサが取り付けられる変位部の変位に関する情報を取得する手順と、
取得した変位に関する情報に基づいて、前記センサの情報取得方向を制御する手順と
を実行させるためのセンサ情報取得プログラム。 - 変位自在な処置部と、
前記処置部との位置関係が固定なセンサと、
前記センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定し、前記変位部の変位に関する情報を取得する情報取得部と、
取得した変位に関する情報に基づいて、前記センサの情報取得方向を制御する制御部と
を具備したことを特徴とする医療器具。 - 前記処置部は、指の動きに従って変位するものであり、
前記センサは、前記指に取り付けられたイメージセンサであり、
前記制御部は、前記イメージセンサによって取得された撮像画像中の所定の画像部分を画面の所定位置に表示する
ことを特徴とする請求項12に記載の医療器具。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016251717A JP2018107603A (ja) | 2016-12-26 | 2016-12-26 | センサ情報取得装置、センサ情報取得方法、センサ情報取得プログラム及び医療器具 |
US15/853,706 US10706965B2 (en) | 2016-12-26 | 2017-12-22 | Sensor information acquiring device, sensor information acquiring method, recording medium in which sensor information acquiring program is recorded, and medical instrument |
CN201711428327.9A CN108243302A (zh) | 2016-12-26 | 2017-12-26 | 传感器信息取得装置、传感器信息取得方法及记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016251717A JP2018107603A (ja) | 2016-12-26 | 2016-12-26 | センサ情報取得装置、センサ情報取得方法、センサ情報取得プログラム及び医療器具 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018107603A true JP2018107603A (ja) | 2018-07-05 |
Family
ID=62630440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016251717A Pending JP2018107603A (ja) | 2016-12-26 | 2016-12-26 | センサ情報取得装置、センサ情報取得方法、センサ情報取得プログラム及び医療器具 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10706965B2 (ja) |
JP (1) | JP2018107603A (ja) |
CN (1) | CN108243302A (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3868030A4 (en) * | 2018-10-16 | 2022-07-20 | Nokia Technologies Oy | DISTRIBUTION AND MANAGEMENT OF MULTIMEDIA CONTENT IN A WIRELESS COMMUNICATION NETWORK |
CN109625254A (zh) * | 2018-12-28 | 2019-04-16 | 浙江星米体育有限公司 | 竞技类无人机 |
CN111586283B (zh) * | 2019-02-19 | 2022-09-27 | 北京小米移动软件有限公司 | 变焦方法及装置 |
CN110493690B (zh) * | 2019-08-29 | 2021-08-13 | 北京搜狗科技发展有限公司 | 一种声音采集方法及装置 |
CN112336038A (zh) * | 2020-10-19 | 2021-02-09 | 广州市君卓信息科技有限公司 | 一种自动吹头发智能方法及机器人 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4980625B2 (ja) | 2006-02-21 | 2012-07-18 | 富士フイルム株式会社 | 体腔内観察装置 |
US8761412B2 (en) * | 2010-12-16 | 2014-06-24 | Sony Computer Entertainment Inc. | Microphone array steering with image-based source location |
US9274597B1 (en) * | 2011-12-20 | 2016-03-01 | Amazon Technologies, Inc. | Tracking head position for rendering content |
US20130326364A1 (en) * | 2012-05-31 | 2013-12-05 | Stephen G. Latta | Position relative hologram interactions |
EP2708982B1 (en) * | 2012-09-18 | 2019-09-11 | Samsung Electronics Co., Ltd | Method for guiding the user of a controller of a multimedia apparatus to move within recognizable range of the multimedia apparatus, the multimedia apparatus, and target tracking apparatus thereof |
US20140222462A1 (en) * | 2013-02-07 | 2014-08-07 | Ian Shakil | System and Method for Augmenting Healthcare Provider Performance |
EP3097448A1 (en) * | 2014-01-21 | 2016-11-30 | Trophy | Method for implant surgery using augmented visualization |
US9959591B2 (en) * | 2014-07-31 | 2018-05-01 | Seiko Epson Corporation | Display apparatus, method for controlling display apparatus, and program |
US9646389B2 (en) * | 2014-08-26 | 2017-05-09 | Qualcomm Incorporated | Systems and methods for image scanning |
US20160161589A1 (en) * | 2014-12-05 | 2016-06-09 | Stages Pcs, Llc | Audio source imaging system |
US10013808B2 (en) * | 2015-02-03 | 2018-07-03 | Globus Medical, Inc. | Surgeon head-mounted display apparatuses |
KR20160096422A (ko) * | 2015-02-05 | 2016-08-16 | 삼성전자주식회사 | 화면 표시 방법 및 전자 장치 |
JP2018516718A (ja) * | 2015-03-01 | 2018-06-28 | アリス エムディー, インコーポレイテッドARIS MD, Inc. | 拡張リアリティの形態学的診断法 |
JP7027336B2 (ja) * | 2016-04-26 | 2022-03-01 | マジック リープ, インコーポレイテッド | 拡張現実システムを用いた電磁追跡 |
US10365712B2 (en) * | 2016-05-17 | 2019-07-30 | Google Llc | Object tracking in a head mounted reference frame in an augmented and/or virtual reality environment |
US10134192B2 (en) * | 2016-10-17 | 2018-11-20 | Microsoft Technology Licensing, Llc | Generating and displaying a computer generated image on a future pose of a real world object |
US10219095B2 (en) * | 2017-05-24 | 2019-02-26 | Glen A. Norris | User experience localizing binaural sound during a telephone call |
-
2016
- 2016-12-26 JP JP2016251717A patent/JP2018107603A/ja active Pending
-
2017
- 2017-12-22 US US15/853,706 patent/US10706965B2/en active Active
- 2017-12-26 CN CN201711428327.9A patent/CN108243302A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US10706965B2 (en) | 2020-07-07 |
US20180182486A1 (en) | 2018-06-28 |
CN108243302A (zh) | 2018-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11989930B2 (en) | UI for head mounted display system | |
US20220336078A1 (en) | System and method for tracking a portion of the user as a proxy for non-monitored instrument | |
US20210212793A1 (en) | Systems, methods, and computer-readable storage media for controlling aspects of a robotic surgical device and viewer adaptive stereoscopic display | |
US10706965B2 (en) | Sensor information acquiring device, sensor information acquiring method, recording medium in which sensor information acquiring program is recorded, and medical instrument | |
JP6939778B2 (ja) | 制御装置、制御方法及び手術システム | |
JP6950707B2 (ja) | 情報処理装置および方法、並びにプログラム | |
WO2018211969A1 (ja) | 入力制御装置、入力制御方法、および手術システム | |
WO2014037953A2 (en) | Digital system for surgical video capturing and display | |
JPWO2018168261A1 (ja) | 制御装置、制御方法、及びプログラム | |
JP2017070636A (ja) | 手術システム、並びに、手術用制御装置および手術用制御方法 | |
US20230142404A1 (en) | Medical imaging apparatus, learning model generation method, and learning model generation program | |
US11883120B2 (en) | Medical observation system, medical signal processing device, and medical signal processing device driving method | |
JP6507252B2 (ja) | 機器操作装置、機器操作方法、及び電子機器システム | |
WO2019021781A1 (en) | SURGICAL SUPPORT SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING APPARATUS | |
CA3117533A1 (en) | Ui for head mounted display system | |
EP4143844A1 (en) | System and method for tracking a portion of the user as a proxy for non-monitored instrument | |
JP7017385B2 (ja) | 頭部装着型表示装置、表示システム及び表示方法 | |
JP2023507063A (ja) | 手術中に画像取込装置を制御するための方法、装置、およびシステム | |
CN111857342A (zh) | 一种基于医疗内窥镜的眼动追踪系统及方法 | |
WO2018043205A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
JP7367041B2 (ja) | 頭部装着型ディスプレイシステムのためのui | |
JP2019079469A (ja) | 作業支援装置、作業支援方法、作業支援プログラム及び頭部搭載型表示装置 | |
JP7552593B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
WO2021116846A1 (en) | Control system for an endoscopic device and method of controlling an endoscopy system | |
CN117479896A (zh) | 包括可在组织穿透外科装置的通道外展开的相机阵列的系统 |