JP2014104008A - Gesture detection assistance system for x-ray diagnosis, gesture detection assistance program for x-ray diagnosis, and x-ray diagnostic device - Google Patents

Gesture detection assistance system for x-ray diagnosis, gesture detection assistance program for x-ray diagnosis, and x-ray diagnostic device Download PDF

Info

Publication number
JP2014104008A
JP2014104008A JP2012256994A JP2012256994A JP2014104008A JP 2014104008 A JP2014104008 A JP 2014104008A JP 2012256994 A JP2012256994 A JP 2012256994A JP 2012256994 A JP2012256994 A JP 2012256994A JP 2014104008 A JP2014104008 A JP 2014104008A
Authority
JP
Japan
Prior art keywords
gesture
ray
user
sensor
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012256994A
Other languages
Japanese (ja)
Other versions
JP6218372B2 (en
Inventor
Yoshiyasu Hayashi
由康 林
Yuichiro Watabe
勇一郎 渡部
Atsushi Sakakibara
淳 榊原
Ko Fuchigami
航 渕上
Yusuke Sugano
雄介 菅野
Masami Akiyama
真己 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2012256994A priority Critical patent/JP6218372B2/en
Priority to CN201380003004.9A priority patent/CN103957801B/en
Priority to PCT/JP2013/081519 priority patent/WO2014081013A1/en
Publication of JP2014104008A publication Critical patent/JP2014104008A/en
Priority to US14/717,380 priority patent/US10684691B2/en
Application granted granted Critical
Publication of JP6218372B2 publication Critical patent/JP6218372B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/467Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/481Diagnostic techniques involving the use of contrast agents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means

Abstract

PROBLEM TO BE SOLVED: To effectively utilize operation functions by gestures of an X-ray diagnostic device under constraints specific in the X-ray diagnosis.SOLUTION: A gesture detection assistance system for X-ray diagnosis according to an embodiment is provided with a storage device, a detection system, and an operation system. The storage device stores operating contents for an X-ray diagnostic device which are associated with a user gesture. The detection system detects a user gesture. The operation system outputs operation information to the X-ray diagnostic device on the basis of a gesture detection result. The detection system has a sensor, a detection unit, and an attachment fitting. The detection unit detects a gesture on the basis of an output from the sensor. An attachment fitting attaches the sensor to at least one of a ceiling of an examination room in which the X-ray diagnostic device is installed, an arm for driving an image capturing system of the X-ray diagnostic device, an intravenous drip stand, a contrast media injector, an X-ray protective panel, and a monitor for displaying X-ray image data captured by the X-ray diagnostic device.

Description

本発明の実施形態は、X線診断用のジェスチャー検知支援システム、X線診断用のジェスチャー検知支援プログラム及びX線診断装置に関する。   Embodiments described herein relate generally to a gesture detection support system for X-ray diagnosis, a gesture detection support program for X-ray diagnosis, and an X-ray diagnosis apparatus.

従来、深度センサと光学カメラとを用いることによって、ジェスチャーを検知する技術が知られている。更に、ジェスチャーの検知技術を応用してゲーム機をジェスチャーによってコントロールする技術も知られている。そこで、X線診断装置を操作するためにジェスチャーを用いる技術が提案されている。   Conventionally, a technique for detecting a gesture by using a depth sensor and an optical camera is known. Furthermore, a technique for controlling a game machine with a gesture by applying a gesture detection technique is also known. Therefore, a technique using a gesture for operating the X-ray diagnostic apparatus has been proposed.

特開平11−313801号公報JP-A-11-313801 特開2012−70862号公報JP 2012-70862 A

しかしながら、X線診断装置が設置される検査室や術中におけるX線診断装置の操作者には、様々な制約がある。例えば、検査室内には、様々な医用機器が設置されている。このため、深度センサや光学カメラ等の検出器の設置場所によっては、検出器の視野が医用機器によって遮られる恐れがある。また、術者ができるだけ手技に集中できるように、X線診断装置の操作のための動作や動作範囲を極力少なくすることが望まれる。   However, there are various restrictions on the examination room where the X-ray diagnostic apparatus is installed and the operator of the X-ray diagnostic apparatus during the operation. For example, various medical devices are installed in the examination room. For this reason, depending on the installation location of a detector such as a depth sensor or an optical camera, the visual field of the detector may be blocked by the medical device. In addition, it is desirable to reduce the operation and operation range for the operation of the X-ray diagnostic apparatus as much as possible so that the operator can concentrate on the procedure as much as possible.

このようにX線診断には、特有の制約がある。このため、ジェスチャーによるX線診断装置の操作機能を効果的に使用できない場合がある。   As described above, X-ray diagnosis has unique limitations. For this reason, the operation function of the X-ray diagnostic apparatus by gesture may not be used effectively.

そこで、本発明は、ジェスチャーによるX線診断装置の操作機能をX線診断に特有な制約下において有効に活用することを可能とするX線診断用のジェスチャー検知支援システム、X線診断用のジェスチャー検知支援プログラム及びX線診断装置を提供することを目的とする。   Therefore, the present invention provides a gesture detection support system for X-ray diagnosis and a gesture for X-ray diagnosis that can effectively use the operation function of the X-ray diagnosis apparatus by gesture under the restrictions specific to X-ray diagnosis. It is an object to provide a detection support program and an X-ray diagnostic apparatus.

本発明の実施形態に係るX線診断用のジェスチャー検知支援システムは、記憶装置、検出系及び操作系を備える。記憶装置は、ユーザのジェスチャーと関連付けられたX線診断装置の操作内容を記憶する。検出系は、ユーザのジェスチャーを検出する。操作系は、前記ジェスチャーの検出結果に基づいて、前記X線診断装置の対応する操作内容を前記記憶装置から取得し、取得した前記操作内容に基づいて前記X線診断装置に操作情報を出力する。前記検出系は、前記ジェスチャーを検出するための少なくとも1つのセンサ、検出部及び取付け器具を有する。検出部は、前記センサからの出力に基づいて前記ジェスチャーを検出する。取付け器具は、前記X線診断装置が設置される検査室の天井、前記X線診断装置の撮影系を駆動させるためのアーム、点滴台、造影剤のインジェクタ、X線防護板及び前記X線診断装置によって撮影されたX線画像データを表示させるためのモニタの少なくとも1つに前記センサを取付ける。
また、本発明の実施形態に係るX線診断用のジェスチャー検知支援システムは、記憶装置、検出系、操作系及び制御系を備える。記憶装置は、ユーザのジェスチャーと関連付けられたX線診断装置の操作内容を記憶する。検出系は、センサからの出力に基づいてユーザのジェスチャーを検出する。操作系は、前記ジェスチャーの検出結果に基づいて、前記X線診断装置の対応する操作内容を前記記憶装置から取得し、取得した前記操作内容に基づいて前記X線診断装置に操作情報を出力する。制御系は、ユーザの手首と肘との相対的な位置関係及びカテーテルの少なくとも一方を前記又は他のセンサからの出力に基づいて検出し、前記手首と肘との相対的な位置関係が所定の条件となった場合又は前記カテーテルがユーザの手によって保持されていると判定される場合に、前記検出系及び前記操作系の少なくとも一方の処理を停止させる。
また、本発明の実施形態に係るX線診断用のジェスチャー検知支援システムは、記憶装置、検出系及び操作系を備える。記憶装置は、ユーザの前腕のみによるジェスチャー又は肩と手首とを含み肘を除く部分によるジェスチャーと関連付けられたX線診断装置の操作内容を記憶する。検出系は、センサからの出力に基づいてユーザの前腕のみによるジェスチャー又は肩と手首とを含み肘を除く部分によるジェスチャーを検出する。操作系は、前記ジェスチャーの検出結果に基づいて、前記X線診断装置の対応する操作内容を前記記憶装置から取得し、取得した前記操作内容に基づいて前記X線診断装置に操作情報を出力する。
また、本発明の実施形態に係るX線診断用のジェスチャー検知支援システムは、記憶装置、検出系及び操作系を備える。記憶装置は、ユーザのジェスチャーと関連付けられたX線診断装置の操作内容を記憶する。検出系は、センサからの出力に基づいて複数のユーザの候補からジェスチャーを検出すべきユーザを特定し、特定されたユーザのジェスチャーを前記又は他のセンサからの出力に基づいて検出する。操作系は、前記ジェスチャーの検出結果に基づいて、前記X線診断装置の対応する操作内容を前記記憶装置から取得し、取得した前記操作内容に基づいて前記X線診断装置に操作情報を出力する。
また、本発明の実施形態に係るX線診断装置は、前記X線診断用のジェスチャー検知支援システムと、X線画像収集系とを備える。X線画像収集系は、前記操作情報に従ってX線撮影を実行する。
また、本発明の実施形態に係るX線診断用のジェスチャー検知支援プログラムは、コンピュータを、前記X線診断用のジェスチャー検知支援システムとして機能させる。
A gesture detection support system for X-ray diagnosis according to an embodiment of the present invention includes a storage device, a detection system, and an operation system. The storage device stores the operation content of the X-ray diagnostic apparatus associated with the user's gesture. The detection system detects a user's gesture. The operation system acquires the corresponding operation content of the X-ray diagnostic apparatus from the storage device based on the gesture detection result, and outputs the operation information to the X-ray diagnostic device based on the acquired operation content. . The detection system includes at least one sensor for detecting the gesture, a detection unit, and an attachment device. The detection unit detects the gesture based on an output from the sensor. The fixture includes an inspection room ceiling where the X-ray diagnostic apparatus is installed, an arm for driving the imaging system of the X-ray diagnostic apparatus, a drip stand, a contrast medium injector, an X-ray protective plate, and the X-ray diagnosis. The sensor is attached to at least one monitor for displaying X-ray image data photographed by the apparatus.
In addition, a gesture detection support system for X-ray diagnosis according to an embodiment of the present invention includes a storage device, a detection system, an operation system, and a control system. The storage device stores the operation content of the X-ray diagnostic apparatus associated with the user's gesture. The detection system detects a user's gesture based on the output from the sensor. The operation system acquires the corresponding operation content of the X-ray diagnostic apparatus from the storage device based on the gesture detection result, and outputs the operation information to the X-ray diagnostic device based on the acquired operation content. . The control system detects the relative positional relationship between the user's wrist and elbow and at least one of the catheters based on the output from the or other sensor, and the relative positional relationship between the wrist and the elbow is predetermined. When the condition is met or when it is determined that the catheter is held by the user's hand, the processing of at least one of the detection system and the operation system is stopped.
The gesture detection support system for X-ray diagnosis according to the embodiment of the present invention includes a storage device, a detection system, and an operation system. The storage device stores the operation content of the X-ray diagnostic apparatus associated with a gesture by only the user's forearm or a gesture by a portion including the shoulder and wrist and excluding the elbow. The detection system detects a gesture by only the user's forearm or a gesture by a portion excluding the elbow including the shoulder and wrist based on the output from the sensor. The operation system acquires the corresponding operation content of the X-ray diagnostic apparatus from the storage device based on the gesture detection result, and outputs the operation information to the X-ray diagnostic device based on the acquired operation content. .
The gesture detection support system for X-ray diagnosis according to the embodiment of the present invention includes a storage device, a detection system, and an operation system. The storage device stores the operation content of the X-ray diagnostic apparatus associated with the user's gesture. The detection system specifies a user whose gesture should be detected from a plurality of user candidates based on the output from the sensor, and detects the specified user's gesture based on the output from the or other sensors. The operation system acquires the corresponding operation content of the X-ray diagnostic apparatus from the storage device based on the gesture detection result, and outputs the operation information to the X-ray diagnostic device based on the acquired operation content. .
An X-ray diagnosis apparatus according to an embodiment of the present invention includes the gesture detection support system for X-ray diagnosis and an X-ray image acquisition system. The X-ray image acquisition system performs X-ray imaging according to the operation information.
The X-ray diagnosis gesture detection support program according to the embodiment of the present invention causes a computer to function as the X-ray diagnosis gesture detection support system.

本発明の実施形態に係るX線診断用のジェスチャー検知支援システムを備えたX線診断装置の構成を示す機能ブロック図。The functional block diagram which shows the structure of the X-ray diagnostic apparatus provided with the gesture detection assistance system for the X-ray diagnosis which concerns on embodiment of this invention. 前腕のみによるジェスチャーの例を示す図。The figure which shows the example of the gesture only by a forearm. 肩と手首のみによるジェスチャーの例を示す図。The figure which shows the example of the gesture only by a shoulder and a wrist. 図1に示すセンサの取り付け位置の第1の例を示す図。The figure which shows the 1st example of the attachment position of the sensor shown in FIG. 図1に示すセンサの取り付け位置の第2の例を示す図。The figure which shows the 2nd example of the attachment position of the sensor shown in FIG. 図1に示すセンサの取り付け位置の第3の例を示す図。The figure which shows the 3rd example of the attachment position of the sensor shown in FIG. 図1に示すセンサの取り付け位置の第4の例を示す図。The figure which shows the 4th example of the attachment position of the sensor shown in FIG. カテーテルからユーザの手が離れているか否かに応じてジェスチャーによる操作機能を切換える例を示す図。The figure which shows the example which switches the operation function by a gesture according to whether a user's hand has left | separated from the catheter. ユーザの手首と肘の高さの関係に基づいてジェスチャーによる操作機能を切換える例を示す図。The figure which shows the example which switches the operation function by a gesture based on the relationship between a user's wrist and elbow height. 図1に示すジェスチャー検知支援システム及びX線診断装置によるジェスチャーによる操作を伴うX線診断の流れの一例を示すフローチャート。The flowchart which shows an example of the flow of the X-ray diagnosis accompanied by operation by the gesture by the gesture detection assistance system and X-ray diagnostic apparatus shown in FIG.

本発明の実施形態に係るX線診断用のジェスチャー検知支援システム、X線診断用のジェスチャー検知支援プログラム及びX線診断装置について添付図面を参照して説明する。   A gesture detection support system for X-ray diagnosis, a gesture detection support program for X-ray diagnosis, and an X-ray diagnosis apparatus according to embodiments of the present invention will be described with reference to the accompanying drawings.

図1は本発明の実施形態に係るX線診断用のジェスチャー検知支援システムを備えたX線診断装置の構成を示す機能ブロック図である。   FIG. 1 is a functional block diagram showing a configuration of an X-ray diagnostic apparatus including a gesture detection support system for X-ray diagnosis according to an embodiment of the present invention.

X線診断装置1は検査室2に設置される。更に、検査室2には、X線診断装置1の付属システム或いはX線診断装置1から独立したシステムとしてジェスチャー検知支援システム3が設けられる。図1に示す例では、X線診断装置1がX線画像収集系4及びジェスチャー検知支援システム3を備えている。尚、図1は主として機能を示す図であり、図1に示す各機器の配置と実際の配置とは必ずしも一致しない。   The X-ray diagnostic apparatus 1 is installed in the examination room 2. Furthermore, the examination room 2 is provided with a gesture detection support system 3 as an accessory system of the X-ray diagnostic apparatus 1 or a system independent of the X-ray diagnostic apparatus 1. In the example shown in FIG. 1, the X-ray diagnostic apparatus 1 includes an X-ray image acquisition system 4 and a gesture detection support system 3. FIG. 1 is a diagram mainly showing functions, and the arrangement of each device shown in FIG. 1 does not necessarily match the actual arrangement.

X線画像収集系4は、被検体OにX線を曝射することによって被検体OのX線診断画像データを収集するX線診断装置1の本体を構成するシステムである。具体的には、X線画像収集系4は、アーム5の両端にX線管6とX線検出器7とを設けて構成される撮影系8、コンソール9、コンソール9の操作情報に従って撮影系8に制御情報を出力する撮影系制御部10、撮影系8によって収集されたX線検出データからX線画像データを生成するデータ処理部11、X線画像データを表示させるためのモニタ12及び被検体Oをセットするための寝台13を有する。   The X-ray image acquisition system 4 is a system that constitutes the main body of the X-ray diagnostic apparatus 1 that collects X-ray diagnostic image data of the subject O by exposing the subject O to X-rays. Specifically, the X-ray image acquisition system 4 includes an X-ray tube 6 and an X-ray detector 7 provided at both ends of the arm 5, an imaging system 8, a console 9, and an operation information of the console 9. 8, an imaging system control unit 10 for outputting control information, a data processing unit 11 for generating X-ray image data from X-ray detection data collected by the imaging system 8, a monitor 12 for displaying X-ray image data, and a target A bed 13 for setting the specimen O is provided.

ジェスチャー検知支援システム3は、X線診断装置1をジェスチャーによって操作するために、ユーザUのジェスチャーを検知するためのシステムである。従って、X線診断装置1のX線画像収集系4は、ジェスチャー検知支援システム3からの操作情報に従ってX線撮影を実行するように構成される。一方、ジェスチャー検知支援システム3は、入力装置14、表示装置15、記憶装置16、検出系17、操作系18及び制御系19を有する。   The gesture detection support system 3 is a system for detecting a gesture of the user U in order to operate the X-ray diagnostic apparatus 1 with a gesture. Therefore, the X-ray image acquisition system 4 of the X-ray diagnostic apparatus 1 is configured to perform X-ray imaging according to operation information from the gesture detection support system 3. On the other hand, the gesture detection support system 3 includes an input device 14, a display device 15, a storage device 16, a detection system 17, an operation system 18, and a control system 19.

ジェスチャー検知支援システム3の構成要素のうち、デジタル情報の処理を実行する構成要素については、コンピュータ20にX線診断用のジェスチャー検知支援プログラムを読込ませることによって構築することができる。従って、ジェスチャー検知支援プログラムはコンピュータ20を、X線診断用のジェスチャー検知支援システム3の一部又は全部として機能させるプログラムであると言うことができる。ジェスチャー検知支援プログラムは、汎用コンピュータをジェスチャー検知支援システム3の少なくとも一部として利用できるように情報記録媒体に記録してプログラムプロダクトとして流通させることもできる。もちろん、情報記録媒体を介さずにネットワーク経由でジェスチャー検知支援プログラムをコンピュータ20にダウンロードすることもできる。   Among the constituent elements of the gesture detection support system 3, the constituent elements that execute digital information processing can be constructed by causing the computer 20 to read a gesture detection support program for X-ray diagnosis. Therefore, it can be said that the gesture detection support program is a program that causes the computer 20 to function as part or all of the gesture detection support system 3 for X-ray diagnosis. The gesture detection support program can be recorded on an information recording medium and distributed as a program product so that a general-purpose computer can be used as at least a part of the gesture detection support system 3. Of course, the gesture detection support program can be downloaded to the computer 20 via a network without using an information recording medium.

但し、ジェスチャー検知支援システム3の構成要素のうち、デジタル情報の処理を実行する構成要素であっても回路を用いて構成することもできる。ここでは、コンピュータ20にジェスチャー検知支援プログラムを読込ませ、かつ必要なハードウェアをコンピュータ20に接続することによってジェスチャー検知支援システム3を構成する場合を例に説明する。   However, among the constituent elements of the gesture detection support system 3, even constituent elements that execute digital information processing can be configured using a circuit. Here, a case where the gesture detection support system 3 is configured by causing the computer 20 to read a gesture detection support program and connecting necessary hardware to the computer 20 will be described as an example.

記憶装置16は、ユーザUのジェスチャーと関連付けられたX線診断装置1の操作内容を記憶する機能を有する。従って、記憶装置16は、ジェスチャー記憶部として機能する。特に、記憶装置16には、検出位置に応じたジェスチャーに対応するX線診断装置1の操作内容を記憶することができる。X線診断装置1が設置される検査室2には様々な医用機器が設置され、これらはジェスチャーの検出に対する障害物となる恐れがある。そこで、障害物を避けることが可能な位置において検出されるジェスチャーとX線診断装置1の操作内容とを対応付けることができる。   The storage device 16 has a function of storing the operation content of the X-ray diagnostic apparatus 1 associated with the gesture of the user U. Accordingly, the storage device 16 functions as a gesture storage unit. In particular, the operation content of the X-ray diagnostic apparatus 1 corresponding to the gesture corresponding to the detection position can be stored in the storage device 16. Various medical devices are installed in the examination room 2 in which the X-ray diagnostic apparatus 1 is installed, and these may be obstacles to gesture detection. Therefore, a gesture detected at a position where an obstacle can be avoided can be associated with the operation content of the X-ray diagnostic apparatus 1.

図2は、前腕のみによるジェスチャーの例を示す図である。   FIG. 2 is a diagram illustrating an example of a gesture using only the forearm.

ジェスチャーは、一般にはユーザUの腕の動きによって作り出されるが、ジェスチャーを行うための腕は、肘を境に肩に近い側の上腕と手を含む前腕とに分けられる。そこで、図2に示すようにユーザUの前腕のみによるジェスチャーと関連付けられたX線診断装置1の操作内容を記憶装置16に保存することができる。これにより、検査室2の天井2A等のユーザUの上方からジェスチャーを検出する場合であっても、ジェスチャーによるX線診断装置1の操作が可能となる。   The gesture is generally created by the movement of the arm of the user U, but the arm for performing the gesture is divided into an upper arm closer to the shoulder with the elbow as a boundary and a forearm including the hand. Therefore, as shown in FIG. 2, the operation content of the X-ray diagnostic apparatus 1 associated with the gesture of only the user U's forearm can be stored in the storage device 16. Accordingly, even when a gesture is detected from above the user U such as the ceiling 2A of the examination room 2, the X-ray diagnostic apparatus 1 can be operated by the gesture.

図3は、肩と手首のみによるジェスチャーの例を示す図である。   FIG. 3 is a diagram illustrating an example of a gesture using only a shoulder and a wrist.

別の例として、ジェスチャーをユーザUの上方から斜め方向に俯瞰する位置で検出する場合には、肘の検出が困難となる。従って、ユーザUの肘を検出しようとすると、ジェスチャーの検出エラーの発生や検出処理負荷の増加に繋がる。そこで、図3に示すように肩と手首とを含み肘を除く部分によるジェスチャーと関連付けられたX線診断装置1の操作内容を記憶装置16に記憶することができる。これにより、肘を省いてジェスチャーを検出することが可能となる。また、ユーザUの腰よりも低い位置についてはジェスチャー検出の対象領域外とすることが好適である。このようなジェスチャーの検出領域の制限によってユーザUの腰よりも高い位置からのジェスチャーを有効に検出することが可能となる。   As another example, when a gesture is detected at a position overlooking the user U in an oblique direction, it is difficult to detect the elbow. Therefore, if an attempt is made to detect the elbow of the user U, a gesture detection error occurs and the detection processing load increases. Therefore, as shown in FIG. 3, the operation content of the X-ray diagnostic apparatus 1 associated with the gesture by the portion including the shoulder and wrist and excluding the elbow can be stored in the storage device 16. Thereby, it becomes possible to detect the gesture without the elbow. Further, it is preferable that the position lower than the waist of the user U is outside the target area for gesture detection. Such a restriction of the gesture detection area makes it possible to effectively detect a gesture from a position higher than the waist of the user U.

実用的な例としては、ユーザUの手首及び肩の2点の位置又は位置変化をジェスチャーとする方法やユーザUの手首と肩を繋ぐ線分の位置又は位置変化をジェスチャーとする方法が挙げられる。この場合、ユーザUの手首及び肩を少なくとも検出すれば、ジェスチャーを特定することができる。尚、実際には、腕全体の検出を行い、手首や肩等のジェスチャー検出に必要な部位以外の検出データを除去するようにしてもよい。   Practical examples include a method that uses the position or position change of the user's U wrist and shoulder as a gesture, and a method that uses the position or position change of a line segment that connects the user U's wrist and shoulder as a gesture. . In this case, the gesture can be specified by detecting at least the wrist and shoulder of the user U. In practice, the entire arm may be detected, and detection data other than those necessary for gesture detection such as wrists and shoulders may be removed.

このように、腕全体によらないジェスチャーをX線診断装置1の操作内容と関連付けて記憶装置16に登録することができる。これにより、腕の一部が検出できないような場合でもジェスチャーによるX線診断装置1の操作を行うことが可能となる。但し、もちろん腕全体によるジェスチャーをX線診断装置1の操作内容と関連付けて記憶装置16に登録することもできる。ジェスチャーと関連付けられるX線診断装置1の操作内容としては、X線画像収集系4の動作に限らずジェスチャー検知支援システム3自体の動作に関する操作内容とすることができる。   In this way, a gesture that does not depend on the entire arm can be registered in the storage device 16 in association with the operation content of the X-ray diagnostic apparatus 1. Thereby, even when a part of the arm cannot be detected, it is possible to operate the X-ray diagnostic apparatus 1 by a gesture. However, of course, the gesture by the entire arm can be registered in the storage device 16 in association with the operation content of the X-ray diagnostic apparatus 1. The operation content of the X-ray diagnostic apparatus 1 associated with the gesture is not limited to the operation of the X-ray image acquisition system 4 and can be the operation content related to the operation of the gesture detection support system 3 itself.

検出系17は、ユーザUのジェスチャーを検出する機能と、ジェスチャーの検出結果を操作系18に与える機能とを有する。そのために、検出系17には、ジェスチャーを検出するための少なくとも1つのセンサ17A及びセンサ17Aからの出力に基づいてジェスチャーを検出する検出部17Bが設けられる。図示された例では、検出部17Bがコンピュータ20の機能として検出系17に設けられている。   The detection system 17 has a function of detecting a gesture of the user U and a function of giving a gesture detection result to the operation system 18. For this purpose, the detection system 17 is provided with at least one sensor 17A for detecting a gesture and a detection unit 17B for detecting a gesture based on an output from the sensor 17A. In the illustrated example, the detection unit 17 </ b> B is provided in the detection system 17 as a function of the computer 20.

従って、検出系17は、センサ17Aからの出力に基づいて検出部17BによりユーザUのジェスチャーを検出するように構成される。上述したように記憶装置16には、前腕のみによるジェスチャー又は肩と手首とを含み肘を除く部分によるジェスチャーが登録可能である。従って、検出系17は、センサ17Aからの出力に基づいてユーザUの前腕のみによるジェスチャー又は肩と手首とを含み肘を除く部分によるジェスチャーを検出できるように構成される。   Therefore, the detection system 17 is configured to detect the gesture of the user U by the detection unit 17B based on the output from the sensor 17A. As described above, in the storage device 16, a gesture by only the forearm or a gesture by a portion including the shoulder and wrist and excluding the elbow can be registered. Therefore, the detection system 17 is configured to detect a gesture by only the forearm of the user U or a gesture by a portion excluding the elbow including the shoulder and wrist based on the output from the sensor 17A.

各センサ17Aには、それぞれセンサ17Aを所定の位置に取付けるための取付け器具17Cが設けられる。センサ17Aは、検査室2内において障害物を避けてユーザUのジェスチャーやユーザUの候補を検出することが可能な適切な位置に設置されることが望ましい。従って、検査室2内の所定の高さよりも高い天井2Aや壁面等の位置又は所定の高さよりも高い位置に設けられる機器にセンサ17Aを取付けるための取付け器具17Cが検出系17に設けられる。   Each sensor 17A is provided with an attachment 17C for attaching the sensor 17A to a predetermined position. It is desirable that the sensor 17A be installed at an appropriate position in the examination room 2 so as to avoid an obstacle and detect the user U's gesture and the user U's candidate. Accordingly, the detection system 17 is provided with an attachment 17C for attaching the sensor 17A to a device provided at a position such as the ceiling 2A or the wall surface higher than a predetermined height in the examination room 2 or a position higher than the predetermined height.

また、センサ17Aには、検出方向を示すためにレーザの照射機能を設けることができる。すなわち、レーザ光源17Dをセンサ17Aに設けることができる。この場合、レーザ光源17Dの動作の切換えを行うためのスイッチ17Eを操作することによって、センサ17A側から検出方向に向けてレーザを照射することができる。レーザが照射されると、検出方向に存在する障害物に反射して輝点が生じる。このため、ユーザUは、センサ17Aの検出方向を把握し、センサ17Aの検出方向を意識したジェスチャーを行うことができる。   The sensor 17A can be provided with a laser irradiation function to indicate the detection direction. That is, the laser light source 17D can be provided in the sensor 17A. In this case, by operating the switch 17E for switching the operation of the laser light source 17D, the laser can be emitted from the sensor 17A side toward the detection direction. When the laser is irradiated, a bright spot is generated by reflection on an obstacle existing in the detection direction. For this reason, the user U can grasp the detection direction of the sensor 17A and can perform a gesture conscious of the detection direction of the sensor 17A.

更に、検出系17には、必要に応じてセンサ17Aの位置を移動させるための移動機構17F、センサ17Aの向きを変えるための移動機構17G及び各移動機構17F、17Gを制御する制御部17Hを設けることができる。尚、センサ17Aの位置を移動させるための移動機構17Fとセンサ17Aの向きを変えるための移動機構17Gは、共通にしてもよい。制御部17Hについては、図示されるようにコンピュータ20の機能として検出系17に設けることができる。   Further, the detection system 17 includes a moving mechanism 17F for moving the position of the sensor 17A as necessary, a moving mechanism 17G for changing the direction of the sensor 17A, and a control unit 17H for controlling the moving mechanisms 17F and 17G. Can be provided. The moving mechanism 17F for moving the position of the sensor 17A and the moving mechanism 17G for changing the direction of the sensor 17A may be shared. The controller 17H can be provided in the detection system 17 as a function of the computer 20 as shown.

移動機構17F、17Gが検出系17に設けられる場合には、センサ17AとユーザUとの相対的な位置関係が変わり得る。そこで、制御部17Hは、センサ17Aの位置及び向きの少なくとも一方が、適切となるように移動機構17F、17Gを制御するように構成される。   When the moving mechanisms 17F and 17G are provided in the detection system 17, the relative positional relationship between the sensor 17A and the user U can change. Therefore, the control unit 17H is configured to control the movement mechanisms 17F and 17G so that at least one of the position and orientation of the sensor 17A is appropriate.

加えて、検査室2には、複数の医師や技師等の関係者が存在する。各関係者は、交代でジェスチャー検知支援システム3のユーザUとなり得る。従って、センサ17Aの視野内には、複数のユーザUの候補が存在する場合がある。そこで、検出系17は、センサ17Aからの出力に基づいて複数のユーザUの候補からジェスチャーを検出すべきユーザUを特定し、特定されたユーザUのジェスチャーを同一又は他のセンサ17Aからの出力に基づいて検出できるように構成される。   In addition, in the examination room 2, there are a plurality of related persons such as doctors and engineers. Each person concerned can become user U of gesture detection support system 3 by turns. Accordingly, there may be a plurality of candidates for the user U within the field of view of the sensor 17A. Therefore, the detection system 17 specifies the user U whose gesture is to be detected from a plurality of user U candidates based on the output from the sensor 17A, and outputs the specified user U's gesture from the same or another sensor 17A. It is comprised so that it can detect based on.

この場合、ユーザUを特定するための情報を取得するための第1のセンサと、ジェスチャーを検出するための第2のセンサとを個別に検出系17に設けることもできる。従って、検出系17のセンサ17Aとしては、ジェスチャーの検出方式に応じた深度センサ、光学カメラ又は赤外線カメラ等の任意の第1のセンサに加え、複数のユーザUの候補を認識するための光学カメラ又は赤外線カメラ等の第2のセンサが用いられる。   In this case, a first sensor for acquiring information for specifying the user U and a second sensor for detecting a gesture may be provided in the detection system 17 individually. Therefore, as the sensor 17A of the detection system 17, in addition to an arbitrary first sensor such as a depth sensor, an optical camera, or an infrared camera according to the gesture detection method, an optical camera for recognizing a plurality of user U candidates. Alternatively, a second sensor such as an infrared camera is used.

但し、ジェスチャーの検出用のセンサと複数のユーザUの候補を認識するためのセンサとが同種のセンサであれば共通にすることができる。或いは、ジェスチャーの検出及び複数のユーザUの候補の検出の双方について複数のセンサを組合わせて使用するようにしてもよい。図1に示す例では、ジェスチャーの検出用の第1のセンサとして赤外線カメラが設けられ、ユーザU特定用の第2のセンサとして光学カメラが設けられている。   However, if the sensor for detecting a gesture and the sensor for recognizing a plurality of user U candidates are of the same type, they can be made common. Alternatively, a plurality of sensors may be used in combination for both detection of a gesture and detection of a plurality of user U candidates. In the example shown in FIG. 1, an infrared camera is provided as a first sensor for detecting a gesture, and an optical camera is provided as a second sensor for specifying the user U.

一方、複数のユーザUの候補からジェスチャーの検出対象となるユーザUを選択する処理は、ジェスチャーの検出部17Bにおいて実行することができる。複数のユーザUの候補からユーザUを特定するための条件としては、センサ17Aの設置位置やセンサ17Aの種類に応じて適切な条件を設定することができる。   On the other hand, the process of selecting a user U as a gesture detection target from a plurality of user U candidates can be executed by the gesture detection unit 17B. As a condition for specifying the user U from a plurality of user U candidates, an appropriate condition can be set according to the installation position of the sensor 17A and the type of the sensor 17A.

具体例として、検出系17においてカテーテルを検出できる場合には、センサ17Aからの出力に基づいて、カテーテルを最後に保持していたと判定されるユーザUをジェスチャーの検出対象に決定することができる。   As a specific example, when the catheter can be detected by the detection system 17, the user U determined to have held the catheter last can be determined as a gesture detection target based on the output from the sensor 17A.

カテーテルはワイヤ状であり、赤外線カメラのみでもジェスチャーとカテーテルの双方を検出することができる。具体的には、赤外線カメラで撮影された赤外線画像データに対するエッジ検出処理によって線状物としてカテーテルを検出することができる。尚、カテーテルを画像処理によって容易に検出できるようにカテーテル全体を線状のマーカとしてもよい。   The catheter is wire-shaped, and both gestures and catheters can be detected using only an infrared camera. Specifically, a catheter can be detected as a linear object by edge detection processing on infrared image data captured by an infrared camera. The entire catheter may be a linear marker so that the catheter can be easily detected by image processing.

但し、光学カメラと赤外線カメラとを近接させて設置し、ジェスチャー及びカテーテルの双方を検出できるようにすることが好適である。この場合、検出部17Bでは、赤外線カメラで撮影された赤外線画像データと光学カメラで撮影された光学画像データとのマッチングによってユーザUの手によってカテーテルが握られているか否かを判定することできる。従って、光学カメラを用いれば、カテーテルの検出精度を向上させることができる。カテーテルが検出できれば、カテーテルを保持しているユーザU又はカテーテルに最も近いユーザUを、ジェスチャーの検出対象として検出部17Bにおいて自動判定することができる。   However, it is preferable to install the optical camera and the infrared camera close to each other so that both the gesture and the catheter can be detected. In this case, the detection unit 17B can determine whether or not the catheter is held by the user U's hand by matching the infrared image data captured by the infrared camera with the optical image data captured by the optical camera. Therefore, if an optical camera is used, the detection accuracy of the catheter can be improved. If the catheter can be detected, the user U holding the catheter or the user U closest to the catheter can be automatically determined by the detection unit 17B as a gesture detection target.

別のユーザUの特定方法として、モニタ12の正面にいると判定されるユーザU又はX線診断装置1を操作するためのコンソール9の前にいると判定されるユーザUを、ジェスチャーを検出すべきユーザUとして特定する方法が挙げられる。この場合、検出部17Bでは、モニタ12又はコンソール9とユーザUとの相対的な位置関係に応じてモニタ12又はコンソール9の正面にいるユーザUを特定する処理が実行される。   As another method for identifying the user U, a gesture is detected for the user U determined to be in front of the monitor 12 or the user U determined to be in front of the console 9 for operating the X-ray diagnostic apparatus 1. A method for identifying the user U to be used is mentioned. In this case, in the detection part 17B, the process which specifies the user U in front of the monitor 12 or the console 9 according to the relative positional relationship between the monitor 12 or the console 9 and the user U is executed.

また、複数の条件を組合わせてユーザUの特定処理を実行することもできる。この場合、単に複数の条件が満たされたユーザUをジェスチャーの検出対象とする方法に限らず、条件ごとに優先度を設定して択一的に選択された条件を基準とする方法によってユーザUを特定することもできる。また、複数の条件のうちの1つの条件が満たされる度に優先順位を上げるようにし、最も優先順位が高いユーザUをジェスチャーの検出対象とすることもできる。   Also, the user U specifying process can be executed by combining a plurality of conditions. In this case, the user U is not limited to a method in which a user U that satisfies a plurality of conditions is simply set as a gesture detection target, but a method based on a condition that is alternatively selected by setting a priority for each condition. Can also be specified. In addition, the priority may be raised every time one of the plurality of conditions is satisfied, and the user U having the highest priority may be set as a gesture detection target.

そして、このようなユーザU特定についての自動判定処理によって、ユーザUを特定するためのジェスチャーを省略することができる。但し、ユーザUの特定をジェスチャーによって実行できるようにすることも可能である。   And the gesture for specifying the user U can be abbreviate | omitted by the automatic determination process about such user U specification. However, the user U can be specified by a gesture.

一旦、ジェスチャーの検出対象として特定されたユーザUは、制御部17Hによる移動機構17F、17Gの制御によってセンサ17Aで常に検出できるように追跡することができる。具体的には、ジェスチャーの検出対象となるユーザUの特定情報とともにユーザUの空間的な位置情報が検出部17Bから移動機構17F、17Gの制御部17Hに与えられる。そして、制御部17Hは、特定されたユーザUがセンサ17Aの視野内となるようにユーザUの位置情報に基づいて移動機構17F、17Gをフィードバック制御する。これによりユーザUの自動追跡によるジェスチャーの継続的な検出が可能となる。   The user U once identified as a gesture detection target can be tracked so that it can always be detected by the sensor 17A under the control of the moving mechanisms 17F and 17G by the control unit 17H. Specifically, the spatial position information of the user U is given from the detection unit 17B to the control unit 17H of the movement mechanisms 17F and 17G together with the identification information of the user U to be detected by the gesture. And the control part 17H feedback-controls the moving mechanisms 17F and 17G based on the positional infomation on the user U so that the specified user U may become in the visual field of the sensor 17A. Thereby, the continuous detection of the gesture by the automatic tracking of the user U is attained.

移動機構17F、17Gの制御は、このような検出部17Bからの検出情報に限らず、他の情報に基づいて実行することもできる。   The control of the moving mechanisms 17F and 17G is not limited to the detection information from the detection unit 17B, and can be executed based on other information.

具体例としてジャイロセンサ(角速度センサ)からの検出信号を入力信号として移動機構17F、17Gを制御する方法が挙げられる。センサ17A又は移動機構17F、17Gにジャイロセンサを取付けると、センサ17A又は移動機構17F、17Gの角度又は角速度を把握することが可能となる。そこで、ジャイロセンサからの検出信号に基づいてセンサ17A又は移動機構17F、17Gが特定の角度となるように、移動機構17F、17Gを制御することができる。   A specific example is a method of controlling the moving mechanisms 17F and 17G using a detection signal from a gyro sensor (angular velocity sensor) as an input signal. When a gyro sensor is attached to the sensor 17A or the moving mechanism 17F, 17G, it becomes possible to grasp the angle or angular velocity of the sensor 17A or the moving mechanism 17F, 17G. Therefore, the movement mechanisms 17F and 17G can be controlled based on the detection signal from the gyro sensor so that the sensor 17A or the movement mechanisms 17F and 17G have a specific angle.

また、センサ17Aの位置及び向きをジェスチャー検知支援システム3の入力装置14の操作によってプリセットすることもできる。センサ17Aの位置及び向きをプリセットすれば、ジェスチャー検出に先だって自動的にセンサ17Aの位置決めを行うことが可能となる。センサ17Aの位置及び向きのプリセット方法の具体例としては、手技内容に応じてセンサ17Aの位置及び向きをプリセットする方法が挙げられる。すなわち、手技内容に応じたセンサ17Aの位置及び向きのテーブルを制御部17Hに準備しておくことができる。   The position and orientation of the sensor 17A can also be preset by operating the input device 14 of the gesture detection support system 3. If the position and orientation of the sensor 17A are preset, the sensor 17A can be automatically positioned prior to gesture detection. A specific example of the method for presetting the position and orientation of the sensor 17A includes a method for presetting the position and orientation of the sensor 17A according to the procedure contents. That is, a table of the position and orientation of the sensor 17A corresponding to the procedure content can be prepared in the control unit 17H.

ジェスチャー検出の際における手技内容の特定方法については、入力装置14の操作によって制御部17Hに手技内容を通知する方法の他、他の条件と手技内容とを関連付ける方法が挙げられる。   As a method for specifying the technique content at the time of gesture detection, there is a method for associating other conditions with the technique content in addition to a method of notifying the control part 17H of the technique contents by operating the input device 14.

具体例として、X線診断装置1を制御するための検査プロトコル、X線診断に使用されるアプリケーションソフトウェア或いは撮影系8の配置と手技内容とを関連付けることができる。そして、手技内容に対応する検査プロトコルが選択された場合、手技内容に対応するアプリケーションソフトウェアが起動された場合、撮影系8が手技内容に対応する位置に位置決めされた場合を制御部17Hが検出し、検出結果に応じて自動的に手技内容に応じた適切な位置及び向きにセンサ17Aが位置決めされるように移動機構17F、17Gを制御することができる。これにより、手技内容に応じたセンサ17Aの自動位置決めが可能となる。   As a specific example, an examination protocol for controlling the X-ray diagnostic apparatus 1, application software used for X-ray diagnosis, or the arrangement of the imaging system 8 can be associated with the procedure contents. Then, when an inspection protocol corresponding to the procedure content is selected, when the application software corresponding to the procedure content is activated, the control unit 17H detects when the imaging system 8 is positioned at a position corresponding to the procedure content. The movement mechanisms 17F and 17G can be controlled so that the sensor 17A is automatically positioned at an appropriate position and orientation according to the procedure content according to the detection result. Thereby, automatic positioning of the sensor 17A according to the procedure content becomes possible.

尚、制御部17Hにおいて手技内容の特定処理のために必要となる検査プロトコルの選択情報、アプリケーションソフトウェアの起動情報及び撮影系8の位置情報については、X線診断装置1の撮影系制御部10から移動機構17F、17Gの制御部17Hに通知されるように構成することができる。   Note that the inspection protocol selection information, the application software activation information, and the position information of the imaging system 8 necessary for the procedure content specifying process in the control unit 17H are obtained from the imaging system control unit 10 of the X-ray diagnostic apparatus 1. It can be configured to be notified to the control unit 17H of the moving mechanisms 17F and 17G.

センサ17Aの位置は、このような移動機構17F、17Gの自動制御又は半自動制御の他、移動機構17F、17Gの手動制御によって調整することができる。センサ17Aの位置を手動で調整する場合には、入力装置14の操作又はジェスチャーによって移動機構17F、17Gの制御を行うことができる。ジェスチャーにより移動機構17F、17Gを制御する場合には、予めジェスチャーと移動機構17F、17Gの駆動内容とを関連付けて記憶装置16に登録すればよい。この場合、制御部17Hは、検出部17Bにおいて検出されたジェスチャーに対応する移動機構17F、17Gの駆動内容に従って移動機構17F、17Gを制御することとなる。一方、入力装置14から制御部17Hに移動機構17F、17Gの駆動内容を指示することによってマニュアルで移動機構17F、17Gを制御することが可能である。これによりセンサ17Aのマニュアル操作が可能となる。   The position of the sensor 17A can be adjusted by manual control of the moving mechanisms 17F and 17G in addition to such automatic control or semi-automatic control of the moving mechanisms 17F and 17G. When manually adjusting the position of the sensor 17A, the movement mechanisms 17F and 17G can be controlled by an operation or gesture of the input device 14. When the movement mechanisms 17F and 17G are controlled by a gesture, the gesture and the driving contents of the movement mechanisms 17F and 17G may be associated with each other and registered in the storage device 16 in advance. In this case, the control unit 17H controls the moving mechanisms 17F and 17G according to the driving contents of the moving mechanisms 17F and 17G corresponding to the gesture detected by the detecting unit 17B. On the other hand, it is possible to manually control the moving mechanisms 17F and 17G by instructing the drive unit 17F and 17G from the input device 14 to the control unit 17H. This allows manual operation of the sensor 17A.

次に、センサ17Aの配置例及びセンサ17Aの位置に応じた検出系17の機能と構成について説明する。尚、以降においてセンサ17Aが1つ設置される例を示すがジェスチャーの検出用の第1のセンサに加えてユーザU特定用の第2のセンサが設けられる場合には、ユーザUの特定方法に応じて第2のセンサを第1のセンサと同等な位置又は別の適切な位置に設けることができる。   Next, the function and configuration of the detection system 17 according to the arrangement example of the sensor 17A and the position of the sensor 17A will be described. In the following, an example in which one sensor 17A is installed will be described. However, when a second sensor for specifying the user U is provided in addition to the first sensor for detecting a gesture, the user U specifying method is used. Accordingly, the second sensor can be provided at the same position as the first sensor or at another appropriate position.

図4は、図1に示すセンサ17Aの取り付け位置の第1の例を示す図である。   FIG. 4 is a diagram showing a first example of the attachment position of the sensor 17A shown in FIG.

図4に示すように、X線診断装置1のX線管6及びX線検出器7を駆動させるためのアーム5に沿ってセンサ17Aを移動可能に設置することができる。この場合、アーム5に取付けるための取付け器具17Cがセンサ17Aに設けられる。また、X線診断装置1の撮影系8を駆動させるためのアーム5に沿ってセンサ17Aを移動させるための移動機構17F、17Gがアーム5に設けられる。取付け器具17C及び移動機構17F、17Gの構造は任意であるが、例えば、C型アームをレールとして移動する移動機構17F、17Gに固定金具等の取付け器具17Cでセンサ17Aを取り付けることができる。   As shown in FIG. 4, the sensor 17 </ b> A can be movably installed along the arm 5 for driving the X-ray tube 6 and the X-ray detector 7 of the X-ray diagnostic apparatus 1. In this case, an attachment 17C for attachment to the arm 5 is provided on the sensor 17A. Further, the arm 5 is provided with moving mechanisms 17F and 17G for moving the sensor 17A along the arm 5 for driving the imaging system 8 of the X-ray diagnostic apparatus 1. The structures of the attachment device 17C and the movement mechanisms 17F and 17G are arbitrary. For example, the sensor 17A can be attached to the movement mechanisms 17F and 17G that move using the C-arm as a rail with the attachment device 17C such as a fixing bracket.

この場合、センサ17Aがレールに沿って移動するため、ユーザUを俯瞰できる位置にセンサ17Aを配置することができる。また、センサ17AとユーザUとの間に障害物となり得る機器がなく、かつレールに沿ってセンサ17Aの位置を容易に調整できるため、確実にユーザUをセンサ17Aの視野内とすることができる。   In this case, since the sensor 17A moves along the rail, the sensor 17A can be disposed at a position where the user U can be seen from above. In addition, since there is no device that can be an obstacle between the sensor 17A and the user U and the position of the sensor 17A can be easily adjusted along the rail, the user U can be surely placed within the field of view of the sensor 17A. .

更に、センサ17Aによって少なくともユーザUの前腕部を確実に検出することができる。従って、前腕部を左右に動かすジェスチャーを記憶装置16に登録しておくことにより、ジェスチャーの検出エラーを防止することができる。また、ユーザUが腕を上げて行うジェスチャーのように、手技の妨げになるような負担の大きいジェスチャーを回避することができる。   Furthermore, at least the forearm of the user U can be reliably detected by the sensor 17A. Therefore, by registering a gesture for moving the forearm portion to the left and right in the storage device 16, a gesture detection error can be prevented. In addition, such a gesture that impedes the procedure, such as a gesture performed by the user U raising his arm, can be avoided.

図5は、図1に示すセンサ17Aの取り付け位置の第2の例を示す図である。   FIG. 5 is a diagram showing a second example of the attachment position of the sensor 17A shown in FIG.

図5に示すように、点滴台30にセンサ17Aを取り付けることもできる。この場合、点滴台30に取付けるための固定金具等の取付け器具17Cがセンサ17Aに設けられる。尚、点滴台30に限らず、造影剤のインジェクタ等のユーザUの近傍に設けられる機器にセンサ17Aを取り付けることができる。この場合、センサ17Aの位置がユーザUの近傍となり、かつセンサ17AとユーザUとの間に障害物となり得る機器がないため、ユーザUのジェスチャーを良好に検出することが可能となる。   As shown in FIG. 5, the sensor 17 </ b> A can be attached to the drip stand 30. In this case, the sensor 17A is provided with a fixture 17C such as a fixing bracket for mounting on the drip stand 30. The sensor 17 </ b> A can be attached not only to the drip base 30 but also to a device provided in the vicinity of the user U such as a contrast medium injector. In this case, since the position of the sensor 17A is in the vicinity of the user U and there is no device that can be an obstacle between the sensor 17A and the user U, the gesture of the user U can be detected well.

図6は、図1に示すセンサ17Aの取り付け位置の第3の例を示す図である。   FIG. 6 is a diagram showing a third example of the attachment position of the sensor 17A shown in FIG.

図6に示すように、X線診断装置1によって撮影されたX線画像データを表示させるためのFPD (flat panel display)等のモニタ12の縁に沿ってセンサ17Aを移動可能に設置することもできる。この場合、モニタ12に取付けるための取付け器具17Cがセンサ17Aに設けられる。また、モニタ12の縁に沿ってセンサ17Aを移動させるための移動機構17F、17Gが設けられる。取付け器具17C及び移動機構17F、17Gの構造は任意であるが、例えば、図示されるようにモニタ12の縁をレールとして移動する取付け器具17Cを兼ねた移動機構17F、17Gに固定金具等でセンサ17Aを取り付けることができる。   As shown in FIG. 6, the sensor 17 </ b> A may be movably installed along an edge of a monitor 12 such as an FPD (flat panel display) for displaying X-ray image data taken by the X-ray diagnostic apparatus 1. it can. In this case, an attachment 17C for attachment to the monitor 12 is provided on the sensor 17A. Further, moving mechanisms 17F and 17G for moving the sensor 17A along the edge of the monitor 12 are provided. The structure of the mounting device 17C and the moving mechanisms 17F, 17G is arbitrary. For example, as shown in the drawing, the moving mechanism 17F, 17G that also serves as the mounting device 17C that moves using the edge of the monitor 12 as a rail is connected to the moving mechanism 17F, 17G with a fixing bracket or the like. 17A can be attached.

モニタ12は、通常、ユーザUの側面側の近傍に設置される。従って、モニタ12とセンサ17Aとの間には障害物がない。しかも、移動機構17F、17Gの駆動によってセンサ17Aの位置をモニタ12の縁に沿って平行移動させることができる。このため、障害物のない適切な位置からユーザUのジェスチャーを検出することができる。   The monitor 12 is normally installed in the vicinity of the side surface of the user U. Therefore, there is no obstacle between the monitor 12 and the sensor 17A. In addition, the position of the sensor 17A can be translated along the edge of the monitor 12 by driving the moving mechanisms 17F and 17G. For this reason, the gesture of the user U can be detected from an appropriate position without an obstacle.

尚、X線ライブ像用のモニタ等の大画面のモニタ12は、モニタ12を設置するためのモニタ台自体が移動可能な場合がある。そこで、モニタ12の位置に応じてセンサ17Aの位置を調整するようにしてもよい。   Note that there is a case where the monitor base itself for installing the monitor 12 is movable on the monitor 12 having a large screen such as a monitor for an X-ray live image. Therefore, the position of the sensor 17A may be adjusted according to the position of the monitor 12.

更に、センサ17Aの向きを変えられるように、移動機構17Gとしてセンサ17Aの首振り機能を設けることもできる。この場合、センサ17Aの平行移動に加え、回転移動が可能となる。このため、センサ17Aの位置及び向きの調整によってユーザUを常にセンサ17Aの視野内にすることができる。   Furthermore, the swinging function of the sensor 17A can be provided as the moving mechanism 17G so that the direction of the sensor 17A can be changed. In this case, rotational movement is possible in addition to the parallel movement of the sensor 17A. For this reason, the user U can always be within the visual field of the sensor 17A by adjusting the position and orientation of the sensor 17A.

尚、センサ17Aの首振り機能を有する移動機構17Gは、モニタ12に限らず、アーム5等の様々な対象に設けることができる。センサ17Aの位置及び向きを調整するための移動機構17F、17Gの制御は、制御部17Hにより実行される。移動機構17F、17Gの制御は、任意のアルゴリズムに従って実行することができる。また、制御部17Hが検出部17Bにおける処理結果を参照して移動機構17F、17Gの制御を実行できるようにしてもよい。   The moving mechanism 17G having the swing function of the sensor 17A can be provided not only on the monitor 12 but also on various objects such as the arm 5. Control of the moving mechanisms 17F and 17G for adjusting the position and orientation of the sensor 17A is executed by the control unit 17H. Control of the moving mechanisms 17F and 17G can be executed according to an arbitrary algorithm. Further, the control unit 17H may be configured to execute control of the moving mechanisms 17F and 17G with reference to a processing result in the detection unit 17B.

例えば、上述したように検出部17Bにおいて光学カメラ等のセンサ17Aにより撮影された画像データから静止中又は動いているユーザUをマーカ検出やエッジ検出等の任意の画像処理によって検出し、検出したユーザUをセンサ17Aで追跡するように制御部17Hが移動機構17F、17Gを制御することができる。   For example, as described above, the detecting unit 17B detects the stationary or moving user U from the image data captured by the sensor 17A such as an optical camera by any image processing such as marker detection or edge detection, and the detected user The control unit 17H can control the moving mechanisms 17F and 17G so that U is tracked by the sensor 17A.

或いは、アーム5や大画面モニタのようにセンサ17A及び移動機構17F、17Gの取付け対象となる機器が移動する場合には、取付け対象となる機器の位置情報を制御部17Hが取得し、取付け対象となる機器の移動量がキャンセルされるように移動機構17F、17Gを制御することができる。これにより、センサ17Aの取付け対象となる機器が移動しても、センサ17Aの位置を一定に保つことができる。尚、移動し得るセンサ17Aの取付け対象の例としては、上述したように撮影系8を移動させるアーム5やライブ像用の大画面モニタが挙げられる。   Alternatively, when the device to which the sensor 17A and the moving mechanisms 17F and 17G are attached moves, such as the arm 5 or the large screen monitor, the control unit 17H acquires the position information of the device to be attached, and The moving mechanisms 17F and 17G can be controlled so that the amount of movement of the device to be canceled is cancelled. Thereby, even if the device to which the sensor 17A is attached moves, the position of the sensor 17A can be kept constant. Note that examples of attachment targets of the movable sensor 17A include the arm 5 for moving the photographing system 8 and a large screen monitor for live images as described above.

この他、上述したようにセンサ17Aの位置及び向きが手技内容に応じてプリセットされた位置及び向きとなるように制御部17Hが移動機構17F、17Gを制御することもできる。制御部17Hによる移動機構17F、17Gの制御条件は、上述のような複数の条件を組合わせて択一的に或いは優先順位を設けて決定することもできる。   In addition, as described above, the control unit 17H can control the movement mechanisms 17F and 17G so that the position and orientation of the sensor 17A are preset according to the procedure contents. The control conditions of the moving mechanisms 17F and 17G by the control unit 17H can be determined alternatively or in combination with a plurality of conditions as described above.

従って、制御部17Hは、センサ17Aの位置及び向きの少なくとも一方が、センサ17Aの位置、ユーザUの位置、アーム5の位置、モニタ12の位置及びX線診断における手技内容の少なくとも1つに応じて適切となるように移動機構17F、17Gを制御するように構成することができる。特に、制御部17Hは、アーム5又はモニタ12に対する相対位置に基づいて複数のユーザUから選択されたユーザUのジェスチャーを検出できるように移動機構17F、17Gを制御するように構成することもできる。   Therefore, the control unit 17H determines that at least one of the position and orientation of the sensor 17A depends on at least one of the position of the sensor 17A, the position of the user U, the position of the arm 5, the position of the monitor 12, and the procedure contents in the X-ray diagnosis. The moving mechanisms 17F and 17G can be configured to be appropriate. In particular, the control unit 17H can be configured to control the movement mechanisms 17F and 17G so that the gestures of the user U selected from the plurality of users U can be detected based on the relative positions with respect to the arm 5 or the monitor 12. .

図7は図1に示すセンサ17Aの取り付け位置の第4の例を示す図である。   FIG. 7 is a diagram showing a fourth example of the attachment position of the sensor 17A shown in FIG.

図7に示すように、X線診断装置1が設置される検査室2の天井2Aにセンサ17Aを取り付けることもできる。この場合、検査室2の天井2Aに取付けるための固定金具等の取付け器具17Cがセンサ17Aに設けられる。もちろん、天井2Aにレールを固定して移動機構17F、17Gによってセンサ17Aを移動できるようにしてもよい。   As shown in FIG. 7, a sensor 17A can be attached to the ceiling 2A of the examination room 2 where the X-ray diagnostic apparatus 1 is installed. In this case, the sensor 17A is provided with a fixture 17C such as a fixture for attaching to the ceiling 2A of the examination room 2. Of course, the rail 17A may be fixed to the ceiling 2A so that the sensor 17A can be moved by the moving mechanisms 17F and 17G.

センサ17Aを天井2Aに取付けると、図2に示すようにユーザUの真上からジェスチャーを検出することが可能となる。このため、障害物を避けつつ、前腕のみのジェスチャーを好適に検出することができる。従って、ユーザUが腕を上げる動作を回避することができる。特に、センサ17Aを天井2Aに設ければセンサ17AがユーザUの前腕部分に正対する。従って、ユーザUを斜め方向から俯瞰するモニタ12等の位置にセンサ17Aを設ける場合に比べて前腕部の動きの検出精度を向上させることができる。   When the sensor 17A is attached to the ceiling 2A, it is possible to detect a gesture from directly above the user U as shown in FIG. For this reason, the gesture of only the forearm can be suitably detected while avoiding the obstacle. Therefore, it is possible to avoid the user U raising his arm. In particular, if the sensor 17A is provided on the ceiling 2A, the sensor 17A faces the forearm portion of the user U. Therefore, the detection accuracy of the forearm motion can be improved as compared with the case where the sensor 17A is provided at a position such as the monitor 12 overlooking the user U from an oblique direction.

但し、図7に示すようにモニタ12にもセンサ17Aを設け、モニタ12側のセンサ17Aからは肩と手首とを含み肘を除く部分によるジェスチャーを検出するようにしてもよい。これにより、ユーザUの立ち位置に依らず、ジェスチャーの検出精度を向上させることができる。   However, as shown in FIG. 7, the monitor 12 may also be provided with a sensor 17A, and the sensor 17A on the monitor 12 side may detect a gesture by a portion including the shoulder and wrist and excluding the elbow. Thereby, the detection accuracy of a gesture can be improved regardless of the standing position of the user U.

上述の例の他、センサ17Aは検査室2内における様々な箇所に取付けることができる。例えば、ユーザU近傍のX線防護板にセンサ17Aを取り付ければ、障害物を回避することができる。   In addition to the example described above, the sensor 17 </ b> A can be attached to various locations in the examination room 2. For example, if the sensor 17A is attached to the X-ray protective plate near the user U, an obstacle can be avoided.

次に、ジェスチャー検知支援システム3の他の構成要素の機能について説明する。   Next, functions of other components of the gesture detection support system 3 will be described.

操作系18は、検出系17によるジェスチャーの検出結果に基づいてX線診断装置1に操作情報を出力する機能を有する。より具体的には、操作系18は、ジェスチャーの検出結果に基づいて、X線診断装置1の対応する操作内容を記憶装置16から取得し、取得した操作内容に基づいてX線診断装置1に操作情報を出力するように構成される。   The operation system 18 has a function of outputting operation information to the X-ray diagnostic apparatus 1 based on the gesture detection result by the detection system 17. More specifically, the operation system 18 acquires the corresponding operation content of the X-ray diagnostic apparatus 1 from the storage device 16 based on the gesture detection result, and stores the operation content in the X-ray diagnostic apparatus 1 based on the acquired operation content. It is configured to output operation information.

また、ジェスチャーとセンサ17Aの移動機構17F、17Gの制御内容とが関連付けられている場合もある。その場合には、操作系18は、ジェスチャーの検出結果に基づいて、対応する移動機構17F、17Gの操作内容を記憶装置16から取得し、取得した操作内容に基づいて移動機構17F、17Gの制御部17Hに制御情報を出力するように構成される。   In some cases, the gesture and the control contents of the movement mechanisms 17F and 17G of the sensor 17A are associated with each other. In this case, the operation system 18 acquires the operation contents of the corresponding movement mechanisms 17F and 17G from the storage device 16 based on the gesture detection result, and controls the movement mechanisms 17F and 17G based on the acquired operation contents. It is comprised so that control information may be output to the part 17H.

制御系19は、ジェスチャー検知支援システム3の各構成要素を制御する機能を有する。例えば、ジェスチャーの検出が適切でない条件が検出された場合には、制御系19が検出系17及び操作系18の少なくとも一方の処理を停止させるように構成される。これにより、ジェスチャーの検出エラーを防止することができる。   The control system 19 has a function of controlling each component of the gesture detection support system 3. For example, when a condition in which gesture detection is not appropriate is detected, the control system 19 is configured to stop at least one of the detection system 17 and the operation system 18. Thereby, a gesture detection error can be prevented.

ジェスチャーの検出が適切でない場合として代表的なのはユーザUが手技を行っている場合である。そこで、手技を行っていることを示す任意の条件をジェスチャーの検出が適切でない場合として定義することができる。   A typical case where gesture detection is not appropriate is when the user U is performing a procedure. Therefore, an arbitrary condition indicating that a procedure is being performed can be defined as a case where gesture detection is not appropriate.

具体例として、ユーザUがカテーテルを操作していれば、手技の最中と判定することができる。一方、ユーザUがジェスチャーによってX線診断装置1を操作しようとする場合には、カテーテルからユーザUの手が離れることとなる。そこで、深度センサや光学カメラをセンサ17Aとして上述したようにカテーテルを検出し、カテーテルから手が離れていない場合をジェスチャーの検出が適切でない条件、つまりジェスチャーによる操作の停止条件とすることができる。   As a specific example, if the user U is operating the catheter, it can be determined that the procedure is in progress. On the other hand, when the user U intends to operate the X-ray diagnostic apparatus 1 by a gesture, the user U's hand is separated from the catheter. Therefore, the catheter can be detected as described above using the depth sensor or the optical camera as the sensor 17A, and the case where the hand is not separated from the catheter can be set as a condition where the gesture detection is not appropriate, that is, the operation stop condition based on the gesture.

図8は、カテーテルからユーザUの手が離れているか否かに応じてジェスチャーによる操作機能を切換える例を示す図である。   FIG. 8 is a diagram illustrating an example of switching the operation function by the gesture according to whether or not the user U's hand is away from the catheter.

図8(A)は、ユーザUがカテーテル40を手で操作している状態を示し、図8(B)は、ユーザUがカテーテル40から手を離した状態を示す。図8(A)に示すように、ユーザUの手がカテーテル40に接触していると判定される場合には、ジェスチャーによる操作機能をOFFにすることができる。逆に、図8(B)に示すように、ユーザUの手がカテーテル40に接触していないと判定される場合には、ジェスチャーによる操作機能をONにすることができる。   FIG. 8A shows a state where the user U is operating the catheter 40 by hand, and FIG. 8B shows a state where the user U has released his hand from the catheter 40. As shown in FIG. 8A, when it is determined that the hand of the user U is in contact with the catheter 40, the operation function by the gesture can be turned off. Conversely, as shown in FIG. 8B, when it is determined that the hand of the user U is not in contact with the catheter 40, the operation function by the gesture can be turned on.

このような制御により、カテーテル40からユーザUの手が離れている場合のみジェスチャーの検出又は検出されたジェスチャーに基づくX線診断装置1の操作を実行することができる。この結果、ジェスチャーの誤検知を回避することができる。   By such control, only when the user U's hand is away from the catheter 40, the detection of the gesture or the operation of the X-ray diagnostic apparatus 1 based on the detected gesture can be executed. As a result, it is possible to avoid erroneous gesture detection.

別の例として、ユーザUがカテーテルを操作している最中には、ユーザUの手首が肘よりも極端に高くならない。そこで、センサ17AによりユーザUの手首と肘とを検出し、手首の位置が肘よりも所定の距離以上高くなった場合をジェスチャーの検出が適切でない条件、つまりジェスチャーによる操作の停止条件とすることができる。   As another example, while the user U is manipulating the catheter, the wrist of the user U does not become extremely higher than the elbow. Therefore, the wrist and elbow of the user U are detected by the sensor 17A, and the case where the wrist position is higher than the elbow by a predetermined distance or more is set as a condition where the gesture detection is not appropriate, that is, the operation stop condition by the gesture. Can do.

図9は、ユーザUの手首と肘の高さの関係に基づいてジェスチャーによる操作機能を切換える例を示す図である。   FIG. 9 is a diagram illustrating an example in which the operation function by the gesture is switched based on the relationship between the height of the wrist and elbow of the user U.

図9(A)に示すように、ユーザUがカテーテル40を操作している最中には、一般にユーザUの手首が肘よりも低くなる。このため、ユーザUの個人差を考慮して手首の位置が肘よりも所定の距離以上高くなっていない場合には、ジェスチャーによる操作機能をOFFにすることができる。逆に、図9(B)に示すように、ユーザUの手首の位置が肘よりも所定の距離以上高くなった場合には、ジェスチャーによる操作機能をONに切換えることができる。   As shown in FIG. 9A, while the user U is operating the catheter 40, the wrist of the user U is generally lower than the elbow. For this reason, when the position of the wrist is not higher than the elbow by a predetermined distance in consideration of individual differences of the user U, the operation function by gesture can be turned off. Conversely, as shown in FIG. 9B, when the wrist position of the user U is higher than the elbow by a predetermined distance or more, the operation function by gesture can be switched ON.

図8及び図9に示す条件は組合わせて設定することもできる。従って、ユーザUの手首と肘との相対的な位置関係及びカテーテルの少なくとも一方を、ジェスチャー検出用のセンサ17Aと同一又は他のセンサ17Aからの出力に基づいて検出し、手首と肘との相対的な位置関係が所定の条件となった場合又はカテーテルがユーザUの手によって保持されていると判定される場合に、検出系17及び操作系18の少なくとも一方の処理を停止させることができる。そのため、制御系19は、検出系17の検出部17Bからジェスチャーによる操作の停止条件の判定に必要な検出データを取得し、取得した検出データに基づいてジェスチャーによる操作の停止条件が満たされているか否かを判定できるように構成される。   The conditions shown in FIGS. 8 and 9 can be set in combination. Accordingly, at least one of the relative positional relationship between the wrist and the elbow of the user U and the catheter is detected based on an output from the sensor 17A that is the same as or different from the sensor 17A for detecting the gesture, and the relative relationship between the wrist and the elbow is detected. When the specific positional relationship becomes a predetermined condition or when it is determined that the catheter is held by the hand of the user U, the processing of at least one of the detection system 17 and the operation system 18 can be stopped. Therefore, the control system 19 acquires detection data necessary for determining the operation stop condition by the gesture from the detection unit 17B of the detection system 17, and whether the operation stop condition by the gesture is satisfied based on the acquired detection data. It is configured to be able to determine whether or not.

上述のような特徴の他、検出系17及び操作系18の少なくとも一方は、所定の高さよりも高い範囲を対象として処理を実行するように構成することができる。具体例として、ユーザUの腰に対応する高さとして設定された高さよりも高い範囲を対象としてジェスチャーの検出又は検出されたジェスチャーに基づく操作情報の特定処理を実行することができる。   In addition to the above-described features, at least one of the detection system 17 and the operation system 18 can be configured to execute processing for a range higher than a predetermined height. As a specific example, a gesture higher than a height set as a height corresponding to the waist of the user U can be detected, or a process for specifying operation information based on the detected gesture can be executed.

上述のようにセンサ17AをユーザUの上方に配置すると、寝台13等が障害物となってユーザUの腰よりも低い部分がセンサ17Aの視野外となる場合がある。そこで、ユーザUの腰に対応する高さよりも低い範囲については、ジェスチャーの検出又は検出されたジェスチャーに基づく操作情報の特定処理を実行しないようにすることができる。これにより、ジェスチャーの誤検知、無駄な演算処理及びコンピュータ20の暴走を回避することができる。   When the sensor 17A is arranged above the user U as described above, the bed 13 or the like may be an obstacle and a portion lower than the user U's waist may be outside the field of view of the sensor 17A. Therefore, for a range lower than the height corresponding to the waist of the user U, it is possible not to execute the gesture detection or the operation information specifying process based on the detected gesture. Thereby, erroneous detection of gestures, useless arithmetic processing, and runaway of the computer 20 can be avoided.

次にジェスチャー検知支援システム3及びX線診断装置1の動作及び作用について説明する。   Next, operations and actions of the gesture detection support system 3 and the X-ray diagnostic apparatus 1 will be described.

図10は、図1に示すジェスチャー検知支援システム3及びX線診断装置1によるジェスチャーによる操作を伴うX線診断の流れの一例を示すフローチャートである。   FIG. 10 is a flowchart showing an example of a flow of X-ray diagnosis accompanied by an operation by a gesture by the gesture detection support system 3 and the X-ray diagnostic apparatus 1 shown in FIG.

まずステップS1において、ジェスチャー検知支援システム3のセンサ17Aが検査室2内のジェスチャー検出に適切な位置に取り付けられる。具体例として、図4から図7に例示されるように、X線診断装置1のアーム5、点滴台、モニタ12或いは天井2A等の任意の位置に単一又は複数のセンサ17Aが取付け器具17Cにより取付けられる。   First, in step S <b> 1, the sensor 17 </ b> A of the gesture detection support system 3 is attached at a position suitable for gesture detection in the examination room 2. As a specific example, as illustrated in FIGS. 4 to 7, a single or a plurality of sensors 17 </ b> A is attached to an arbitrary position such as the arm 5, the drip stand, the monitor 12, or the ceiling 2 </ b> A of the X-ray diagnostic apparatus 1. It is installed by.

次に、ステップS2において、ジェスチャー検知支援システム3の記憶装置16に、センサ17Aの取付け位置に応じたジェスチャーにX線診断装置1の操作内容が関連付けられて登録される。特に、前腕のみによるジェスチャーや肩と手首とを含み肘を除く部分によるジェスチャーなど、X線診断の検査室2内における障害物の多い状況を考慮したジェスチャーを登録することができる。   Next, in step S2, the operation contents of the X-ray diagnostic apparatus 1 are registered in the storage device 16 of the gesture detection support system 3 in association with the gesture corresponding to the attachment position of the sensor 17A. In particular, it is possible to register gestures that take into account a situation where there are many obstacles in the examination room 2 for X-ray diagnosis, such as gestures using only the forearm and gestures including the shoulder and wrist and excluding the elbow.

次に、ステップS3において、センサ17Aの移動機構17F、17Gが設けられる場合には、センサ17Aの位置が初期位置に移動される。例えば手技内容に対応する位置としてプリセットされた位置にセンサ17Aを位置決めすることができる。   Next, when the moving mechanisms 17F and 17G of the sensor 17A are provided in step S3, the position of the sensor 17A is moved to the initial position. For example, the sensor 17A can be positioned at a position preset as a position corresponding to the procedure content.

次に、ステップS4において、ジェスチャーの検出条件が満たされているか否かがジェスチャー検知支援システム3の制御系19において判定される。具体的には、光学カメラ等のセンサ17Aからの出力に基づいて、ユーザUの手首と肘との位置関係やカテーテルと手首との位置関係など、手技の最中であるか否かを間接的に示す情報が制御系19により参照される。   Next, in step S4, it is determined in the control system 19 of the gesture detection support system 3 whether or not the gesture detection condition is satisfied. Specifically, based on the output from the sensor 17A such as an optical camera, whether or not the procedure is in progress, such as the positional relationship between the wrist and elbow of the user U and the positional relationship between the catheter and the wrist, is indirectly determined. The information shown in FIG.

そして、ジェスチャーの検出条件が満たされていないと判定された場合には、制御系19が検出系17及び操作系18の少なくとも一方の動作をOFFに切換える。このため、ジェスチャー検知支援システム3は、ジェスチャーの検出条件が満たされていると判定されるまで待機状態となる。   When it is determined that the gesture detection condition is not satisfied, the control system 19 switches the operation of at least one of the detection system 17 and the operation system 18 to OFF. For this reason, the gesture detection support system 3 is in a standby state until it is determined that the gesture detection condition is satisfied.

一方、ジェスチャーの検出条件が満たされていると判定された場合には、ステップS5において、複数のユーザUの候補からジェスチャーの検出対象を特定する処理が、検出系17において実行される。具体的には、光学カメラや赤外線カメラ等のセンサ17Aからの出力に基づいて検出部17Bにおいて最後にカテーテルを持っていたと判定されたユーザUやモニタ12或いはコンソール9の前にいると判定されたユーザUがジェスチャーの検出対象となるユーザUとして特定される。   On the other hand, if it is determined that the gesture detection condition is satisfied, processing for specifying a gesture detection target from a plurality of user U candidates is executed in the detection system 17 in step S5. Specifically, based on the output from the sensor 17A such as an optical camera or an infrared camera, the detection unit 17B is determined to be in front of the user U, the monitor 12 or the console 9 that is determined to have finally had a catheter. The user U is specified as the user U to be a gesture detection target.

尚、ステップS5におけるユーザUの特定処理は、ステップS4におけるジェスチャーの検出条件が満たされているか否かの判定処理の前に実行するようにしてもよい。   In addition, you may make it perform the specific process of the user U in step S5 before the determination process of whether the detection conditions of the gesture in step S4 are satisfy | filled.

次に、ステップS6において、ジェスチャーの検出及び検出されたジェスチャーに基づくX線診断装置1の操作が実行される。具体的には、ユーザUがジェスチャーを行うと、センサ17Aによって撮影されたジェスチャーの画像データが検出部17Bに出力される。そうすると、検出部17Bは、画像データに対する公知の処理によってジェスチャーを検出する。   Next, in step S6, gesture detection and operation of the X-ray diagnostic apparatus 1 based on the detected gesture are executed. Specifically, when the user U performs a gesture, the image data of the gesture photographed by the sensor 17A is output to the detection unit 17B. Then, the detection unit 17B detects a gesture by a known process for the image data.

この場合、ユーザUが移動した場合など、必要に応じて移動機構17F、17Gの駆動によるユーザUの追跡が行われる。ユーザUを追跡する場合には、センサ17Aによって撮影されたユーザUの画像データが検出部17Bを通じて制御部17Hに与えられる。そして、制御部17HによりユーザUがセンサ17Aの視野内となるようにセンサ17Aの移動機構17F、17Gが制御される。   In this case, when the user U moves, the user U is tracked by driving the moving mechanisms 17F and 17G as necessary. When tracking the user U, image data of the user U taken by the sensor 17A is given to the control unit 17H through the detection unit 17B. Then, the movement mechanisms 17F and 17G of the sensor 17A are controlled by the control unit 17H so that the user U is within the field of view of the sensor 17A.

次に、検出されたジェスチャーは、操作系18に与えられる。そうすると、操作系18は、ジェスチャーの検出結果に基づいて、記憶装置16からジェスチャーに対応する操作内容を取得する。そして、操作系18は、取得した操作内容に基づいてX線診断装置1に操作情報を出力する。   Next, the detected gesture is given to the operation system 18. Then, the operation system 18 acquires the operation content corresponding to the gesture from the storage device 16 based on the gesture detection result. Then, the operation system 18 outputs operation information to the X-ray diagnostic apparatus 1 based on the acquired operation content.

このため、X線診断装置1は、操作情報に従って駆動する。例えば、操作情報がX線撮影の開始指示であればX線画像収集系4によりX線撮影が開始され、撮影系8の駆動指示であれば撮影系8が駆動指示に従って所定の位置に位置決めされる。   For this reason, the X-ray diagnostic apparatus 1 is driven according to the operation information. For example, if the operation information is an X-ray imaging start instruction, X-ray imaging is started by the X-ray image acquisition system 4, and if the operation information is a driving instruction for the imaging system 8, the imaging system 8 is positioned at a predetermined position according to the driving instruction. The

次に、ステップS7において、ジェスチャーによるX線診断装置1の操作が完了したか否かが制御系19において判定される。例えば、入力装置14からジェスチャー操作の終了指示が制御系19に入力された場合や、コンソール9からX線診断装置1に動作の終了指示が入力され、X線診断装置1の撮影系制御部10から制御系19に動作の終了指示が与えられた場合には、制御系19がジェスチャーによる操作が完了したと判定する。この場合、ジェスチャー検知支援システム3の動作が終了する。   Next, in step S7, it is determined in the control system 19 whether or not the operation of the X-ray diagnostic apparatus 1 by the gesture is completed. For example, when an instruction to end gesture operation is input from the input device 14 to the control system 19, or an instruction to end operation is input from the console 9 to the X-ray diagnostic apparatus 1, and the imaging system control unit 10 of the X-ray diagnostic apparatus 1. When the operation end instruction is given from the control system 19 to the control system 19, the control system 19 determines that the operation by the gesture is completed. In this case, the operation of the gesture detection support system 3 ends.

一方、制御系19においてジェスチャーによる操作が完了していないと判定された場合には、再びステップS4において、ジェスチャーの検出条件が満たされているか否かが制御系19において判定される。そして、ジェスチャーによるX線診断装置1の操作を繰返すことによってX線画像を参照した大動脈弁置換(TAVI: Trans-catheter Aortic Valve Implantation或いはTAVR: Trans-catheter Aortic Valve Replacement)等の手技を実行することができる。   On the other hand, when it is determined in the control system 19 that the operation by the gesture has not been completed, the control system 19 determines again in step S4 whether or not the gesture detection condition is satisfied. Then, by repeating the operation of the X-ray diagnostic apparatus 1 by a gesture, a procedure such as an aortic valve replacement (TAVI: Trans-catheter Aortic Valve Implantation or TAVR) referring to an X-ray image is performed. Can do.

つまり以上のようなジェスチャー検知支援システム3及びX線診断装置1は、様々な医用機器や器具が設置された検査室2内において、ユーザUのジェスチャーを有効に検知して操作できるようにしたものである。   In other words, the gesture detection support system 3 and the X-ray diagnosis apparatus 1 as described above can effectively detect and operate the gesture of the user U in the examination room 2 in which various medical devices and instruments are installed. It is.

このため、ジェスチャー検知支援システム3及びX線診断装置1によれば、ジェスチャーによる操作機能が有効に働き、ユーザUの操作負担を軽減することができる。具体例として、ジェスチャーを検出するためのセンサ17Aが適切な位置に取り付けられ、かつセンサ17Aの取付け位置に応じたジェスチャーの登録が可能である。このため、手技等のための通常の動作範囲内におけるジェスチャーでX線診断装置1を操作することができる。また、ユーザUの腕の一部がセンサ17Aによって検出できない場合であっても、ジェスチャーを検出してX線診断装置1を操作することが可能である。   For this reason, according to the gesture detection support system 3 and the X-ray diagnostic apparatus 1, the operation function by the gesture works effectively, and the operation burden on the user U can be reduced. As a specific example, a sensor 17A for detecting a gesture is attached at an appropriate position, and a gesture can be registered according to the attachment position of the sensor 17A. For this reason, the X-ray diagnostic apparatus 1 can be operated with a gesture within a normal operation range for a procedure or the like. Even if a part of the arm of the user U cannot be detected by the sensor 17A, it is possible to detect the gesture and operate the X-ray diagnostic apparatus 1.

また、センサ17Aの移動機構17F、17Gを設けることによって、センサ17Aの視野をユーザUの位置に合わせることができる。加えて、複数のユーザUの候補が検出された場合においてジェスチャーの検出対象となるユーザUを自動検出し、かつ検出したユーザUを追跡することができる。このため、ユーザUを認識させるためのジェスチャーを省略することができる。   Further, by providing the moving mechanisms 17F and 17G of the sensor 17A, the field of view of the sensor 17A can be adjusted to the position of the user U. In addition, when a plurality of user U candidates are detected, it is possible to automatically detect the user U as a gesture detection target and to track the detected user U. For this reason, the gesture for recognizing the user U can be omitted.

更に、カテーテルをユーザUが握っている場合など、ユーザUの腕が動くにも関わらずジェスチャーによるX線診断装置1の操作が想定されない場合には、ジェスチャーの検出を自動的にOFFにすることができる。このため、ジェスチャーによるX線診断装置1の誤動作を回避することができる。   Furthermore, when the user U is grasping the catheter and the operation of the X-ray diagnostic apparatus 1 by a gesture is not expected even though the user U's arm moves, the gesture detection is automatically turned off. Can do. For this reason, malfunctioning of the X-ray diagnostic apparatus 1 due to a gesture can be avoided.

以上、特定の実施形態について記載したが、記載された実施形態は一例に過ぎず、発明の範囲を限定するものではない。ここに記載された新規な方法及び装置は、様々な他の様式で具現化することができる。また、ここに記載された方法及び装置の様式において、発明の要旨から逸脱しない範囲で、種々の省略、置換及び変更を行うことができる。添付された請求の範囲及びその均等物は、発明の範囲及び要旨に包含されているものとして、そのような種々の様式及び変形例を含んでいる。   Although specific embodiments have been described above, the described embodiments are merely examples, and do not limit the scope of the invention. The novel methods and apparatus described herein can be implemented in a variety of other ways. Various omissions, substitutions, and changes can be made in the method and apparatus described herein without departing from the spirit of the invention. The appended claims and their equivalents include such various forms and modifications as are encompassed by the scope and spirit of the invention.

1 X線診断装置
2 検査室
2A 天井
3 ジェスチャー検知支援システム
4 X線画像収集系
5 アーム
6 X線管
7 X線検出器
8 撮影系
9 コンソール
10 撮影系制御部
11 データ処理部
12 モニタ
13 寝台
14 入力装置
15 表示装置
16 記憶装置
17 検出系
17A センサ
17B 検出部
17C 取付け器具
17D レーザ光源
17E スイッチ
17F、17G 移動機構
17H 制御部
18 操作系
19 制御系
20 コンピュータ
30 点滴台
40 カテーテル
O 被検体
U ユーザ
DESCRIPTION OF SYMBOLS 1 X-ray diagnostic apparatus 2 Inspection room 2A Ceiling 3 Gesture detection support system 4 X-ray image acquisition system 5 Arm 6 X-ray tube 7 X-ray detector 8 Imaging system 9 Console 10 Imaging system control part 11 Data processing part 12 Monitor 13 Sleeper 14 Input device 15 Display device 16 Storage device 17 Detection system 17A Sensor 17B Detection unit 17C Mounting instrument 17D Laser light source 17E Switch 17F, 17G Movement mechanism 17H Control unit 18 Operation system 19 Control system 20 Computer 30 Drip stand 40 Catheter O Subject U User

Claims (13)

ユーザのジェスチャーと関連付けられたX線診断装置の操作内容を記憶する記憶装置と、
ユーザのジェスチャーを検出する検出系と、
前記ジェスチャーの検出結果に基づいて、前記X線診断装置の対応する操作内容を前記記憶装置から取得し、取得した前記操作内容に基づいて前記X線診断装置に操作情報を出力する操作系と、
を備え、
前記検出系は、
前記ジェスチャーを検出するための少なくとも1つのセンサと、
前記センサからの出力に基づいて前記ジェスチャーを検出する検出部と、
前記X線診断装置が設置される検査室の天井、前記X線診断装置の撮影系を駆動させるためのアーム、点滴台、造影剤のインジェクタ、X線防護板及び前記X線診断装置によって撮影されたX線画像データを表示させるためのモニタの少なくとも1つに前記センサを取付けるための取付け器具と、
を有するX線診断用のジェスチャー検知支援システム。
A storage device for storing operation contents of the X-ray diagnostic apparatus associated with the user's gesture;
A detection system for detecting user gestures;
An operation system that acquires the corresponding operation content of the X-ray diagnosis apparatus from the storage device based on the detection result of the gesture, and outputs operation information to the X-ray diagnosis apparatus based on the acquired operation content;
With
The detection system is
At least one sensor for detecting the gesture;
A detection unit that detects the gesture based on an output from the sensor;
Photographed by the ceiling of the examination room where the X-ray diagnostic apparatus is installed, the arm for driving the imaging system of the X-ray diagnostic apparatus, the drip stand, the contrast medium injector, the X-ray protective plate, and the X-ray diagnostic apparatus. A fixture for mounting the sensor on at least one of the monitors for displaying the X-ray image data;
Gesture detection support system for X-ray diagnosis having
前記検出系に、
前記X線診断装置のX線管及びX線検出器を駆動させるためのアーム又は前記X線診断装置によって撮影されたX線画像データを表示させるためのモニタの縁に沿って前記センサを移動させるための移動機構と、
前記移動機構を制御する制御部と、
を設けた請求項1記載のX線診断用のジェスチャー検知支援システム。
In the detection system,
The sensor is moved along an arm for driving an X-ray tube and an X-ray detector of the X-ray diagnostic apparatus or an edge of a monitor for displaying X-ray image data photographed by the X-ray diagnostic apparatus. A moving mechanism for,
A control unit for controlling the moving mechanism;
The gesture detection support system for X-ray diagnosis according to claim 1, further comprising:
前記制御部は、前記センサの位置及び向きの少なくとも一方が、前記センサの位置、ユーザの位置、前記アームの位置、前記モニタの位置及びX線診断における手技内容の少なくとも1つに応じて適切となるように前記移動機構を制御するように構成される請求項2記載のX線診断用のジェスチャー検知支援システム。   The control unit determines that at least one of the position and orientation of the sensor is appropriate according to at least one of the position of the sensor, the position of the user, the position of the arm, the position of the monitor, and the procedure contents in the X-ray diagnosis. The gesture detection support system for X-ray diagnosis according to claim 2, configured to control the moving mechanism. 前記制御部は、前記アーム又は前記モニタに対する相対位置に基づいて複数のユーザの候補から選択されたユーザのジェスチャーを検出できるように前記移動機構を制御するように構成される請求項3記載のX線診断用のジェスチャー検知支援システム。   4. The X according to claim 3, wherein the control unit is configured to control the moving mechanism so as to detect a user's gesture selected from a plurality of user candidates based on a relative position with respect to the arm or the monitor. Gesture detection support system for line diagnosis. ユーザのジェスチャーと関連付けられたX線診断装置の操作内容を記憶する記憶装置と、
センサからの出力に基づいてユーザのジェスチャーを検出する検出系と、
前記ジェスチャーの検出結果に基づいて、前記X線診断装置の対応する操作内容を前記記憶装置から取得し、取得した前記操作内容に基づいて前記X線診断装置に操作情報を出力する操作系と、
ユーザの手首と肘との相対的な位置関係及びカテーテルの少なくとも一方を前記又は他のセンサからの出力に基づいて検出し、前記手首と肘との相対的な位置関係が所定の条件となった場合又は前記カテーテルがユーザの手によって保持されていると判定される場合に、前記検出系及び前記操作系の少なくとも一方の処理を停止させる制御系と、
を備えるX線診断用のジェスチャー検知支援システム。
A storage device for storing operation contents of the X-ray diagnostic apparatus associated with the user's gesture;
A detection system for detecting a user's gesture based on an output from the sensor;
An operation system that acquires the corresponding operation content of the X-ray diagnosis apparatus from the storage device based on the detection result of the gesture, and outputs operation information to the X-ray diagnosis apparatus based on the acquired operation content;
The relative positional relationship between the user's wrist and elbow and at least one of the catheters is detected based on the output from the above or other sensors, and the relative positional relationship between the wrist and the elbow is a predetermined condition. A control system that stops processing of at least one of the detection system and the operation system when the case is determined or when the catheter is determined to be held by a user's hand;
A gesture detection support system for X-ray diagnosis comprising:
ユーザの前腕のみによるジェスチャー又は肩と手首とを含み肘を除く部分によるジェスチャーと関連付けられたX線診断装置の操作内容を記憶する記憶装置と、
センサからの出力に基づいてユーザの前腕のみによるジェスチャー又は肩と手首とを含み肘を除く部分によるジェスチャーを検出する検出系と、
前記ジェスチャーの検出結果に基づいて、前記X線診断装置の対応する操作内容を前記記憶装置から取得し、取得した前記操作内容に基づいて前記X線診断装置に操作情報を出力する操作系と、
を備えるX線診断用のジェスチャー検知支援システム。
A storage device for storing an operation content of an X-ray diagnostic apparatus associated with a gesture by only a user's forearm or a gesture by a portion including the shoulder and wrist and excluding the elbow;
A detection system for detecting a gesture by only a user's forearm based on an output from a sensor or a gesture by a portion excluding an elbow including a shoulder and a wrist;
An operation system that acquires the corresponding operation content of the X-ray diagnosis apparatus from the storage device based on the detection result of the gesture, and outputs operation information to the X-ray diagnosis apparatus based on the acquired operation content;
A gesture detection support system for X-ray diagnosis comprising:
ユーザのジェスチャーと関連付けられたX線診断装置の操作内容を記憶する記憶装置と、
センサからの出力に基づいて複数のユーザの候補からジェスチャーを検出すべきユーザを特定し、特定されたユーザのジェスチャーを前記又は他のセンサからの出力に基づいて検出する検出系と、
前記ジェスチャーの検出結果に基づいて、前記X線診断装置の対応する操作内容を前記記憶装置から取得し、取得した前記操作内容に基づいて前記X線診断装置に操作情報を出力する操作系と、
を備えるX線診断用のジェスチャー検知支援システム。
A storage device for storing operation contents of the X-ray diagnostic apparatus associated with the user's gesture;
A detection system for identifying a user whose gesture is to be detected from a plurality of user candidates based on an output from the sensor, and detecting the identified user's gesture based on an output from the or another sensor;
An operation system that acquires the corresponding operation content of the X-ray diagnosis apparatus from the storage device based on the detection result of the gesture, and outputs operation information to the X-ray diagnosis apparatus based on the acquired operation content;
A gesture detection support system for X-ray diagnosis comprising:
前記検出系は、前記センサからの出力に基づいて、カテーテルを最後に保持していたと判定されるユーザ、前記X線診断装置によって撮影されたX線画像データを表示させるためのモニタの正面にいると判定されるユーザ又は前記X線診断装置を操作するためのコンソールの前にいると判定されるユーザを前記ジェスチャーを検出すべきユーザとして特定するように構成される請求項7記載のX線診断用のジェスチャー検知支援システム。   The detection system is located in front of a monitor for displaying X-ray image data photographed by the X-ray diagnostic apparatus, a user who is determined to have held the catheter last based on the output from the sensor. The X-ray diagnosis according to claim 7, wherein the X-ray diagnosis is configured to identify a user who is determined to be or a user who is determined to be in front of a console for operating the X-ray diagnosis apparatus as a user who is to detect the gesture. Gesture detection support system. 前記検出系は、前腕のみによるジェスチャー又は肩と手首とを含み肘を除く部分によるジェスチャーを検出するように構成される請求項1乃至5及び7のいずれか1項に記載のX線診断用のジェスチャー検知支援システム。   8. The X-ray diagnostic apparatus according to claim 1, wherein the detection system is configured to detect a gesture by only a forearm or a gesture by a portion including a shoulder and a wrist and excluding an elbow. 9. Gesture detection support system. 前記検出系は、前記又は他のセンサからの出力に基づいて複数のユーザの候補から前記ジェスチャーを検出すべきユーザを特定し、特定されたユーザのジェスチャーを前記センサからの出力に基づいて検出するように構成される請求項1乃至6のいずれか1項に記載のX線診断用のジェスチャー検知支援システム。   The detection system identifies a user who should detect the gesture from a plurality of user candidates based on an output from the or other sensor, and detects the identified user gesture based on an output from the sensor. The gesture detection support system for X-ray diagnosis according to any one of claims 1 to 6, configured as described above. 前記検出系及び前記操作系の少なくとも一方は、所定の高さよりも高い範囲を対象として処理を実行するように構成される請求項1乃至10のいずれか1項に記載のX線診断用のジェスチャー検知支援システム。   The gesture for X-ray diagnosis according to any one of claims 1 to 10, wherein at least one of the detection system and the operation system is configured to execute processing for a range higher than a predetermined height. Detection support system. 請求項1乃至11のいずれか1項に記載のX線診断用のジェスチャー検知支援システムと、
前記操作情報に従ってX線撮影を実行するX線画像収集系と、
を備えるX線診断装置。
A gesture detection support system for X-ray diagnosis according to any one of claims 1 to 11,
An X-ray image acquisition system for performing X-ray imaging according to the operation information;
An X-ray diagnostic apparatus comprising:
コンピュータを、請求項5乃至7のいずれか1項に記載のX線診断用のジェスチャー検知支援システムとして機能させるX線診断用のジェスチャー検知支援プログラム。   A gesture detection support program for X-ray diagnosis that causes a computer to function as the gesture detection support system for X-ray diagnosis according to any one of claims 5 to 7.
JP2012256994A 2012-11-25 2012-11-25 Gesture detection support system for X-ray diagnosis, gesture detection support program for X-ray diagnosis, and X-ray diagnosis apparatus Active JP6218372B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012256994A JP6218372B2 (en) 2012-11-25 2012-11-25 Gesture detection support system for X-ray diagnosis, gesture detection support program for X-ray diagnosis, and X-ray diagnosis apparatus
CN201380003004.9A CN103957801B (en) 2012-11-25 2013-11-22 The posture of radiodiagnosis detects support system and radiographic apparatus
PCT/JP2013/081519 WO2014081013A1 (en) 2012-11-25 2013-11-22 Gesture detection assistance system for x-ray diagnosis, and x-ray diagnostic device
US14/717,380 US10684691B2 (en) 2012-11-25 2015-05-20 Gesture detection supporting system for X-ray diagnosis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012256994A JP6218372B2 (en) 2012-11-25 2012-11-25 Gesture detection support system for X-ray diagnosis, gesture detection support program for X-ray diagnosis, and X-ray diagnosis apparatus

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017149105A Division JP6495387B2 (en) 2017-08-01 2017-08-01 Gesture detection support system for X-ray diagnosis, gesture detection support program for X-ray diagnosis, and X-ray diagnosis apparatus

Publications (2)

Publication Number Publication Date
JP2014104008A true JP2014104008A (en) 2014-06-09
JP6218372B2 JP6218372B2 (en) 2017-10-25

Family

ID=50776189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012256994A Active JP6218372B2 (en) 2012-11-25 2012-11-25 Gesture detection support system for X-ray diagnosis, gesture detection support program for X-ray diagnosis, and X-ray diagnosis apparatus

Country Status (4)

Country Link
US (1) US10684691B2 (en)
JP (1) JP6218372B2 (en)
CN (1) CN103957801B (en)
WO (1) WO2014081013A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016041091A (en) * 2014-08-13 2016-03-31 株式会社東芝 X-ray diagnostic apparatus
JP2019069343A (en) * 2019-02-13 2019-05-09 キヤノンメディカルシステムズ株式会社 X-ray diagnostic apparatus

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6104639B2 (en) * 2013-03-01 2017-03-29 東芝メディカルシステムズ株式会社 X-ray diagnostic equipment
DE102014211115A1 (en) * 2014-06-11 2015-12-17 Siemens Aktiengesellschaft Device and method for the gesture-controlled setting of adjustment variables at an X-ray source
DE102015211331A1 (en) * 2015-06-19 2016-12-22 Siemens Healthcare Gmbh Method for detecting at least one input gesture of a user and the medical imaging device for this purpose
JP7455059B2 (en) 2018-03-15 2024-03-25 テルモ株式会社 medical system
JP7292985B2 (en) * 2019-06-13 2023-06-19 キヤノンメディカルシステムズ株式会社 Wheelchair X-ray detection device and X-ray diagnosis device
CN113520419A (en) * 2020-04-20 2021-10-22 湖南涌仁科技有限公司 Posture detection support system for X-ray diagnosis and X-ray diagnosis device
US20220378521A1 (en) * 2021-05-26 2022-12-01 Mazor Robotics Ltd. System and method of gesture detection and device positioning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050025706A1 (en) * 2003-07-25 2005-02-03 Robert Kagermeier Control system for medical equipment
JP2008529707A (en) * 2005-02-18 2008-08-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Automatic control of medical equipment
JP2012533134A (en) * 2009-07-13 2012-12-20 マイクロソフト コーポレーション Method and system for making visual display live-action through input learned from user

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175610B1 (en) * 1998-02-11 2001-01-16 Siemens Aktiengesellschaft Medical technical system controlled by vision-detected operator activity
ES2262423B1 (en) * 2005-02-18 2007-11-16 Manuel Fernandez Guerrero IONIZING RADIATION AUTOMATIC ACTIVATION AND DEACTIVATION SYSTEM CONTROLLED BY THE OPERATOR'S LOOK.
JP2007044353A (en) * 2005-08-11 2007-02-22 Toshiba Corp Diagnostic monitor posture control apparatus
DE102010017857B4 (en) * 2010-04-22 2019-08-08 Sick Ag 3D security device and method for securing and operating at least one machine
JP5264844B2 (en) * 2010-09-06 2013-08-14 日本電信電話株式会社 Gesture recognition apparatus and method
JP2012070862A (en) 2010-09-28 2012-04-12 Fujifilm Corp Radiation image photographing apparatus, radiation image photographing system, radiation image photographing program, and photographing method of radiation image
DE102011076316A1 (en) * 2011-03-30 2012-10-04 Karl Storz Gmbh & Co. Kg Display device for an operating room
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050025706A1 (en) * 2003-07-25 2005-02-03 Robert Kagermeier Control system for medical equipment
JP2008529707A (en) * 2005-02-18 2008-08-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Automatic control of medical equipment
JP2012533134A (en) * 2009-07-13 2012-12-20 マイクロソフト コーポレーション Method and system for making visual display live-action through input learned from user

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016041091A (en) * 2014-08-13 2016-03-31 株式会社東芝 X-ray diagnostic apparatus
JP2019069343A (en) * 2019-02-13 2019-05-09 キヤノンメディカルシステムズ株式会社 X-ray diagnostic apparatus

Also Published As

Publication number Publication date
US20150253865A1 (en) 2015-09-10
JP6218372B2 (en) 2017-10-25
US10684691B2 (en) 2020-06-16
CN103957801B (en) 2017-03-01
CN103957801A (en) 2014-07-30
WO2014081013A1 (en) 2014-05-30

Similar Documents

Publication Publication Date Title
JP6218372B2 (en) Gesture detection support system for X-ray diagnosis, gesture detection support program for X-ray diagnosis, and X-ray diagnosis apparatus
US10610307B2 (en) Workflow assistant for image guided procedures
CN103027699B (en) For the method and x-ray system of the motion control of X-ray equipment
US7845851B2 (en) Low-dose iso-centering
US20190150876A1 (en) Method for controlling the operation of a medical technology device, operator device, operating system and medical technology device
EP3086734B1 (en) Object tracking device
US8023616B2 (en) Method and apparatus for setting a dynamically adjustable position of an imaging system
US20160082596A1 (en) Mobile medical apparatus
US9795357B2 (en) Positioning distance control for X-ray imaging systems
US9526462B2 (en) X-ray diagnostic apparatus
CN113366583A (en) Camera control system and method for computer-assisted surgery system
JP6495387B2 (en) Gesture detection support system for X-ray diagnosis, gesture detection support program for X-ray diagnosis, and X-ray diagnosis apparatus
US11058386B2 (en) X-ray diagnosis apparatus and medical image diagnosis system for specifying a device being currently operated
KR20150142630A (en) Medical imaging device with optimized operation
JP2019508167A (en) Optical Camera Selection in Multimodal X-ray Imaging
JP2022508276A (en) Positioning of medical X-ray imaging equipment
JP6687036B2 (en) X-ray equipment
JP6945293B2 (en) X-ray diagnostic equipment and medical diagnostic imaging system
JP4016636B2 (en) Arm-mounted X-ray equipment
US20150023475A1 (en) Apparatus and method for mobile x-ray imaging
JP2005261946A (en) Guidance mechanism for positioning subject in imaging collecting beam
JP2015150055A (en) X-ray fluoroscopic imaging apparatus
JP2005006960A (en) Operation microscope system
EP3701870A2 (en) Method of adjusting settings of a radiation image recording system
JP2005185765A (en) Ceiling suspended type x-ray tube holder

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150916

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161114

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170801

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170926

R150 Certificate of patent or registration of utility model

Ref document number: 6218372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350