JP2013183873A

JP2013183873A - Diagnosis supporting apparatus

Info

Publication number: JP2013183873A
Application number: JP2012050856A
Authority: JP
Inventors: Katsuyuki Shudo; 勝行首藤
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2012-03-07
Filing date: 2012-03-07
Publication date: 2013-09-19
Anticipated expiration: 2032-03-07
Also published as: JP5884564B2

Abstract

PROBLEM TO BE SOLVED: To provide a diagnosis supporting apparatus that can improve the accuracy of a diagnosis.SOLUTION: A diagnosis supporting apparatus includes: a case; a first imaging part for capturing an image of a subject to output a first image; a second imaging part for capturing an image of an object person facing the subject with the case therebetween to output a second image; a direction detection part for detecting a visual line direction of the subject based on the first image; a position detection part for detecting an eye position of the object person based on the second image; and a determination part for determining whether the subject gazes at eyes of the object person based on the visual line direction and the position.

Description

本発明は、診断支援装置に関する。 The present invention relates to a diagnosis support apparatus.

最近、発達障害者が増加傾向にあると言われている。発達障害は、早期に発見し療育を開始することで症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国でも、１歳半検診時の問診などにより早期発見を目指している。しかし、精神科医不足や、問診に時間が掛かるなどの問題があり、その効果は十分とはいえない。そこで、客観的で効率的な発達障害の診断支援装置が求められている。 Recently, people with developmental disabilities are said to be on the rise. Developmental disorders are known to be detected early and start treatment to reduce symptoms and increase the effect of adapting to society. In Japan, we are aiming for early detection through interviews at the age of 1 and a half. However, there are problems such as shortage of psychiatrists and time-consuming interviews, and the effect is not sufficient. Therefore, there is a need for an objective and efficient diagnosis support device for developmental disorders.

特開２０１１−２０６５４２号公報JP 2011-206542 A 特開２００８−１２５６１９号公報JP 2008-125619 A 特開２００６−２１４７３５号公報JP 2006-214735 A

発達障害早期発見のためには、例えば１歳半検診時に診断できることが理想的である。また、検診時の使用について配慮することが必要である。発達障害児の特徴として、対面する相手の目を見ない（視線をそらす）ことが挙げられる。カメラで人の顔を撮影して、角膜反射と瞳孔の位置を計算することにより注視点を検出する方法などを応用して、発達障害を診断支援する方法が提案されている。 For early detection of developmental disorders, it is ideal to be able to diagnose at the age of 1 and a half. In addition, it is necessary to consider the use at the time of screening. One characteristic of children with developmental disabilities is that they do not look at the eyes of their opponents. There has been proposed a method for diagnosing developmental disorders by applying a method of detecting a gazing point by photographing a human face with a camera and calculating a corneal reflection and a pupil position.

特許文献１には、対面式の検出装置が記載されている。この装置では、２組のステレオカメラを別々に設置している。このため、測定のたびにチェスボードなどを用いたキャリブレーション（較正）が必要になる。また、少しでもカメラの位置が動いたり、温度により三脚が伸びたりすると測定できなくなる問題があり、更なる改善が求められていた。 Patent Document 1 describes a face-to-face detection device. In this apparatus, two sets of stereo cameras are installed separately. For this reason, calibration (calibration) using a chess board or the like is required for each measurement. Further, there is a problem that measurement cannot be performed when the position of the camera moves or the tripod extends due to temperature, and further improvement has been demanded.

本発明は、上記に鑑みてなされたものであって、診断の精度を向上できる診断支援装置を提供することを目的とする。 The present invention has been made in view of the above, and an object thereof is to provide a diagnosis support apparatus capable of improving the accuracy of diagnosis.

上述した課題を解決し、目的を達成するために、本発明にかかる診断支援装置は、筐体と、被験者を撮像して第１画像を出力する第１撮像部と、前記筐体を挟んで前記被験者に対面する対象者を撮像して第２画像を出力する第２撮像部と、前記第１画像に基づいて前記被験者の視線方向を検出する方向検出部と、前記第２画像に基づいて前記対象者の目の位置を検出する位置検出部と、前記視線方向と前記位置とに基づいて、前記被験者が前記対象者の目を注視しているか否かを判定する判定部と、を備える。 In order to solve the above-described problems and achieve the object, a diagnosis support apparatus according to the present invention includes a casing, a first imaging unit that images a subject and outputs a first image, and sandwiches the casing. Based on the second image, a second imaging unit that images the subject facing the subject and outputs a second image, a direction detection unit that detects the gaze direction of the subject based on the first image, and the second image A position detection unit that detects a position of the eye of the subject, and a determination unit that determines whether the subject is gazing at the eye of the subject based on the line-of-sight direction and the position. .

本発明にかかる診断支援装置は、診断の精度を向上できるという効果を奏する。 The diagnosis support apparatus according to the present invention has an effect of improving the accuracy of diagnosis.

図１は、第１の実施形態の診断支援装置の外観構成の一例を示す斜視図である。FIG. 1 is a perspective view illustrating an example of an external configuration of the diagnosis support apparatus according to the first embodiment. 図２は、診断支援装置の機能の概要を示す図である。FIG. 2 is a diagram illustrating an outline of functions of the diagnosis support apparatus. 図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。FIG. 3 is a block diagram illustrating an example of detailed functions of the respective units illustrated in FIG. 図４は、２組のステレオカメラの座標系の一例を説明する図である。FIG. 4 is a diagram illustrating an example of a coordinate system of two sets of stereo cameras. 図５は、２組のステレオカメラの座標系の他の例を説明する図である。FIG. 5 is a diagram illustrating another example of the coordinate system of two sets of stereo cameras. 図６は、対象者の目の位置と被験者の視点検出を説明するための図である。FIG. 6 is a diagram for explaining the eye position of the subject and the viewpoint detection of the subject. 図７は、図６を鉛直上方から観察した場合の説明図である。FIG. 7 is an explanatory diagram when FIG. 6 is observed from vertically above. 図８は、注視点判定処理の一例を示すフローチャートである。FIG. 8 is a flowchart illustrating an example of the gazing point determination process. 図９は、較正処理の一例を示すフローチャートである。FIG. 9 is a flowchart illustrating an example of the calibration process. 図１０は、変形例１の診断支援装置の外観構成の例を示す斜視図である。FIG. 10 is a perspective view illustrating an example of an external configuration of the diagnosis support apparatus according to the first modification. 図１１は、図１０の診断支援装置を側面から観察した場合の図である。FIG. 11 is a diagram when the diagnosis support apparatus of FIG. 10 is observed from the side. 図１２は、変形例１の診断支援装置で用いる共通座標系の一例を示す図である。FIG. 12 is a diagram illustrating an example of a common coordinate system used in the diagnosis support apparatus according to the first modification. 図１３は、変形例１の診断支援装置を鉛直上方から観察した場合の概略図である。FIG. 13 is a schematic diagram when the diagnosis support apparatus of Modification 1 is observed from vertically above. 図１４は、図１の診断支援装置に対応した較正装置の構成例を示す図である。FIG. 14 is a diagram illustrating a configuration example of a calibration apparatus corresponding to the diagnosis support apparatus of FIG. 図１５−１は、パターンボードの一例を示す図である。FIG. 15A is a diagram illustrating an example of a pattern board. 図１５−２は、パターンボードの一例を示す図である。FIG. 15-2 is a diagram illustrating an example of a pattern board. 図１６は、較正装置の上面図である。FIG. 16 is a top view of the calibration device. 図１７は、較正装置の機能構成の一例を示すブロック図である。FIG. 17 is a block diagram illustrating an example of a functional configuration of the calibration apparatus. 図１８は、カメラ較正処理の一例を示すフローチャートである。FIG. 18 is a flowchart illustrating an example of the camera calibration process. 図１９は、変形例１の診断支援装置を載せた場合の較正装置の外観図である。FIG. 19 is an external view of the calibration apparatus when the diagnosis support apparatus according to the first modification is mounted. 図２０は、変形例１の診断支援装置を載せた場合の較正装置の外観図である。FIG. 20 is an external view of a calibration apparatus when the diagnosis support apparatus according to the first modification is mounted.

以下に、本発明にかかる診断支援装置の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。 Embodiments of a diagnosis support apparatus according to the present invention will be described below in detail with reference to the drawings. In addition, this invention is not limited by this embodiment.

（第１の実施形態）
従来は、モニタに映した顔などの目を被験者が見る頻度を測定して発達障害を診断していた。第１の実施形態の診断支援装置では、相互に所定角度（例えば約１８０°）反転した向きに設置された２組のステレオカメラにより、被験者の視線と、被験者に対面した対象者の目の位置を求めて、被験者の注視点を求める。そして、被験者が対象者の目付近を見ている状況を判断して、発達障害のスクリーニングを行う。 (First embodiment)
Conventionally, a developmental disorder has been diagnosed by measuring the frequency with which a subject sees an eye such as a face projected on a monitor. In the diagnosis support apparatus according to the first embodiment, the two eyes of the subject and the position of the eye of the subject facing the subject are detected by two sets of stereo cameras installed in directions reversed by a predetermined angle (for example, about 180 °). For the subject's gaze point. Then, the developmental disorder is screened by judging the situation in which the subject is looking near the subject's eyes.

すなわち、一方のステレオカメラより得られた画像を基に、対象者の瞳孔中心位置を計測し、目の位置を求める。他方のステレオカメラで被験者の瞳孔中心と角膜反射の位置を計測し、視線を求める。そして、被験者が対象者の目付近を注視しているか否かを測定して発達障害診断を支援する。このような構成により、事前にカメラにより撮影した顔映像などを観察させるのではなく、被験者と実際に対面する対象者を観察させることができる。したがって、違和感のない自然な雰囲気の中での診断補助が実現できる。 That is, based on the image obtained from one stereo camera, the pupil center position of the subject is measured to obtain the eye position. The other stereo camera measures the pupil center of the subject and the position of corneal reflection, and obtains the line of sight. Then, the developmental disorder diagnosis is supported by measuring whether or not the subject is gazing near the subject's eyes. With such a configuration, it is possible to observe a subject who actually faces a subject, instead of observing a face image or the like taken by a camera in advance. Therefore, diagnosis assistance can be realized in a natural atmosphere without any sense of incongruity.

また、従来、同一の対象物を撮像できないカメラの較正は、世界座標上の座標が明確な対象物を撮像する必要があった。本実施形態では、複数のステレオカメラを搭載した診断支援装置を所定の角度で回転させながら同一の較正用パターンを撮像して個別にカメラ較正した後に回転軸に関連した共通座標に変換する。これにより、コンパクトで高精度なカメラ較正が実現できる。 Conventionally, the calibration of a camera that cannot capture the same object has to image an object whose coordinates in the world coordinates are clear. In this embodiment, the same calibration pattern is imaged while rotating a diagnosis support apparatus equipped with a plurality of stereo cameras at a predetermined angle, individually converted to common coordinates associated with the rotation axis. Thereby, compact and highly accurate camera calibration can be realized.

図１は、第１の実施形態の診断支援装置の外観構成の一例を示す斜視図である。図１に示すように、第１の実施形態の診断支援装置１００は、筐体１０１と、ステレオカメラ１０２ａ、１０２ｂと、較正用ＬＥＤ（Light Emitting Diode）１０４ａ〜１０４ｃと、スピーカ１０５と、ボタン１０６と、赤外線通信部１０７と、コネクタ１０８と、を備えている。 FIG. 1 is a perspective view illustrating an example of an external configuration of the diagnosis support apparatus according to the first embodiment. As illustrated in FIG. 1, the diagnosis support apparatus 100 according to the first embodiment includes a housing 101, stereo cameras 102 a and 102 b, calibration LEDs (Light Emitting Diodes) 104 a to 104 c, a speaker 105, and a button 106. And an infrared communication unit 107 and a connector 108.

ステレオカメラ１０２ａ、１０２ｂは、赤外線によるステレオ撮影が可能な撮像部である。以下、区別する必要がない場合は、ステレオカメラ１０２ａ、１０２ｂを単にステレオカメラ１０２という場合がある。ステレオカメラ１０２は、例えばプログレッシブカメラにより構成できる。ステレオカメラ１０２のレンズの直前には、円周方向に赤外ＬＥＤ光源（詳細は後述）が配置される。赤外ＬＥＤ光源は、発光する波長が相互に異なる内周のＬＥＤと外周のＬＥＤとを含む。赤外ＬＥＤ光源により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特許文献２に記載された方法などを適用できる。 The stereo cameras 102a and 102b are imaging units capable of performing stereo shooting with infrared rays. Hereinafter, when it is not necessary to distinguish, the stereo cameras 102a and 102b may be simply referred to as the stereo camera 102. The stereo camera 102 can be configured by, for example, a progressive camera. An infrared LED light source (details will be described later) is disposed in the circumferential direction immediately before the lens of the stereo camera 102. The infrared LED light source includes an inner peripheral LED and an outer peripheral LED that emit different wavelengths. The pupil of the subject is detected by an infrared LED light source. As a pupil detection method, for example, the method described in Patent Document 2 can be applied.

２組のステレオカメラ１０２ａ、１０２ｂは、互いに撮像面が反対方向となるように設置される。これにより、ステレオカメラ１０２ａ、１０２ｂが、それぞれ対面する被験者（例えば幼児）と対象者（例えば母親）の顔を撮影できるようになっている。 The two sets of stereo cameras 102a and 102b are installed such that their imaging surfaces are opposite to each other. Accordingly, the stereo cameras 102a and 102b can capture the faces of the subject (for example, an infant) and the subject (for example, a mother) facing each other.

較正用ＬＥＤ１０４ａ〜１０４ｃは、較正用の注視点となるＬＥＤである。なお、このＬＥＤを用いる較正処理は、個人ごとの目の特性に応じて視線検出のための計算パラメータを修正するための較正処理（視線検出用較正）であり、ステレオカメラ１０２の内部パラメータおよび外部パラメータの較正処理（カメラ較正（詳細は後述））とは異なる。視線検出用較正時に被験者に注視させる必要があるため、較正用ＬＥＤ１０４ａ〜１０４ｃは、可視光を発光するＬＥＤ光源である。 The calibration LEDs 104a to 104c are LEDs that serve as gazing points for calibration. The calibration process using the LED is a calibration process (calibration for gaze detection) for correcting calculation parameters for gaze detection according to the eye characteristics of each individual. This is different from the parameter calibration process (camera calibration (details will be described later)). The calibration LEDs 104a to 104c are LED light sources that emit visible light because it is necessary to have the subject gaze at the time of gaze detection calibration.

スピーカ１０５は、視線検出用較正時に被験者に注意を促すための音声、および、測定結果を示す音声などを出力する。ボタン１０６は、例えば診断支援装置１００の操作者が、測定開始を指示するためのボタンである。なお、ボタン１０６は操作のためのインタフェースの一例であり、操作インタフェースとしては他のあらゆるインタフェースを適用できる。例えば、複数のボタンを備えるように構成してもよい。また、タッチパネル、キーボード、およびマウスなどのインタフェースを適用してもよい。 The speaker 105 outputs sound for alerting the subject at the time of gaze detection calibration, sound indicating the measurement result, and the like. The button 106 is a button for the operator of the diagnosis support apparatus 100 to instruct the start of measurement, for example. The button 106 is an example of an interface for operation, and any other interface can be applied as the operation interface. For example, you may comprise so that a some button may be provided. Further, an interface such as a touch panel, a keyboard, and a mouse may be applied.

赤外線通信部１０７は、外部装置との間で赤外線通信を行うためのインタフェースである。赤外線通信部１０７は、例えば、後述する較正装置を用いてステレオカメラ１０２を較正（カメラ較正）するときに、較正装置との間でデータを送受信するときに利用される。なお、通信は赤外線通信に限られるものではなく、他の無線通信方式、および、有線通信方式などを用いてもよい。 The infrared communication unit 107 is an interface for performing infrared communication with an external device. The infrared communication unit 107 is used, for example, when data is transmitted / received to / from the calibration device when the stereo camera 102 is calibrated (camera calibration) using a calibration device described later. Note that communication is not limited to infrared communication, and other wireless communication methods, wired communication methods, and the like may be used.

コネクタ１０８は、測定結果の数値および画像などを表示するモニタ（表示部）を接続する場合のコネクタである。 The connector 108 is a connector for connecting a monitor (display unit) for displaying numerical values and images of measurement results.

図２は、診断支援装置１００の機能の概要を示す図である。図２では、図１に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図２に示すように、診断支援装置１００は、ステレオカメラ１０２ａと、ステレオカメラ１０２ｂと、較正用ＬＥＤ１０４ａ〜１０４ｃと、スピーカ１０５と、駆動・ＩＦ部２０８と、制御部３００と、表示部２１０と、を含む。 FIG. 2 is a diagram illustrating an outline of functions of the diagnosis support apparatus 100. FIG. 2 shows a part of the configuration shown in FIG. 1 and a configuration used for driving the configuration. 2, the diagnosis support apparatus 100 includes a stereo camera 102a, a stereo camera 102b, calibration LEDs 104a to 104c, a speaker 105, a drive / IF unit 208, a control unit 300, and a display unit 210. ,including.

ステレオカメラ１０２ａは、被験者の測定に用いる構成を含むモジュールを表す。また、ステレオカメラ１０２ｂは、対象者の測定に用いる構成を含むモジュールを表す。ステレオカメラ１０２ｂはステレオカメラ１０２ａと同様の構成であるため、図２では詳細を省略している。 The stereo camera 102a represents a module including a configuration used for measurement of a subject. The stereo camera 102b represents a module including a configuration used for measurement of the subject. Since the stereo camera 102b has the same configuration as that of the stereo camera 102a, the details are omitted in FIG.

ステレオカメラ１０２ａは、右カメラ２０２ａと、左カメラ２０４ａと、赤外ＬＥＤ光源２０３ａ、２０５ａとを備えている。赤外ＬＥＤ光源２０３ａ、２０５ａは、それぞれ右カメラ２０２ａおよび左カメラ２０４ａのレンズの前に取り付けられる。 The stereo camera 102a includes a right camera 202a, a left camera 204a, and infrared LED light sources 203a and 205a. The infrared LED light sources 203a and 205a are attached in front of the lenses of the right camera 202a and the left camera 204a, respectively.

駆動・ＩＦ部２０８は、ステレオカメラ１０２ａおよびステレオカメラ１０２ｂに含まれる各部を駆動する。また、駆動・ＩＦ部２０８は、ステレオカメラ１０２ａおよびステレオカメラ１０２ｂに含まれる各部と、制御部３００とのインタフェースとなる。 The drive / IF unit 208 drives each unit included in the stereo camera 102a and the stereo camera 102b. The drive / IF unit 208 serves as an interface between the control unit 300 and each unit included in the stereo camera 102 a and the stereo camera 102 b.

制御部３００は、診断支援装置１００の全体の処理を制御する。制御部３００は、例えばＣＰＵ（Central Processing Unit）によって実現できる。制御部３００の機能の詳細は後述する。表示部２１０は、必要に応じて診断支援結果を表示する。 The control unit 300 controls the overall processing of the diagnosis support apparatus 100. The control unit 300 can be realized by a CPU (Central Processing Unit), for example. Details of the function of the control unit 300 will be described later. The display unit 210 displays a diagnosis support result as necessary.

図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。図３に示すように、制御部３００には、表示部２１０と駆動・ＩＦ部２０８が接続される。駆動・ＩＦ部２０８は、カメラＩＦ３１４、３１５、３１７、３１８と、ＬＥＤ駆動制御部３１６と、ＬＥＤ駆動部３２０ａ〜３２０ｃと、スピーカ駆動部３２６と、を含む。 FIG. 3 is a block diagram illustrating an example of detailed functions of the respective units illustrated in FIG. As shown in FIG. 3, a display unit 210 and a drive / IF unit 208 are connected to the control unit 300. The drive / IF unit 208 includes camera IFs 314, 315, 317, 318, an LED drive control unit 316, LED drive units 320 a to 320 c, and a speaker drive unit 326.

ＬＥＤ駆動制御部３１６は、赤外ＬＥＤ光源２０３ａ、２０５ａ、２０３ｂ、２０５ｂを駆動する。赤外ＬＥＤ光源２０３ａ、２０５ａ、２０３ｂ、２０５ｂは、それぞれ波長が異なるＬＥＤを含んでいる。 The LED drive control unit 316 drives the infrared LED light sources 203a, 205a, 203b, and 205b. The infrared LED light sources 203a, 205a, 203b, and 205b include LEDs having different wavelengths.

赤外ＬＥＤ光源２０３ａは、波長１−ＬＥＤ３０３と、波長２−ＬＥＤ３０４と、を備えている。赤外ＬＥＤ光源２０５ａは、波長１−ＬＥＤ３０５と、波長２−ＬＥＤ３０６と、を備えている。赤外ＬＥＤ光源２０３ｂは、波長１−ＬＥＤ３０７と、波長２−ＬＥＤ３０８と、を備えている。赤外ＬＥＤ光源２０５ｂは、波長１−ＬＥＤ３０９と、波長２−ＬＥＤ３１０と、を備えている。 The infrared LED light source 203a includes a wavelength 1-LED 303 and a wavelength 2-LED 304. The infrared LED light source 205a includes a wavelength 1-LED 305 and a wavelength 2-LED 306. The infrared LED light source 203b includes a wavelength 1-LED 307 and a wavelength 2-LED 308. The infrared LED light source 205b includes a wavelength 1-LED 309 and a wavelength 2-LED 310.

波長１−ＬＥＤ３０３、３０５、３０７、３０９は、波長１の赤外線を照射する。波長２−ＬＥＤ３０４、３０６、３０８、３１０は、波長２の赤外線を照射する。 Wavelength 1-LEDs 303, 305, 307, and 309 emit infrared light having a wavelength of 1. Wavelength 2-LEDs 304, 306, 308, and 310 emit infrared light having a wavelength of 2.

波長１および波長２は、それぞれ例えば９００ｎｍ未満の波長および９００ｎｍ以上の波長とする。９００ｎｍ未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、９００ｎｍ以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。 The wavelength 1 and the wavelength 2 are, for example, a wavelength of less than 900 nm and a wavelength of 900 nm or more, respectively. When the reflected light reflected by the pupil is irradiated with infrared light having a wavelength of less than 900 nm, a bright pupil image is obtained as compared with the case where reflected light reflected by the pupil is irradiated with infrared light having a wavelength of 900 nm or more. It is because it is obtained.

ＬＥＤ駆動部３２０ａ〜３２０ｃは、それぞれ較正用ＬＥＤ１０４ａ〜１０４ｃを駆動する。スピーカ駆動部３２６は、スピーカ１０５を駆動する。 The LED driving units 320a to 320c drive the calibration LEDs 104a to 104c, respectively. The speaker driving unit 326 drives the speaker 105.

駆動・ＩＦ部２０８には、カメラＩＦ３１４、３１５、３１７、３１８を介して、それぞれ、右カメラ２０２ａ、左カメラ２０４ａ、右カメラ２０２ｂ、左カメラ２０４ｂが接続される。駆動・ＩＦ部２０８がこれらのカメラを駆動することにより、被験者や対象者を撮像する。 A right camera 202a, a left camera 204a, a right camera 202b, and a left camera 204b are connected to the drive / IF unit 208 via camera IFs 314, 315, 317, and 318, respectively. The drive / IF unit 208 drives these cameras to image the subject and the subject.

右カメラ２０２ａからはフレーム同期信号が出力される。フレーム同期信号は、左カメラ２０４ａと、ＬＥＤ駆動制御部３１６とに入力される。これにより、第１フレームで、タイミングをずらして左右の波長１の赤外線光源（波長１−ＬＥＤ３０３、波長１−ＬＥＤ３０５）を発光させ、それに対応して左右カメラ（右カメラ２０２ａ、左カメラ２０４ａ）による画像を取り込み、第２フレームで、タイミングをずらして左右の波長２の赤外線光源（波長２−ＬＥＤ３０４、波長２−ＬＥＤ３０６）を発光させ、それに対応して左右カメラ（右カメラ２０２ａ、左カメラ２０４ａ）による画像を取り込むように制御できる。 A frame synchronization signal is output from the right camera 202a. The frame synchronization signal is input to the left camera 204a and the LED drive control unit 316. Thus, in the first frame, the left and right wavelength 1 infrared light sources (wavelength 1-LED 303, wavelength 1-LED 305) are caused to emit light at different timings, and correspondingly by the left and right cameras (right camera 202a, left camera 204a). In the second frame, the left and right wavelength 2 infrared light sources (wavelength 2-LED 304, wavelength 2-LED 306) are caused to emit light in the second frame, and the left and right cameras (right camera 202a, left camera 204a) are correspondingly emitted. It is possible to control to capture an image by.

例えば、右カメラ２０２ａ、左カメラ２０４ａ、赤外ＬＥＤ光源２０３ａ、赤外ＬＥＤ光源２０５ａが、被験者用のモジュールであり、右カメラ２０２ｂ、左カメラ２０４ｂ、赤外ＬＥＤ光源２０３ｂ、赤外ＬＥＤ光源２０５ｂが、対象者用のモジュールである。 For example, the right camera 202a, the left camera 204a, the infrared LED light source 203a, and the infrared LED light source 205a are modules for the subject, and the right camera 202b, the left camera 204b, the infrared LED light source 203b, and the infrared LED light source 205b. This is a module for the target person.

対象者用のモジュールでは、発光および撮像は、第３フレームおよび第４フレームで実施する。このように、４フレームをサイクルとして撮像を行っていく。また、１フレーム内において、カメラの高速シャッター機能と赤外線短時間発光を組み合わせて、２種類の波長それぞれが干渉しないようにして撮像することも可能である。 In the module for the subject, light emission and imaging are performed in the third frame and the fourth frame. In this way, imaging is performed with four frames as a cycle. In addition, in one frame, it is possible to combine the high-speed shutter function of the camera and short-time infrared light emission so that the two types of wavelengths do not interfere with each other to capture an image.

制御部３００は、方向検出部３５１と、位置検出部３５２と、変換部３５３と、判定部３５４と、較正部３５５と、を備えている。 The control unit 300 includes a direction detection unit 351, a position detection unit 352, a conversion unit 353, a determination unit 354, and a calibration unit 355.

方向検出部３５１は、被験者用のモジュール（ステレオカメラ１０２ａ）で撮影された画像から、被験者の視線方向を検出する。方向検出部３５１は、例えば、特許文献１および２に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、方向検出部３５１は、波長１の赤外線を照射して撮影した画像と、波長２の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。方向検出部３５１は、左右のカメラ（右カメラ２０２ａ、左カメラ２０４ａ）で撮影された画像それぞれから上記のように生成された２つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置を算出する。また、方向検出部３５１は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、方向検出部３５１は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。 The direction detection unit 351 detects the line-of-sight direction of the subject from the image captured by the subject module (stereo camera 102a). The direction detection unit 351 detects the gaze direction of the subject using, for example, the methods described in Patent Documents 1 and 2. Specifically, the direction detection unit 351 obtains a difference between the image captured by irradiating the infrared light having the wavelength 1 and the image captured by irradiating the infrared light having the wavelength 2, and the image in which the pupil image is clarified is obtained. Generate. The direction detection unit 351 uses the two images generated as described above from the images captured by the left and right cameras (the right camera 202a and the left camera 204a) to determine the position of the pupil of the subject using a stereo vision technique. calculate. In addition, the direction detection unit 351 calculates the position of the subject's corneal reflection using images taken by the left and right cameras. Then, the direction detection unit 351 calculates a gaze vector representing the gaze direction of the subject from the position of the subject's pupil and the corneal reflection position.

位置検出部３５２は、対象者用のモジュール（ステレオカメラ１０２ｂ）で撮影された画像から、対象者の目の位置を検出する。対象者の目の位置は、例えば、方向検出部３５１が瞳孔の位置を算出する方法と同様の方法により検出できる。 The position detection unit 352 detects the position of the eye of the subject from the image photographed by the module for the subject (stereo camera 102b). The position of the eye of the subject can be detected by a method similar to the method in which the direction detection unit 351 calculates the position of the pupil, for example.

なお、被験者の視線方向、および、対象者の目の位置の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の視線方向、および、対象者の目の位置を検出してもよい。 In addition, the detection method of a gaze direction of a test subject and a subject's eye position is not restricted to this. For example, the visual line direction of the subject and the position of the eye of the subject may be detected by analyzing an image captured using visible light instead of infrared rays.

変換部３５３は、２組のステレオカメラ１０２ａ、１０２ｂそれぞれが用いる座標系間の変換を行う。被験者の視線方向および対象者の目の位置は、それぞれ座標系が異なるステレオカメラ（ステレオカメラ１０２ａ、ステレオカメラ１０２ｂ）で撮影された画像から検出され、異なる座標系の座標値で表される。このため、変換部３５３が、両座標系間の座標値の変換を行う。座標系の変換の詳細については後述する。 The conversion unit 353 performs conversion between coordinate systems used by each of the two sets of stereo cameras 102a and 102b. The visual line direction of the subject and the eye position of the subject are detected from images captured by stereo cameras (stereo camera 102a and stereo camera 102b) having different coordinate systems, and are represented by coordinate values of different coordinate systems. For this reason, the conversion unit 353 converts coordinate values between the two coordinate systems. Details of the transformation of the coordinate system will be described later.

判定部３５４は、被験者の視線方向と、対象者の目の位置とから、被験者が対象者の目を注視しているか否かを判定する。例えば被験者を診断する医師は、判定部３５４の判定結果を参照することにより、被験者が発達障害であるか否かを診断することが可能となる。 The determination unit 354 determines whether or not the subject is gazing at the subject's eyes from the direction of the subject's eyes and the position of the subject's eyes. For example, a doctor who diagnoses a subject can diagnose whether or not the subject has a developmental disorder by referring to the determination result of the determination unit 354.

較正部３５５は、視線方向を検出するために用いる計算パラメータを較正（視線検出用較正）する。一般に個人ごとに目の光軸と視線方向とが異なる。このため、光軸と視線方向が一致するように補正する必要があるためである。視線検出用較正処理では、所定の座標系上で既知である所定の位置（例えば較正用ＬＥＤ１０４ａ〜１０４ｃ）を被験者に注視させて、その時の瞳孔の中心（瞳孔の位置）と角膜反射位置とを測定する。そして、較正部３５５は、測定された瞳孔の位置と角膜反射位置とから求められる視線方向が、所定の位置に向くように、視線検出のための計算パラメータを修正する。 The calibration unit 355 calibrates the calculation parameters used for detecting the line-of-sight direction (calibration for line-of-sight detection). Generally, the optical axis of the eye and the line-of-sight direction are different for each individual. For this reason, it is necessary to correct so that the optical axis and the line-of-sight direction coincide. In the line-of-sight detection calibration process, a predetermined position (for example, calibration LEDs 104a to 104c) known on a predetermined coordinate system is watched by the subject, and the pupil center (pupil position) and corneal reflection position at that time are determined. taking measurement. Then, the calibration unit 355 corrects the calculation parameter for eye gaze detection so that the eye gaze direction obtained from the measured pupil position and corneal reflection position is directed to a predetermined position.

所定の位置は、例えば１点、２点、および３点のいずれかが設定される。本実施形態の例では、例えば較正用ＬＥＤ１０４ａのみ（１点）、較正用ＬＥＤ１０４ａおよび１０４ｂ（２点）、および、較正用ＬＥＤ１０４ａ〜１０４ｃ（３点）などが設定される。点数が少ないほど、較正時間が短く、点数が多いほど高精度となる傾向がある。 For example, one point, two points, or three points are set as the predetermined position. In the example of the present embodiment, for example, only the calibration LED 104a (one point), the calibration LEDs 104a and 104b (two points), and the calibration LEDs 104a to 104c (three points) are set. The smaller the score, the shorter the calibration time, and the higher the score, the higher the accuracy.

なお、対象者については、目の位置検出だけでよいので視線検出用較正は不要である。また、較正部３５５は、ステレオカメラ１０２の内部パラメータおよび外部パラメータの較正処理（カメラ較正）を行う（詳細は後述）。 For the subject, it is only necessary to detect the position of the eyes, so that calibration for detecting the line of sight is unnecessary. The calibration unit 355 performs calibration processing (camera calibration) of the internal parameters and external parameters of the stereo camera 102 (details will be described later).

方向検出部３５１、位置検出部３５２、変換部３５３、判定部３５４、および較正部３５５の一部または全部は、ハードウェアにより実現してもよいし、ＣＰＵなどにより実行されるソフトウェア（プログラム）により実現してもよい。 Part or all of the direction detection unit 351, the position detection unit 352, the conversion unit 353, the determination unit 354, and the calibration unit 355 may be realized by hardware, or by software (program) executed by a CPU or the like. It may be realized.

本実施形態の診断支援装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。 A program executed by the diagnosis support apparatus 100 according to the present embodiment is a file in an installable format or an executable format, and is a computer such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD (Digital Versatile Disk). Recorded on a readable recording medium.

また、本実施形態の診断支援装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の診断支援装置１００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の診断支援装置１００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。 Further, the program executed by the diagnosis support apparatus 100 of the present embodiment may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. Further, the program executed by the diagnosis support apparatus 100 of the present embodiment may be configured to be provided or distributed via a network such as the Internet. Further, the program executed by the diagnosis support apparatus 100 of this embodiment may be configured to be provided by being incorporated in advance in a ROM or the like.

本実施形態の診断支援装置１００で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。 The program executed by the diagnosis support apparatus 100 according to the present embodiment has a module configuration including the above-described units. As actual hardware, a CPU (processor) reads the program from the storage medium and executes it. Each of the above parts is loaded on the main storage device, and each part is generated on the main storage device.

次に、このように構成された診断支援装置１００で用いられる座標系について説明する。２組のステレオカメラを用いて撮像した対象の位置関係を規定するためには、共通の座標系で計算する必要がある。図４は、２組のステレオカメラの座標系の一例を説明する図である。 Next, a coordinate system used in the diagnosis support apparatus 100 configured as described above will be described. In order to define the positional relationship between objects captured using two sets of stereo cameras, it is necessary to calculate in a common coordinate system. FIG. 4 is a diagram illustrating an example of a coordinate system of two sets of stereo cameras.

ステレオカメラ１０２ａおよび１０２ｂは、それぞれ個別の世界座標系である座標系４０１および４０２でカメラ較正を行う。座標系４０１および４０２は、機械的にそれぞれの位置関係が決まっている。従って、この位置関係に基づいて座標系４０１および４０２の間で座標変換を行えば、共通の座標系の座標値を計算できる。 Stereo cameras 102a and 102b perform camera calibration in coordinate systems 401 and 402, which are individual world coordinate systems, respectively. The coordinate systems 401 and 402 are mechanically determined in their positional relationship. Therefore, if coordinate conversion is performed between the coordinate systems 401 and 402 based on this positional relationship, the coordinate value of the common coordinate system can be calculated.

例えば、（１）座標系４０１を、Ｙ軸（鉛直方向の座標軸）を中心に１８０°回転させ、（２）座標系４０２のＹ軸に重なるように平行移動させれば、座標系４０２を共通の座標系（共通座標系）として利用できる。なお、逆の操作で座標系４０１を共通座標系としてもよい。図４の方法では、平行移動が必要となるため、機械的な取り付け精度などの影響が大きくなる可能性がある。 For example, if (1) the coordinate system 401 is rotated 180 ° around the Y axis (vertical coordinate axis), and (2) is translated so as to overlap the Y axis of the coordinate system 402, the coordinate system 402 is shared. It can be used as a coordinate system (common coordinate system). Note that the coordinate system 401 may be set as a common coordinate system by the reverse operation. Since the method of FIG. 4 requires parallel movement, there is a possibility that the influence of mechanical attachment accuracy and the like will increase.

図５は、２組のステレオカメラの座標系の他の例を説明する図である。図５の例では、Ｙ軸は最初から共通になっている。このため、Ｙ軸周りの回転のみで座標変換が実現される。この座標系を用いる場合のステレオカメラのカメラ較正については後述する。 FIG. 5 is a diagram illustrating another example of the coordinate system of two sets of stereo cameras. In the example of FIG. 5, the Y axis is common from the beginning. For this reason, coordinate transformation is realized only by rotation around the Y axis. The camera calibration of the stereo camera when this coordinate system is used will be described later.

なお、座標系の変換のために回転する角度（所定角度）は１８０°に限られるものではなく、予め定められる角度であればどのような角度であってもよい。一方、２組のステレオカメラのそれぞれは、筐体１０１を挟んで対面する被験者および対象者を、可能な限り正面方向から撮像できることが望ましい。従って、所定角度は１８０°に近いほうが高精度なカメラ較正が可能となり、結果として高精度な診断が可能となる。 Note that the rotation angle (predetermined angle) for converting the coordinate system is not limited to 180 °, and may be any angle as long as it is a predetermined angle. On the other hand, it is desirable that each of the two sets of stereo cameras can capture the subject and the subject facing each other with the casing 101 in between as much as possible from the front direction. Therefore, when the predetermined angle is close to 180 °, highly accurate camera calibration is possible, and as a result, highly accurate diagnosis is possible.

図６は、対象者の目の位置と被験者の視点検出を説明するための図である。上述のように、方向検出部３５１は、被験者の瞳孔位置および角膜反射位置から、被験者の視線方向を検出する。位置検出部３５２は、対象者の目の位置（瞳孔位置）を検出する。瞳孔位置は共通座標系で表現される。また、被験者の目の位置（瞳孔位置）および視線方向（視線ベクトルなど）も、共通座標系で表現される。このため、判定部３５４が、被験者の視線が対象者の目の位置付近にあるか否かを判断することが可能となる。 FIG. 6 is a diagram for explaining the eye position of the subject and the viewpoint detection of the subject. As described above, the direction detection unit 351 detects the gaze direction of the subject from the pupil position and the corneal reflection position of the subject. The position detection unit 352 detects the eye position (pupil position) of the subject. The pupil position is expressed in a common coordinate system. The eye position (pupil position) and the line-of-sight direction (line-of-sight vector, etc.) of the subject are also expressed in a common coordinate system. Therefore, the determination unit 354 can determine whether or not the subject's line of sight is in the vicinity of the position of the subject's eyes.

図７は、図６を鉛直上方から観察した場合の説明図である。図７を用いて、注視点を測定する方法について説明する。方向検出部３５１は、被験者用のステレオカメラ１０２ａで撮影した画像から、被験者の左右それぞれの瞳孔と赤外線光源の角膜反射位置の三次元位置を計測する。次に、方向検出部３５１は、瞳孔中心と角膜反射位置との位置関係により視線方向を求める。 FIG. 7 is an explanatory diagram when FIG. 6 is observed from vertically above. A method for measuring a gazing point will be described with reference to FIG. The direction detection unit 351 measures the three-dimensional position of the left and right pupils of the subject and the corneal reflection position of the infrared light source from the image captured by the subject stereo camera 102a. Next, the direction detection unit 351 obtains the line-of-sight direction based on the positional relationship between the pupil center and the corneal reflection position.

同時に、位置検出部３５２は、対象者用のステレオカメラ１０２ｂで撮影した画像から、対象者の左右それぞれの瞳孔の三次元位置を計測する。 At the same time, the position detection unit 352 measures the three-dimensional positions of the left and right pupils of the subject from the image taken by the subject stereo camera 102b.

判定部３５４は、被験者の左右それぞれの視線方向と、対象者の左右の目の位置におけるそれぞれのＸＹ平面（平面７０１および平面７０２）との交点を求める。この交点が対象者の目の位置付近における被験者の注視点となる。 The determination unit 354 obtains intersections between the left and right gaze directions of the subject and the XY planes (plane 701 and plane 702) at the positions of the left and right eyes of the subject. This intersection is the gaze point of the subject near the eye position of the subject.

被験者が対象者の左目付近を注視した場合、右目の視線方向はＬ１となり、左目の視線方向はＬ２となる。また、被験者が対象者の右目付近を注視した場合、右目の視線方向はＬ３となり、左目の視線方向はＬ４となる。また、両目の視線方向が得られた場合は、被験者の左右の視線の交点（Ｌ１とＬ２、Ｌ３とＬ４）を求めることによっても注視点を計測できる。 When the subject gazes near the left eye of the subject, the line-of-sight direction of the right eye is L1, and the line-of-sight direction of the left eye is L2. When the subject gazes near the right eye of the subject, the gaze direction of the right eye is L3, and the gaze direction of the left eye is L4. In addition, when the gaze direction of both eyes is obtained, the gaze point can also be measured by obtaining intersections (L1 and L2, L3 and L4) of the left and right gazes of the subject.

図８は、注視点判定処理の一例を示すフローチャートである。まず、較正部３５５が、被験者の目の特性個人差を吸収するための視線検出用較正（キャリブレーション）を行う（ステップＳ１００）。次に、方向検出部３５１が、被験者の瞳孔位置および角膜反射位置を検出する（ステップＳ１０１）。例えば、方向検出部３５１は、まず被験者用の右カメラ２０２ａの画像から、瞳孔位置と角膜反射位置とを検出する。また、方向検出部３５１は、被験者用の左カメラ２０４ａの画像から、瞳孔位置と角膜反射位置とを検出する。 FIG. 8 is a flowchart illustrating an example of the gazing point determination process. First, the calibration unit 355 performs sight line detection calibration (calibration) to absorb individual characteristic differences among the eyes of the subject (step S100). Next, the direction detection unit 351 detects the pupil position and corneal reflection position of the subject (step S101). For example, the direction detection unit 351 first detects the pupil position and the corneal reflection position from the image of the right camera 202a for the subject. In addition, the direction detection unit 351 detects the pupil position and the corneal reflection position from the image of the subject left camera 204a.

次に、変換部３５３が、検出された各位置を共通座標系で表される位置に変換する（ステップＳ１０２）。次に、方向検出部３５１は、瞳孔中心と角膜反射位置との関係を用いて、被験者の視線方向を計算する（ステップＳ１０３）。 Next, the conversion unit 353 converts each detected position into a position represented in the common coordinate system (step S102). Next, the direction detection unit 351 calculates the gaze direction of the subject using the relationship between the pupil center and the corneal reflection position (step S103).

位置検出部３５２は、対象者の目の位置（例えば対象者の瞳孔位置）を検出する（ステップＳ１０４）。例えば、位置検出部３５２は、まず対象者用の右カメラ２０２ｂの画像から瞳孔位置を検出する。また、位置検出部３５２は、対象者用の左カメラ２０４ｂの画像から瞳孔位置を検出する。 The position detector 352 detects the position of the subject's eyes (for example, the pupil position of the subject) (step S104). For example, the position detection unit 352 first detects the pupil position from the image of the right camera 202b for the subject. Further, the position detection unit 352 detects the pupil position from the image of the left camera 204b for the subject.

次に、変換部３５３が、検出された各位置を共通座標系で表される位置に変換する（ステップＳ１０５）。対象者用のステレオカメラ１０２ｂの座標系が共通座標系になっている場合にはこの処理は不要となる。 Next, the conversion unit 353 converts each detected position into a position represented in the common coordinate system (step S105). When the coordinate system of the stereo camera 102b for the subject is a common coordinate system, this process is not necessary.

次に、判定部３５４は、視線方向と対象者の目（瞳孔）の位置におけるＸＹ平面との交点（注視点）を求める（ステップＳ１０６）。次に、判定部３５４は、注視点と、ＸＹ平面上の対象者の目の位置と、を比較して両者の距離を算出する（ステップＳ１０７）。判定部３５４は、距離が所定の閾値以下であるか否かを判定する（ステップＳ１０８）。距離が閾値以下であれば（ステップＳ１０８：Ｙｅｓ）、判定部３５４は、被験者が対象者の目を注視していると判定する（ステップＳ１０９）。距離が閾値より大きければ（ステップＳ１０８：Ｎｏ）、判定部３５４は、被験者が対象者の目を注視していないと判定する（ステップＳ１１０）。最終的には、測定時間全体（測定回数）に対する目を見た時間（回数）の割合で、発達障害の可能性を示すことができる。 Next, the determination unit 354 obtains an intersection (gaze point) between the line-of-sight direction and the XY plane at the position of the subject's eye (pupil) (step S106). Next, the determination unit 354 compares the gazing point and the position of the eye of the subject on the XY plane to calculate the distance between them (step S107). The determination unit 354 determines whether or not the distance is equal to or less than a predetermined threshold (step S108). If the distance is equal to or smaller than the threshold (step S108: Yes), the determination unit 354 determines that the subject is gazing at the subject's eyes (step S109). If the distance is greater than the threshold (step S108: No), the determination unit 354 determines that the subject is not gazing at the subject's eyes (step S110). Eventually, the possibility of developmental disorder can be shown by the ratio of the time (number of times) when the eyes are seen to the entire measurement time (number of times of measurement).

図９は、ステップＳ１００の視線検出用較正処理の一例を示すフローチャートである。まず、較正部３５５は、較正のモード設定を行う（ステップＳ２０１）。較正のモードは、何点で較正を行うかを指定するものである。例えば、１点による較正（１点較正）、２点による較正（２点較正）および３点による較正（３点較正）のいずれかの較正モードが設定される。 FIG. 9 is a flowchart illustrating an example of the line-of-sight detection calibration process in step S100. First, the calibration unit 355 performs calibration mode setting (step S201). The calibration mode specifies the number of points to be calibrated. For example, one of the calibration modes of one point calibration (one point calibration), two point calibration (two point calibration) and three point calibration (three point calibration) is set.

較正部３５５は、較正モードが３点較正であるかを判定する（ステップＳ２０２）。３点較正の場合（ステップＳ２０２：Ｙｅｓ）、較正部３５５は、較正用ＬＥＤ１０４ａを点滅させて、注意を促すようにスピーカ１０５から音声を出力する（ステップＳ２０７）。被験者が１歳半程度の幼児である場合には、動物の鳴き声や鈴の音などを出力すると、所定位置がより注視されやすくなる。較正用ＬＥＤ１０４ａの位置での較正が終了したら、較正部３５５は、次の較正用ＬＥＤ１０４ｂを点滅させて同様に較正を行う（ステップＳ２０８）。次に、較正部３５５は、較正用ＬＥＤ１０４ｃで同様の較正を行う（ステップＳ２０９）。 The calibration unit 355 determines whether the calibration mode is three-point calibration (step S202). In the case of three-point calibration (step S202: Yes), the calibration unit 355 blinks the calibration LED 104a and outputs a sound from the speaker 105 so as to call attention (step S207). If the test subject is an infant about one and a half years old, the predetermined position is more easily watched by outputting an animal call or a bell sound. When the calibration at the position of the calibration LED 104a is completed, the calibration unit 355 performs the calibration in the same manner by blinking the next calibration LED 104b (step S208). Next, the calibration unit 355 performs the same calibration with the calibration LED 104c (step S209).

３点較正でない場合（ステップＳ２０２：Ｎｏ）、較正部３５５は、較正モードが２点較正であるかを判定する（ステップＳ２０３）、２点較正の場合（ステップＳ２０３：Ｙｅｓ）、較正部３５５は、較正用ＬＥＤ１０４ｂ、較正用ＬＥＤ１０４ｃを順に点滅させて、同様に較正を行う（ステップＳ２０５、ステップＳ２０６）。 If it is not three-point calibration (step S202: No), the calibration unit 355 determines whether the calibration mode is two-point calibration (step S203). If it is two-point calibration (step S203: Yes), the calibration unit 355 Then, the calibration LED 104b and the calibration LED 104c are blinked in order, and the calibration is performed in the same manner (steps S205 and S206).

２点較正でない場合、すなわち、較正モードが１点較正の場合（ステップＳ２０３：Ｎｏ）、較正部３５５は、較正用ＬＥＤ１０４ａを点滅させて、同様に較正を行う（ステップＳ２０４）。 When the calibration is not two-point calibration, that is, when the calibration mode is one-point calibration (step S203: No), the calibration unit 355 blinks the calibration LED 104a and performs calibration in the same manner (step S204).

（変形例１）
図１０は、変形例１の診断支援装置１００−２の外観構成（一部）の例を示す斜視図である。変形例１は、２組のステレオカメラ１０２が向かい合って設置される。各ステレオカメラ１０２は、対向する他方のステレオカメラ１０２越しに被験者および対象者を撮像する。これにより、被験者と対象者との距離を短くすることができる。 (Modification 1)
FIG. 10 is a perspective view illustrating an example of an external configuration (part) of the diagnosis support apparatus 100-2 according to the first modification. In Modification 1, two sets of stereo cameras 102 are installed facing each other. Each stereo camera 102 images the subject and the subject through the other stereo camera 102 facing each other. Thereby, the distance of a test subject and a subject can be shortened.

図１０に示すように診断支援装置１００−２は、筐体１０１−２と、ステレオカメラ１０２ａと、スピーカ１０５と、較正用ＬＥＤ１０４ａ〜１０４ｃとを備えている。図１０では省略しているが、図１と同様の他の構成を備えてもよい。 As shown in FIG. 10, the diagnosis support apparatus 100-2 includes a housing 101-2, a stereo camera 102a, a speaker 105, and calibration LEDs 104a to 104c. Although omitted in FIG. 10, other configurations similar to those in FIG. 1 may be provided.

図１１は、図１０の診断支援装置１００−２を側面から観察した場合の図である。図１１に示すように、本変形例では、２組のステレオカメラ１０２ａ、１０２ｂが向かい合って設置されている。例えば、ステレオカメラ１０２ａは、筐体１０１−２の一方の端部（第１端部）側に設けられ、この端部と対向する端部（第２端部）の方向に位置する被験者を撮像する。ステレオカメラ１０２ｂは、筐体１０１−２の第２端部側に設けられ、第１端部の方向に位置する対象者を撮像する。このように、本変形例では、被験者に近い方のステレオカメラ１０２で対象者を撮像し、対象者に近い方のステレオカメラ１０２で被験者を撮像する。この構造により、被験者と対象者との間の距離を短くすることが可能になる。従って、より実生活に近い状態で測定が可能になる。 FIG. 11 is a diagram when the diagnosis support apparatus 100-2 of FIG. 10 is observed from the side. As shown in FIG. 11, in this modification, two sets of stereo cameras 102a and 102b are installed facing each other. For example, the stereo camera 102a is provided on one end (first end) side of the housing 101-2 and images a subject positioned in the direction of the end (second end) opposite to this end. To do. The stereo camera 102b is provided on the second end side of the housing 101-2, and images the subject positioned in the direction of the first end. Thus, in this modification, a subject is imaged with the stereo camera 102 closer to the subject, and the subject is imaged with the stereo camera 102 closer to the subject. This structure makes it possible to shorten the distance between the subject and the subject. Therefore, measurement can be performed in a state closer to real life.

被験者と対象者との間の距離を短くするために、図１に示すような構成で、短焦点のレンズを使用することも可能である。しかし、短焦点のレンズではレンズによる歪が大きくなるため、カメラ較正を実施するとしても、精度の点では、変形例の構成の方が有利である。 In order to shorten the distance between the subject and the subject, it is also possible to use a short-focus lens with the configuration shown in FIG. However, since the distortion caused by the lens becomes large in the short focus lens, even if the camera calibration is performed, the configuration of the modified example is more advantageous in terms of accuracy.

図１２は、変形例１の診断支援装置１００−２で用いる共通座標系の一例を示す図である。４台のカメラの中心鉛直方向がＹ軸となっている。座標系およびカメラ較正については後述する。 FIG. 12 is a diagram illustrating an example of a common coordinate system used in the diagnosis support apparatus 100-2 according to the first modification. The central vertical direction of the four cameras is the Y axis. The coordinate system and camera calibration will be described later.

図１３は、変形例１の診断支援装置１００−２を鉛直上方から観察した場合の概略図である。図１と同様の構成には同一の符号を付し説明を省略する。本変形例では、診断支援装置１００−２は、両ステレオカメラ１０２の間の位置に搭載されたタッチパネル付の表示部２１０−２（モニタ）を備える。診断支援装置１００−２は、タッチパネルにより機器の操作を受付け、表示部２１０−２に測定結果などを表示する。 FIG. 13 is a schematic diagram when the diagnosis support apparatus 100-2 of the first modification is observed from vertically above. The same components as those in FIG. In this modification, the diagnosis support apparatus 100-2 includes a display unit 210-2 (monitor) with a touch panel mounted at a position between both stereo cameras 102. Diagnosis support apparatus 100-2 accepts an operation of the device through a touch panel and displays a measurement result or the like on display unit 210-2.

次に、ステレオカメラ１０２の較正（カメラ較正）について説明する。図１４は、図１の診断支援装置１００に対応した較正装置５００の構成例を示す図である。較正装置５００に診断支援装置１００を乗せた撮像システム全体をカメラ較正装置ともいう。 Next, calibration (camera calibration) of the stereo camera 102 will be described. FIG. 14 is a diagram illustrating a configuration example of a calibration apparatus 500 corresponding to the diagnosis support apparatus 100 of FIG. The entire imaging system in which the diagnosis support apparatus 100 is placed on the calibration apparatus 500 is also referred to as a camera calibration apparatus.

図１４に示すように、較正装置５００は、ベース台１４００と、回転台１４０４と、モータ１４０５と、回転軸１４０６と、プランジャ１４０７と、パターンボード１４０８と、キャリッジ１４０９と、ステッピングモータ１４１０と、リードスクリュー１４１１と、雌ネジ部１４１２と、保持部１４１３と、を備えている。 As shown in FIG. 14, the calibration device 500 includes a base table 1400, a rotating table 1404, a motor 1405, a rotating shaft 1406, a plunger 1407, a pattern board 1408, a carriage 1409, a stepping motor 1410, and a lead. A screw 1411, a female screw part 1412, and a holding part 1413 are provided.

回転台１４０４は、診断支援装置１００を乗せて支持する台である。回転台１４０４は、回転軸１４０６を中心に回転可能である。モータ１４０５は、回転台１４０４を低速で回転させるモータである。プランジャ１４０７は、回転停止の位置決めを行うために用いられる。プランジャ１４０７の先端は例えば針状となっている。プランジャ１４０７の針状の先端部が、当該先端部に対応したピボット穴（図１６参照）に落ちることで、回転台１４０４の回転が停止される。 The turntable 1404 is a table on which the diagnosis support apparatus 100 is placed and supported. The turntable 1404 can rotate around the rotation shaft 1406. The motor 1405 is a motor that rotates the turntable 1404 at a low speed. The plunger 1407 is used for positioning to stop rotation. The tip of the plunger 1407 has a needle shape, for example. The needle-shaped tip of the plunger 1407 falls into a pivot hole (see FIG. 16) corresponding to the tip, and the rotation of the turntable 1404 is stopped.

パターンボード１４０８は、各ステレオカメラ１０２の世界座標系での位置が既知の部材であり、カメラ較正時の撮影対象物として用いられる。キャリッジ１４０９は、パターンボード１４０８から診断支援装置１００に向かう方向（後述するＺ軸方向）に移動可能に構成されている。ステッピングモータ１４１０は、キャリッジ１４０９を移動させるモータである。リードスクリュー１４１１は、ステッピングモータ１４１０に連結される。雌ネジ部１４１２は、リードスクリュー１４１１に嵌合する。保持部１４１３は、ベース台１４００に固定され、リードスクリュー１４１１の短部を保持する。 The pattern board 1408 is a member whose position in the world coordinate system of each stereo camera 102 is known, and is used as a photographing object at the time of camera calibration. The carriage 1409 is configured to be movable in a direction from the pattern board 1408 toward the diagnosis support apparatus 100 (a Z-axis direction described later). The stepping motor 1410 is a motor that moves the carriage 1409. The lead screw 1411 is connected to the stepping motor 1410. The female screw portion 1412 is fitted to the lead screw 1411. The holding part 1413 is fixed to the base table 1400 and holds the short part of the lead screw 1411.

図１５−１および図１５−２は、パターンボード１４０８の一例を示す図である。パターンボード１４０８は、ステレオカメラ１０２で撮影され、黒い四角部分の角、中心および交点などが検出される。検出された位置は、予め定められた世界座標系で存在すべき位置を表す空間座標と比較され、両者が一致するように、ステレオカメラ１０２のレンズの内部パラメータおよび外部パラメータが算出される。 FIGS. 15A and 15B are diagrams illustrating an example of the pattern board 1408. The pattern board 1408 is photographed by the stereo camera 102, and the corner, center, intersection, etc. of the black square portion are detected. The detected position is compared with a spatial coordinate representing a position that should exist in a predetermined world coordinate system, and internal parameters and external parameters of the lens of the stereo camera 102 are calculated so that they match.

図１６は、較正装置５００の上面図である。図１４と共通する部分には同一の符号を付し説明を省略する。較正装置５００は、図１４の構成に加え、さらに、凸部１４１４ａ〜１４１４ｄと、ピボット穴１５０１および１５０２と、フォトリフレクタ１５０３と、塗装エリア１５０４ａ、１５０４ｂ、および１５０４ｃと、赤外線通信部１５０５と、シャフト１５０７と、保持部１５０８と、遮光部１５０９と、フォトインタラプタ１５１０と、を備えている。 FIG. 16 is a top view of the calibration device 500. Portions common to FIG. 14 are denoted by the same reference numerals and description thereof is omitted. In addition to the configuration of FIG. 14, the calibration device 500 further includes convex portions 1414 a to 1414 d, pivot holes 1501 and 1502, a photo reflector 1503, painting areas 1504 a, 1504 b and 1504 c, an infrared communication unit 1505, and a shaft. 1507, a holding unit 1508, a light shielding unit 1509, and a photo interrupter 1510.

凸部１４１４ａ〜１４１４ｄは、診断支援装置１００を回転台１４０４上に位置決めする。凸部１４１４ｄは、診断支援装置１００の切り欠き部と嵌合するようになっており、回転台１４０４に乗せるだけで被験者用のステレオカメラ１０２ａおよび対象者用のステレオカメラ１０２ｂの位置を確定できる。 The convex portions 1414a to 1414d position the diagnosis support apparatus 100 on the turntable 1404. The convex portion 1414d is adapted to be fitted to the notch portion of the diagnosis support apparatus 100, and the positions of the subject stereo camera 102a and the subject stereo camera 102b can be determined simply by being placed on the turntable 1404.

回転台１４０４には、プランジャ１４０７の針状の先端部に対応したピボット穴１５０１および１５０２が設けられる。モータ１４０５によって回転台１４０４を低速に回転させて、プランジャ１４０７の先端部をピボット穴１５０１または１５０２に落とすことで回転停止の位置決めを行う。 The rotary table 1404 is provided with pivot holes 1501 and 1502 corresponding to the needle-like tip portions of the plunger 1407. The rotating table 1404 is rotated at a low speed by the motor 1405 and the tip of the plunger 1407 is dropped into the pivot hole 1501 or 1502, thereby positioning the rotation stop.

図１６の例では、プランジャ１４０７の先端部が落ちたときに、ピボット穴１５０１および１５０２を結ぶ直線が回転台１４０４の回転中心を通り、かつ、Ｚ軸と平行になるようにピボット穴１５０１および１５０２が形成されている。また、凸部１４１４ａ〜１４１４ｄは、回転台１４０４の回転が停止されたときに、ステレオカメラ１０２の撮像面がＸＹ平面と平行になり、撮影方向がＺ軸方向となるように、回転台１４０４上に診断支援装置１００を位置決めするように形成されている。これにより、位置決めされたステレオカメラ１０２の世界座標系として、図５に示すような座標系を適用できる。 In the example of FIG. 16, when the tip of the plunger 1407 falls, the pivot holes 1501 and 1502 are such that a straight line connecting the pivot holes 1501 and 1502 passes through the rotation center of the turntable 1404 and is parallel to the Z axis. Is formed. Further, the convex portions 1414a to 1414d are arranged on the turntable 1404 so that when the rotation of the turntable 1404 is stopped, the imaging surface of the stereo camera 102 is parallel to the XY plane and the shooting direction is the Z-axis direction. It is formed so that the diagnosis support apparatus 100 may be positioned. Thereby, a coordinate system as shown in FIG. 5 can be applied as the world coordinate system of the positioned stereo camera 102.

なお、図１６では、ピボット穴１５０１および１５０２にプランジャ１４０７の先端部が落ちたときの回転台１４０４の回転角度の差分が１８０°となる例が示されている。例えば、ピボット穴１５０１にプランジャ１４０７の先端部が落ちたときの回転台１４０４の回転角度を０°とすると、ピボット穴１５０２にプランジャ１４０７の先端部が落ちたときの回転台１４０４の回転角度が１８０°となる。言い換えると、回転台１４０４の回転角度は、予め定められた複数の角度（規定角度）である０°および１８０°のいずれかに位置決めされる。 FIG. 16 shows an example in which the difference in the rotation angle of the turntable 1404 when the tip of the plunger 1407 falls into the pivot holes 1501 and 1502 is 180 °. For example, if the rotation angle of the turntable 1404 when the tip of the plunger 1407 falls into the pivot hole 1501 is 0 °, the rotation angle of the turntable 1404 when the tip of the plunger 1407 falls into the pivot hole 1502 is 180. °. In other words, the rotation angle of the turntable 1404 is positioned at one of 0 ° and 180 °, which are a plurality of predetermined angles (specified angles).

なお、複数の規定角度の差分が求められればよいので、回転角度の基準はこれに限られるものではなく任意に設定できる。また、規定角度の差分は１８０°に限られるものではない。規定角度の差分は、複数のステレオカメラに応じた複数の世界座標系の相互の変換のための所定角度と一致していればよい。回転台１４０４の位置決めのための規定角度の差分と、座標系の変換のための所定角度が一致していれば、規定角度でカメラ較正した複数のステレオカメラ間の世界座標を、所定角度の回転により変換可能となる。 In addition, since the difference of several prescription | regulation angles should just be calculated | required, the reference | standard of a rotation angle is not restricted to this, It can set arbitrarily. Further, the difference between the specified angles is not limited to 180 °. The difference between the prescribed angles only needs to match a predetermined angle for mutual conversion of a plurality of world coordinate systems corresponding to a plurality of stereo cameras. If the difference in the specified angle for positioning the turntable 1404 matches the predetermined angle for converting the coordinate system, the world coordinates between the stereo cameras calibrated at the specified angle are rotated by the predetermined angle. Can be converted.

回転台１４０４の側面は、黒、灰色および白に塗装されている。例えば、塗装エリア１５０４ａ、１５０４ｂ、および１５０４ｃが、それぞれ黒、灰色、および白の塗装エリアとなる。回転台１４０４の側面に対向するベース台１４００の所定の位置にフォトリフレクタ１５０３が取り付けられる。白、灰色および黒により反射光量が変化するため、回転位相の位置を知ることができる。 The side surface of the turntable 1404 is painted in black, gray and white. For example, the painted areas 1504a, 1504b, and 1504c are black, gray, and white painted areas, respectively. A photo reflector 1503 is attached to a predetermined position of the base table 1400 facing the side surface of the turntable 1404. Since the amount of reflected light varies depending on white, gray and black, the position of the rotation phase can be known.

赤外線通信部１５０５は、診断支援装置１００の赤外線通信部１０７との間で赤外線通信を行うためのインタフェースである。これにより較正装置５００と診断支援装置１００との間でデータを通信することが可能である。 The infrared communication unit 1505 is an interface for performing infrared communication with the infrared communication unit 107 of the diagnosis support apparatus 100. As a result, data can be communicated between the calibration device 500 and the diagnosis support device 100.

シャフト１５０７は、キャリッジ１４０９を保持する。保持部１５０８は、シャフト１５０７をベース台１４００に保持する。遮光部１５０９は、キャリッジ１４０９がフォトインタラプタ１５１０に向けて移動すると、フォトインタラプタ１５１０の発光部および受光部間の光を遮光するように、キャリッジ１４０９に設置される。遮光部１５０９によりフォトインタラプタ１５１０の出力が所定値となった位置が、キャリッジ１４０９の基準位置となる。キャリッジ１４０９が基準位置のときに、回転軸１４０６の中心とパターンボード１４０８との間の距離が予め測定される。較正部３５５は、キャリッジ１４０９を所定量ずつ回転台１４０４側に移動させながらカメラ較正を行う。 The shaft 1507 holds the carriage 1409. The holding unit 1508 holds the shaft 1507 on the base table 1400. The light shielding unit 1509 is installed on the carriage 1409 so as to shield light between the light emitting unit and the light receiving unit of the photo interrupter 1510 when the carriage 1409 moves toward the photo interrupter 1510. A position where the output of the photo interrupter 1510 becomes a predetermined value by the light shielding unit 1509 is a reference position of the carriage 1409. When the carriage 1409 is at the reference position, the distance between the center of the rotation shaft 1406 and the pattern board 1408 is measured in advance. The calibration unit 355 performs camera calibration while moving the carriage 1409 toward the turntable 1404 by a predetermined amount.

通常、同一の対象物を撮像できない複数のカメラのカメラ較正は困難である。例えば、複数のカメラそれぞれの較正用の対象物となる２つのパターンボードを用いる方法が考えられる。しかしこの方法では、２つのパターンボード間の位置関係を高精度に定めるか測定する必要が生じるため、実現が困難となる。 Normally, camera calibration of a plurality of cameras that cannot image the same object is difficult. For example, a method using two pattern boards that are calibration objects of a plurality of cameras can be considered. However, this method is difficult to implement because it is necessary to determine or measure the positional relationship between the two pattern boards with high accuracy.

これに対し、本実施形態の較正装置５００は、診断支援装置１００を高精度に回転させて同一のパターンボード１４０８を撮像することにより、複数のステレオカメラ１０２ａ、１０２ｂのカメラ較正を実現している。また、回転させて１つのパターンボード１４０８を共通に使用するため、占有スペースも約１／２とすることができる。 On the other hand, the calibration apparatus 500 of the present embodiment realizes camera calibration of the plurality of stereo cameras 102a and 102b by rotating the diagnosis support apparatus 100 with high accuracy and imaging the same pattern board 1408. . Further, since one pattern board 1408 is commonly used by being rotated, the occupied space can be reduced to about ½.

図１７は、較正装置５００の機能構成の一例を示すブロック図である。図１４および図１６と共通する部分には同一の符号を付し説明を省略する。較正装置５００は、図１４および図１６の構成に加え、さらに、制御部１７０１と、プランジャ駆動部１７０２と、テーブル回転モータ制御部１７０４と、ＡＤ（アナログデジタル）変換器１７０６と、ＡＤ変換器１７０８と、ステッピングモータ制御部１７１０と、を備えている。 FIG. 17 is a block diagram illustrating an example of a functional configuration of the calibration apparatus 500. Portions common to FIGS. 14 and 16 are denoted by the same reference numerals and description thereof is omitted. 14 and 16, the calibration apparatus 500 further includes a control unit 1701, a plunger driving unit 1702, a table rotation motor control unit 1704, an AD (analog / digital) converter 1706, and an AD converter 1708. And a stepping motor control unit 1710.

制御部１７０１は、較正装置５００の全体を制御する。制御部１７０１は、例えばＣＰＵによって実現できる。制御部１７０１には、表示部１７１３（モニタ）が接続される。また、制御部１７０１には、プランジャ駆動部１７０２を介してプランジャ１４０７が接続される。また、制御部１７０１には、テーブル回転モータ制御部１７０４を介してモータ１４０５が接続される。 The control unit 1701 controls the entire calibration device 500. The control unit 1701 can be realized by a CPU, for example. A display unit 1713 (monitor) is connected to the control unit 1701. In addition, a plunger 1407 is connected to the control unit 1701 via a plunger driving unit 1702. Further, a motor 1405 is connected to the control unit 1701 via a table rotation motor control unit 1704.

ＡＤ変換器１７０６は、フォトリフレクタ１５０３の出力をアナログデジタル変換する。制御部１７０１は、アナログデジタル変換されたフォトリフレクタ１５０３の出力を取り込む。 The AD converter 1706 converts the output of the photo reflector 1503 from analog to digital. The control unit 1701 takes in the output of the photo reflector 1503 that has been converted from analog to digital.

ＡＤ変換器１７０８は、フォトインタラプタ１５１０の出力をアナログデジタル変換する。制御部１７０１は、アナログデジタル変換されたフォトインタラプタ１５１０の出力を取り込む。 The AD converter 1708 converts the output of the photo interrupter 1510 from analog to digital. The control unit 1701 takes in the output of the photo interrupter 1510 that has been converted from analog to digital.

また、制御部１７０１は、ステッピングモータ制御部１７１０を介してステッピングモータ１４１０を制御する。さらに、制御部１７０１は、赤外線通信部１５０５が接続される。 Further, the control unit 1701 controls the stepping motor 1410 via the stepping motor control unit 1710. Further, the control unit 1701 is connected to an infrared communication unit 1505.

図１８は、カメラ較正処理の一例を示すフローチャートである。まず、制御部１７０１は、プランジャ１４０７を解除して回転台１４０４から離す（ステップＳ３０１）。次に、制御部１７０１は、フォトリフレクタ１５０３の出力を、ＡＤ変換器１７０６を介して読み込む（ステップＳ３０２）。制御部１７０１は、フォトリフレクタ１５０３の出力が黒であるか否かを判断する（ステップＳ３０３）。出力が黒相当であれば（ステップＳ３０３：Ｙｅｓ）、制御部１７０１は、回転台１４０４（テーブル）を右回転させて（ステップＳ３０４）、ステップＳ３０２に戻る。 FIG. 18 is a flowchart illustrating an example of the camera calibration process. First, the control unit 1701 releases the plunger 1407 and separates it from the turntable 1404 (step S301). Next, the control unit 1701 reads the output of the photo reflector 1503 via the AD converter 1706 (step S302). The control unit 1701 determines whether or not the output of the photo reflector 1503 is black (step S303). If the output is equivalent to black (step S303: Yes), the control unit 1701 rotates the turntable 1404 (table) to the right (step S304), and returns to step S302.

出力が黒でない場合（ステップＳ３０３：Ｎｏ）、制御部１７０１は、フォトリフレクタ１５０３の出力が白であるか否かを判断する（ステップＳ３０５）。出力が白相当であれば（ステップＳ３０５：Ｙｅｓ）、制御部１７０１は、回転台１４０４を左回転させて（ステップＳ３０６）、ステップＳ３０２に戻る。 When the output is not black (step S303: No), the control unit 1701 determines whether or not the output of the photo reflector 1503 is white (step S305). If the output is equivalent to white (step S305: Yes), the control unit 1701 rotates the turntable 1404 counterclockwise (step S306) and returns to step S302.

この結果、回転台１４０４の側面の灰色部分がフォトリフレクタ１５０３に対向するようなる。この状態になったところで、制御部１７０１は、モータ１４０５を停止させる（ステップＳ３０７）。 As a result, the gray portion on the side surface of the turntable 1404 faces the photo reflector 1503. In this state, the control unit 1701 stops the motor 1405 (step S307).

次に、制御部１７０１は、プランジャ１４０７をオンとする（ステップＳ３０８）。これによりプランジャ１４０７の先部分は回転台１４０４に押圧される。次に、制御部１７０１は、回転台１４０４を右回転させる（ステップＳ３０９）。次に、制御部１７０１は、タイマーにより所定時間を計測する（ステップＳ３１０）。所定時間は、回転台１４０４が１８０°を超えて回転するのに必要な時間として定められる。制御部１７０１は、所定時間の間、回転台１４０４を回転させるモータ１４０５を通電する。 Next, the control unit 1701 turns on the plunger 1407 (step S308). As a result, the tip of the plunger 1407 is pressed against the turntable 1404. Next, the control unit 1701 rotates the turntable 1404 to the right (step S309). Next, the control unit 1701 measures a predetermined time with a timer (step S310). The predetermined time is determined as the time required for the turntable 1404 to rotate beyond 180 °. The controller 1701 energizes the motor 1405 that rotates the turntable 1404 for a predetermined time.

所定時間の間、プランジャ１４０７の先端は、回転台１４０４の側面に押圧されながら回転するが、ピボット穴と重なったところで、プランジャ１４０７の先端部がピボット穴に落ちて、回転が停止する。すなわち、制御部１７０１は、所定時間が経過したら回転台１４０４の回転を停止する（ステップＳ３１１）。モータ１４０５の駆動が停止するとプランジャ１４０７の針状の先端部分は、ピボット穴の最深部に落ちて精度を出すことができる。 During the predetermined time, the tip of the plunger 1407 rotates while being pressed against the side surface of the turntable 1404. When the tip of the plunger 1407 overlaps the pivot hole, the tip of the plunger 1407 falls into the pivot hole and stops rotating. That is, the controller 1701 stops the rotation of the turntable 1404 after a predetermined time has elapsed (step S311). When the driving of the motor 1405 is stopped, the needle-like tip portion of the plunger 1407 falls to the deepest part of the pivot hole, and accuracy can be obtained.

次に、制御部１７０１は、フォトインタラプタ１５１０の出力を読み込む（ステップＳ３１２）。制御部１７０１は、読み込んだ出力を参照して、フォトインタラプタ１５１０が遮光部１５０９により遮光されているか否かを判断する（ステップＳ３１３）。遮光されていない場合（ステップＳ３１３：Ｎｏ）、制御部１７０１は、キャリッジ１４０９を基準位置の方向へ移動させ（ステップＳ３１４）、ステップＳ３１２に戻る。 Next, the control unit 1701 reads the output of the photo interrupter 1510 (step S312). The control unit 1701 refers to the read output and determines whether or not the photo interrupter 1510 is shielded from light by the light shielding unit 1509 (step S313). When the light is not shielded (step S313: No), the control unit 1701 moves the carriage 1409 toward the reference position (step S314), and returns to step S312.

フォトインタラプタ１５１０が遮光部１５０９により遮光された状態となった場合（ステップＳ３１３：Ｙｅｓ）、制御部１７０１は、キャリッジ１４０９を停止させる（ステップＳ３１５）。これで、キャリッジ１４０９は、基準位置となる。 When the photo interrupter 1510 is shielded by the light shielding unit 1509 (step S313: Yes), the control unit 1701 stops the carriage 1409 (step S315). Thus, the carriage 1409 becomes the reference position.

次に、制御部１７０１は、赤外線通信部１５０５を介して、パターンボード１４０８の画像を診断支援装置１００に取り込ませる（ステップＳ３１６）。画像の取り込みが完了したら、制御部１７０１は、キャリッジ１４０９を所定量、回転台１４０４の方向に移動させる（ステップＳ３１７）。 Next, the control unit 1701 causes the diagnosis support apparatus 100 to capture the image of the pattern board 1408 via the infrared communication unit 1505 (step S316). When the image capture is completed, the control unit 1701 moves the carriage 1409 by a predetermined amount in the direction of the turntable 1404 (step S317).

制御部１７０１は、カメラ較正に必要な位置それぞれでの画像の取り込みが終了したかを判断する（ステップＳ３１８）。終了していなければ（ステップＳ３１８：Ｎｏ）、制御部１７０１は、ステップＳ３１６に戻り処理を繰り返す。 The control unit 1701 determines whether or not the image capturing at each position necessary for camera calibration is completed (step S318). If not completed (step S318: No), the controller 1701 returns to step S316 and repeats the process.

必要な画像の取り込みが終了した場合（ステップＳ３１８：Ｙｅｓ）、診断支援装置１００の較正部３５５は、取り込んだ画像を用いたカメラ較正を実行する（ステップＳ３１９）。例えば、較正部３５５は、画像より求めたパターンの所定位置（四角部分など）の座標と、予め定められた世界座標系での当該所定位置の座標との対応について計算を行い、ステレオカメラ１０２の内部パラメータと外部パラメータを求める。 When the necessary image has been captured (step S318: Yes), the calibration unit 355 of the diagnosis support apparatus 100 performs camera calibration using the captured image (step S319). For example, the calibration unit 355 calculates the correspondence between the coordinates of a predetermined position (square portion or the like) of the pattern obtained from the image and the coordinates of the predetermined position in a predetermined world coordinate system, and the stereo camera 102 Find internal and external parameters.

ステレオカメラ１０２のうち、他方についてもステップＳ３０１〜ステップＳ３１９と同様に処理を行い、内部パラメータと外部パラメータを求める（ステップＳ３２０〜ステップＳ３３８）。 The other of the stereo cameras 102 is processed in the same manner as in steps S301 to S319 to obtain internal parameters and external parameters (steps S320 to S338).

共通座標系は、例えば以下のように決定する。まず、回転台１４０４の回転中心をＹ軸とする。また、パターンの中心を通りパターンボード１４０８（キャリッジ１４０９）の移動方向に延長される直線と、Ｙ軸との交点を原点とする。原点からパターンの中心に向かう直線の方向（移動延長方向）がＺ軸となる。Ｙ軸およびＺ軸に対して直角となる軸がＸ軸となる。この結果、図５の共通座標系が決定される。パターンの中心の高さをステレオカメラ１０２の高さと一致させれば、Ｚ軸がステレオカメラ１０２の高さと一致する。 The common coordinate system is determined as follows, for example. First, let the rotation center of the turntable 1404 be the Y axis. In addition, the origin is the intersection of a straight line that passes through the center of the pattern and extends in the moving direction of the pattern board 1408 (carriage 1409) and the Y axis. The direction of the straight line from the origin to the center of the pattern (movement extension direction) is the Z axis. An axis perpendicular to the Y axis and the Z axis is the X axis. As a result, the common coordinate system of FIG. 5 is determined. If the height of the center of the pattern coincides with the height of the stereo camera 102, the Z axis coincides with the height of the stereo camera 102.

本実施形態の較正装置５００を用いることにより、２台のステレオカメラ１０２を別々にカメラ較正しても、片方のステレオカメラ１０２の座標系を、Ｙ軸を中心に１８０°回転させるだけで共通座標系へ変換することが可能となる。 By using the calibration device 500 of the present embodiment, even if the two stereo cameras 102 are separately calibrated, the coordinate system of one stereo camera 102 can be shared by simply rotating the coordinate system of the stereo camera 102 about 180 ° about the Y axis. It is possible to convert to a system.

図１９および図２０は、変形例１の診断支援装置１００−２（図１０、図１１）を載せた場合の較正装置５００の外観図である。基本構造は、図１４および図１６と同じである。異なるのは、Ｚ軸がカメラ高さより高くなることであるが、カメラ較正処理は図１８と同様となる。本実施形態の較正装置５００を用いれば、変形例１の診断支援装置１００−２に対しても、片方のステレオカメラ１０２の座標系を、Ｙ軸を中心に１８０°回転させるだけで共通座標系へ変換することが可能となる。 19 and 20 are external views of the calibration apparatus 500 when the diagnosis support apparatus 100-2 (FIGS. 10 and 11) of the first modification is mounted. The basic structure is the same as FIG. 14 and FIG. The difference is that the Z-axis is higher than the camera height, but the camera calibration process is the same as in FIG. If the calibration apparatus 500 of this embodiment is used, the common coordinate system can be obtained by rotating the coordinate system of one stereo camera 102 about the Y axis by 180 ° with respect to the diagnosis support apparatus 100-2 of the first modification. It becomes possible to convert to.

以上のように、本実施形態によれば、例えば以下のような効果が得られる。
（１）被験者である乳幼児が、対象者である母親の顔を直接見ながらの診断支援ができるため、診断の精度が向上する。
（２）１つの筐体でコンパクトに構成できるので、診断支援装置１台をテーブル（回転台）に載せる形で診断支援が実現できる。
（３）診断支援装置と被験者との距離、および、診断支援装置と対象者との距離を短く設定できるため、狭いスペースでも診断支援が実現できる。
（４）モニタ画面等を用いなくても較正が可能となる。
（５）複数のカメラそれぞれについて、カメラ単体でカメラ較正を行うことができるため、大掛かりな全体のカメラ較正を省略できる。 As described above, according to the present embodiment, for example, the following effects can be obtained.
(1) Since the infant who is the subject can perform diagnosis support while directly looking at the face of the mother who is the subject, the accuracy of diagnosis is improved.
(2) Since a single housing can be compactly configured, diagnosis support can be realized by placing one diagnosis support device on a table (rotary table).
(3) Since the distance between the diagnosis support apparatus and the subject and the distance between the diagnosis support apparatus and the subject can be set short, diagnosis support can be realized even in a narrow space.
(4) Calibration is possible without using a monitor screen or the like.
(5) Since camera calibration can be performed for each of a plurality of cameras by itself, large-scale overall camera calibration can be omitted.

１００診断支援装置
１０１筐体
１０２ａ、１０２ｂステレオカメラ
１０４ａ〜１０４ｃ較正用ＬＥＤ
１０５スピーカ
１０６ボタン
１０７赤外線通信部
１０８コネクタ
２０２ａ、２０２ｂ右カメラ
２０４ａ、２０４ｂ左カメラ
２０８駆動・ＩＦ部
２１０表示部
５００較正装置
１４００ベース台
１４０４回転台
１４０５モータ
１４０６回転軸
１４０７プランジャ
１４０８パターンボード
１４０９キャリッジ
１４１０ステッピングモータ
１４１１リードスクリュー
１４１２雌ネジ部
１４１３保持部
１４１４ａ〜１４１４ｄ凸部
１５０１、１５０２ピボット穴
１５０３フォトリフレクタ
１５０４ａ、１５０４ｂ、１５０４ｃ塗装エリア
１５０５赤外線通信部
１５０７シャフト
１５０８保持部
１５０９遮光部
１５１０フォトインタラプタ
１７０１制御部
１７０２プランジャ駆動部
１７０４テーブル回転モータ制御部
１７０６、１７０８ＡＤ変換器
１７１０ステッピングモータ制御部
１７１３表示部 DESCRIPTION OF SYMBOLS 100 Diagnosis support apparatus 101 Case 102a, 102b Stereo camera 104a-104c Calibration LED
105 Speaker 106 Button 107 Infrared communication unit 108 Connector 202a, 202b Right camera 204a, 204b Left camera 208 Drive / IF unit 210 Display unit 500 Calibration device 1400 Base table 1404 Rotary table 1405 Motor 1406 Rotary shaft 1407 Plunger 1408 Pattern board 1409 Carriage 1410 Stepping motor 1411 Lead screw 1412 Female thread portion 1413 Holding portions 1414a to 1414d Convex portions 1501, 1502 Pivot holes 1503 Photo reflectors 1504a, 1504b, 1504c Paint area 1505 Infrared communication portion 1507 Shaft 1508 Holding portion 1509 Light-shielding portion 1510 Photo interrupter 1701 Control portion 1702 Plunger drive unit 1704 Table rotation motor control unit 1706, 1 08 AD converter 1710 stepping motor control unit 1713 display unit

Claims

A housing,
A first imaging unit that images a subject and outputs a first image;
A second imaging unit that captures an image of the person facing the subject across the housing and outputs a second image;
A direction detection unit that detects the gaze direction of the subject as a first gaze direction represented by a first coordinate system based on the first image;
A position detection unit that detects the eye position of the subject as a first position represented in a second coordinate system based on the second image;
A process of converting the first line-of-sight direction into a second line-of-sight direction represented by the second coordinate system or a process of converting the first position into a second position represented by the first coordinate system is executed. A conversion unit;
Based on the second line-of-sight direction and the first position converted by the conversion unit, or based on the first line-of-sight direction and the second position, the subject gazes at the eye of the subject. A determination unit for determining whether or not
A diagnosis support apparatus comprising:

The first coordinate system is a coordinate system obtained by rotating the second coordinate system by a predetermined angle around a vertical coordinate axis of the second coordinate system.
The diagnosis support apparatus according to claim 1.

The first imaging unit is provided on the first end side of the casing, images a subject located in the direction of the second end of the casing,
The second imaging unit is provided on the second end side, and images a subject positioned in the direction of the first end.
The diagnosis support apparatus according to claim 1.

A display unit provided between the first end and the second end of the housing;
The diagnosis support apparatus according to claim 3.

Further comprising a light emitting unit for irradiating the subject with infrared rays,
The first imaging unit stereo-shoots the infrared reflected light reflected by the subject and outputs the first image which is a stereo image;
The direction detection unit detects the line-of-sight direction based on the stereo image;
The diagnosis support apparatus according to claim 1.

A light emitting unit for irradiating the subject with light;
A calibration unit that calibrates parameters used when the direction detection unit detects the line-of-sight direction based on the line-of-sight direction detected when the subject gazes at the light-emitting unit and the position of the light-emitting unit; Further comprising
The diagnosis support apparatus according to claim 5.