JP2007156689A - Light source position detection device and face recognition device using the same and self-propelled robot - Google Patents

Light source position detection device and face recognition device using the same and self-propelled robot Download PDF

Info

Publication number
JP2007156689A
JP2007156689A JP2005349119A JP2005349119A JP2007156689A JP 2007156689 A JP2007156689 A JP 2007156689A JP 2005349119 A JP2005349119 A JP 2005349119A JP 2005349119 A JP2005349119 A JP 2005349119A JP 2007156689 A JP2007156689 A JP 2007156689A
Authority
JP
Japan
Prior art keywords
light source
source position
photographing
face recognition
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005349119A
Other languages
Japanese (ja)
Inventor
Yoshihiro Furuyui
義浩 古結
Tetsuya Tomonaka
哲也 塘中
Ryota Hiura
亮太 日浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2005349119A priority Critical patent/JP2007156689A/en
Publication of JP2007156689A publication Critical patent/JP2007156689A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a light source position detection device for easily detecting the position of a light source and a face recognition device and a self-propelled robot using the same. <P>SOLUTION: This self-propelled robot having a face recognition function is provided with a front camera 13(face image photographing device) for photographing a person for face recognition; a user recognition part(face recognition processing part) for performing face recognition based on the photographic image of the front camera 13; a controller 51(light source position detection device); a photographic condition notification part 66 for notifying the person to be recognized of the information of the photographic conditions by the front camera 13; an omnidirectional camera 11(circumstance photographing device) for photographing a plurality of peripheral points; and a light source position decision part 65 for deciding the light source position based on the photographic image of the omnidirectional camera 11. The light source position deciding part 65 detects a region whose brightness is high in the photographic images of the omnidirectional camera 11, and determines the region corresponding to the region whose brightness is high in the photographic range of the omnidirectional camera 11 as a light source position. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、光源の位置を検出する光源位置検出装置、これを用いた顔認識装置及び自走式ロボットに関する。   The present invention relates to a light source position detection device that detects the position of a light source, a face recognition device using the same, and a self-propelled robot.

近年、画像処理技術の発展に伴い、撮像装置が撮影した画像から人物の顔を認識する顔認識装置が実用化されつつある。
このような顔認識装置としては、例えば後記の特許文献１に記載の顔画像識別装置が知られている。
特開２００３−２９６７１１号公報 In recent years, with the development of image processing technology, a face recognition device that recognizes a person's face from an image taken by an imaging device is being put into practical use.
As such a face recognition device, for example, a face image identification device described in Patent Document 1 described below is known.
JP 2003-296711 A

しかしながら、撮像装置の撮影条件は常に一定とは限らず、場合によっては、逆光状態や横光状態となってしまうことがある。逆光状態で撮影した画像では、認識対象人物の顔の明るさが不足するので、顔を正しく認識することが困難である。また、横光状態で撮影した画像では、認識対象人物の顔に明るい部分と暗い部分とができてしまうので、逆光の場合よりもさらに顔の認識が困難となってしまう。   However, the shooting conditions of the imaging device are not always constant, and in some cases, the backlighting state or the lateral light state may occur. In an image captured in a backlight state, the brightness of the face of the person to be recognized is insufficient, so it is difficult to correctly recognize the face. Further, in an image shot in a lateral light state, a bright part and a dark part are formed on the face of the person to be recognized, so that it is more difficult to recognize the face than in the case of backlight.

特許文献１に記載の顔画像識別装置は、顔画像における顔の明るさと他の部分の明るさとの差が所定値以上に大きい場合には、逆光状態であると判断して、認識対象人物に動作を停止する旨を伝えたのちに動作を停止する構成とされている。
しかし、この顔画像識別装置では、逆光状態になった場合には単に動作を停止するだけなので、認識対象人物がどのような条件であれば顔認識を行うことができるかを知ることができず、対処が困難であった。
また、この顔画像識別装置では、横光状態を検出することはできないので、横光状態である場合には、そのまま顔認識処理が継続されててしまい、結果的に顔認識処理に失敗してしまう可能性がある。
このため、顔認識を正確に行うためには、撮像装置に対する光源の位置を把握している必要がある。 When the difference between the brightness of the face and the brightness of other parts in the face image is greater than or equal to a predetermined value, the face image identification device described in Patent Document 1 determines that the backlight is in the backlit state and It is configured to stop the operation after informing that the operation is stopped.
However, in this face image identification device, the operation is simply stopped when the backlight is in a backlit state, and it is impossible to know under what conditions the recognition target person can perform face recognition. It was difficult to deal with.
In addition, since this face image identification device cannot detect a lateral light state, the face recognition process is continued as it is in the case of a lateral light state, and as a result, the face recognition process may fail. There is sex.
For this reason, in order to accurately perform face recognition, it is necessary to grasp the position of the light source with respect to the imaging device.

本発明は、上記問題を解決するためになされたもので、光源の位置を容易に検出することができる光源位置検出装置、これを用いた顔認識装置及び自走式ロボットを提供することを目的とする。   The present invention has been made to solve the above-described problem, and an object of the present invention is to provide a light source position detection device capable of easily detecting the position of a light source, a face recognition device using the same, and a self-propelled robot. And

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、周囲の複数点を撮影する周辺状況撮影装置と、該周辺状況撮影装置の撮影画像に基づいて光源位置を判定する光源位置判定部とを有している光源位置検出装置を提供する。 In order to solve the above problems, the present invention employs the following means.
The present invention provides a light source position detection device having a peripheral situation imaging apparatus that captures a plurality of surrounding points and a light source position determination unit that determines a light source position based on a captured image of the peripheral situation imaging apparatus. .

このように構成される光源位置検出装置では、周辺状況撮影装置によって撮影された周囲の複数点についての撮影画像に基づいて光源位置が検出される。すなわち、この光源位置検出装置では、光源の検出範囲が広いので、光源の位置を容易に検出することができる。
ここで、周辺状況撮影装置としては、例えば広角の撮像装置や全方位カメラ等、周囲の複数点を同時に撮影可能なものを用いてもよく、複数の撮像装置をそれぞれ異なる方向に向けた構成のものを用いてもよく、また、撮像装置の向きを変更することによって周囲の複数点を撮影する構成のものを用いても良い。 In the light source position detection device configured as described above, the light source position is detected based on the captured images of a plurality of surrounding points imaged by the peripheral situation imaging device. That is, in this light source position detection device, since the detection range of the light source is wide, the position of the light source can be easily detected.
Here, as the peripheral situation photographing device, for example, a wide-angle imaging device, an omnidirectional camera, or the like that can simultaneously photograph a plurality of surrounding points may be used, and the plurality of imaging devices are configured in different directions. A configuration may be used, or a configuration in which a plurality of surrounding points are captured by changing the orientation of the imaging device may be used.

前記光源位置判定部が、前記周辺状況撮影装置の撮影画像の中での明度の高い領域を検出し、前記周辺状況撮影装置の撮影範囲のうち前記明度の高い領域に対応する領域を光源位置と判断する構成とされていても良い。
この場合には、光源位置判定部が、周辺状況撮影装置の撮影画像の中での明度に基づいて光源位置を検出するので、光源位置の検出を確実に行うことができる。 The light source position determination unit detects a region with high brightness in a captured image of the peripheral situation imaging apparatus, and an area corresponding to the high brightness area in the imaging range of the peripheral situation imaging apparatus is defined as a light source position. It may be configured to determine.
In this case, the light source position determination unit detects the light source position based on the brightness in the photographed image of the peripheral situation photographing device, so that the light source position can be reliably detected.

前記光源位置判定部が、前記周辺状況撮影装置の撮影画像の明度の分布の中心を求め、前記周辺状況撮影装置の撮影範囲のうち前記明度の分布の中心に対応する位置を前記光源位置と判断する構成とされていても良い。
この場合には、周辺状況撮影装置の撮影画像における明度の分布の中心に対応する位置が光源位置として判断されるので、光源位置の検出精度が高い。 The light source position determination unit obtains the center of the brightness distribution of the captured image of the peripheral situation photographing apparatus, and determines the position corresponding to the center of the brightness distribution in the photographing range of the peripheral situation photographing apparatus as the light source position. It may be configured to.
In this case, since the position corresponding to the center of the brightness distribution in the photographed image of the peripheral situation photographing device is determined as the light source position, the detection accuracy of the light source position is high.

前記光源位置判定部が、前記周辺状況撮影装置の撮影画像上に複数の検出領域を設定し、該各検出領域についてそれぞれ明度を検出し、前記周辺状況撮影装置の撮影範囲のうち最も明度の高い前記検出領域に対応する位置を光源位置と判断する構成とされていても良い。
この場合には、光源位置判定部が、周辺状況撮影装置の撮影画像上に複数の検出領域を設定し、各検出領域間での明度の比較を行うことで光源位置を検出する。
これにより、光源位置判定部は、撮影画像の一部のみについて明度の算出を行えば良いので、速やかに光源位置の判定を行うことができる。 The light source position determination unit sets a plurality of detection areas on the photographed image of the peripheral situation photographing apparatus, detects the brightness for each of the detection areas, and has the highest brightness among the photographing ranges of the peripheral situation photographing apparatus. The position corresponding to the detection area may be determined as the light source position.
In this case, the light source position determination unit detects a light source position by setting a plurality of detection areas on the captured image of the peripheral situation imaging apparatus and comparing the brightness between the detection areas.
As a result, the light source position determination unit only needs to calculate the brightness for only a part of the captured image, and thus can quickly determine the light source position.

また、本発明に係る光源位置検出装置は、前記光源位置判定部が、前記周辺状況撮影装置の撮影画像上に複数の検出領域を設定し、該各検出領域についてそれぞれ明度を検出し、前記周辺状況撮影装置の撮影画像上に、前記周辺状況撮影装置の撮影範囲の中心から前記各検出領域に向う明度ベクトルを設定し、該各明度ベクトルの大きさを対応する前記検出領域の明度に比例した大きさとして、前記各明度ベクトルを合成した合成明度ベクトルの向く方向を、光源位置と判断する構成とされていても良い。
この場合には、光源位置判定部が、周辺状況撮影装置の撮影画像上に複数の検出領域を設定し、各検出領域間での明度の比較を行うことで光源位置を検出する。
これにより、光源位置判定部は、撮影画像の一部のみについて明度の算出を行えば良いので、速やかに光源位置の判定を行うことができる。 Further, in the light source position detection device according to the present invention, the light source position determination unit sets a plurality of detection areas on a captured image of the peripheral situation imaging apparatus, detects the brightness for each of the detection areas, and On the captured image of the situation imaging apparatus, a brightness vector from the center of the imaging range of the peripheral situation imaging apparatus to each detection area is set, and the magnitude of each brightness vector is proportional to the brightness of the corresponding detection area The size may be configured such that the direction in which the combined lightness vector obtained by combining the lightness vectors faces is the light source position.
In this case, the light source position determination unit detects a light source position by setting a plurality of detection areas on the captured image of the peripheral situation imaging apparatus and comparing the brightness between the detection areas.
As a result, the light source position determination unit only needs to calculate the brightness for only a part of the captured image, and thus can quickly determine the light source position.

また、本発明は、顔認識対象者を撮影する顔画像撮影装置と、該顔画像撮影装置の撮影画像に基づいて顔認識を行う顔認識処理部と、請求項１から５のいずれかに記載の光源位置検出装置と、前記顔画像撮影装置による撮影条件の情報を前記顔認識対象者に通知する撮影条件通知部とを有し、該撮影条件通知部が、前記光源位置検出装置の出力に基づいて、前記顔画像装置の撮影条件が逆光状態または横光状態にあるかどうかを判定し、前記撮影条件が逆光状態または横光状態にある場合には、その情報を前記顔認識対象者に通知する顔認識装置を提供する。   Furthermore, the present invention provides a face image capturing device that captures a face recognition target person, a face recognition processing unit that performs face recognition based on a captured image of the face image capturing device, and any one of claims 1 to 5. A light source position detecting device and a photographing condition notifying unit for notifying the face recognition subject of information of photographing conditions by the face image photographing device, and the photographing condition notifying unit outputs to the output of the light source position detecting device. Based on this, it is determined whether or not the photographing condition of the face image device is in a backlight state or a lateral light state. When the photographing condition is in a backlight state or a lateral light state, the information is notified to the face recognition target person. A face recognition device is provided.

このように構成される顔認識装置では、顔画像撮影装置の撮影条件が逆光状態または横光状態にある場合には、撮影条件通知部によって顔認識対象者にその旨が通知される。
これにより、顔認識対象者が撮影条件を適切に調整することが可能となり、顔認識装置による顔認識を良好に行うことができる。
ここで、撮影条件通知部は、顔認識対象者に対して音声によって撮影条件を通知する構成としてもよく、また、ディスプレイや通知ランプ等を用いて視覚的に撮影条件を通知する構成としても良い。
また、顔画像撮影装置を、光源位置検出装置の周辺状況撮影装置として用いても良い。この場合には、撮影装置の設置数が少なくて済むので、装置コストが低くて済む。 In the face recognition device configured as described above, when the photographing condition of the face image photographing device is in the backlighting state or the lateral lighting state, the photographing condition notification unit notifies the face recognition target person to that effect.
As a result, the face recognition target person can appropriately adjust the shooting conditions, and face recognition by the face recognition device can be performed satisfactorily.
Here, the shooting condition notification unit may be configured to notify the face recognition target person of the shooting condition by voice, or may be configured to notify the shooting condition visually using a display, a notification lamp, or the like. .
Further, the face image photographing device may be used as a peripheral situation photographing device of the light source position detecting device. In this case, since the number of installations of the photographing apparatus can be reduced, the apparatus cost can be reduced.

また、本発明は、本発明に係る顔認識装置を有している自走式ロボットを提供する。
このように構成される自走式ロボットでは、顔認識を良好に行うことができる。 The present invention also provides a self-propelled robot having the face recognition device according to the present invention.
The self-propelled robot configured as described above can perform face recognition well.

本発明に係る光源位置検出装置によれば、光源の位置を容易に検出することができる。
また、本発明に係る顔認識装置及びこれを用いた自走式ロボットでは、光源位置を把握することができるので、顔認識を良好に行うことができる。 According to the light source position detection device of the present invention, the position of the light source can be easily detected.
Moreover, in the face recognition apparatus according to the present invention and the self-propelled robot using the same, the light source position can be grasped, so that face recognition can be performed satisfactorily.

以下に、本発明に係る自走式ロボット（以下、単に「ロボット」という。）の一実施形態について、図面を参照して説明する。
図１は、本発明の一の実施形態に係るロボットの正面図、図２は、図１に示したロボットの左側面図である。
図１および図２に示すように、ロボット本体１には、頭部２と、この頭部２を下方から支持する胸部３と、この胸部３の右側に設けられた右腕部４ａ、胸部３の左側に設けられた左腕部４ｂと、胸部３の下方に接続された腰部５と、この腰部５の下方に接続されたスカート部６と、このスカート部６の下方に接続された脚部７とが設けられている。 Hereinafter, an embodiment of a self-propelled robot (hereinafter simply referred to as “robot”) according to the present invention will be described with reference to the drawings.
FIG. 1 is a front view of a robot according to an embodiment of the present invention, and FIG. 2 is a left side view of the robot shown in FIG.
As shown in FIGS. 1 and 2, the robot body 1 includes a head 2, a chest 3 that supports the head 2 from below, a right arm 4 a provided on the right side of the chest 3, and a chest 3. A left arm portion 4b provided on the left side, a waist portion 5 connected below the chest portion 3, a skirt portion 6 connected below the waist portion 5, and a leg portion 7 connected below the skirt portion 6; Is provided.

頭部２には、頭頂部近傍に全方位カメラ１１（周辺状況撮影装置）が一つ設けられている。全方位カメラ１１は、例えば、軸線を略垂直にして設けられる双曲面ミラーと、この双曲面ミラーの頂点に対向配置されるカメラ本体とを有している。この全方位カメラ１１では、双曲面ミラーに対してその軸線回りの全方向から入射した光が、双曲面ミラーによって反射されてカメラ本体に入射するので、全方位カメラ１１の撮影画像Ｐ（図４参照）には、カメラ本体の撮像範囲の中心Ｃと同軸な円環状の領域に、周囲３６０度の景色が同時に写り込む。
この全方位カメラ１１の外周に沿って複数の赤外線ＬＥＤ１２が所定の間隔で円環上に配置されている。
頭部２の前面の中央近傍には、図１に示すように、前方を撮像するための前方カメラ１３が正面視して右側に一つ、マイクロフォン１４が正面視して左側に一つ、それぞれ設けられている。 The head 2 is provided with one omnidirectional camera 11 (peripheral situation photographing device) near the top of the head. The omnidirectional camera 11 includes, for example, a hyperboloid mirror provided with an axis substantially vertical, and a camera body disposed opposite to the apex of the hyperboloid mirror. In this omnidirectional camera 11, light incident on the hyperboloidal mirror from all directions around its axis is reflected by the hyperboloidal mirror and incident on the camera body. (See), a landscape of 360 degrees around is simultaneously reflected in an annular area coaxial with the center C of the imaging range of the camera body.
A plurality of infrared LEDs 12 are arranged on the ring at predetermined intervals along the outer periphery of the omnidirectional camera 11.
In the vicinity of the center of the front surface of the head 2, as shown in FIG. 1, the front camera 13 for imaging the front is one on the right side when viewed from the front, and the microphone 14 is one on the left side when viewed from the front. Is provided.

胸部３の前面の中央近傍には、モニタ１５が一つ設けられている。このモニタ１５の上方には、人を検知するための超音波距離センサ１６が一つ設けられている。モニタ１５の下方には、電源スイッチ１７が一つ設けられている。超音波距離センサ１６の上方には、２つのスピーカ１８が左右に一つずつ設けられている。また、図２に示すように、胸部３の背面には、荷物を収納することができるランドセル部３３が設けられている。ランドセル部３３には、上部に設けたヒンジ周りに回動可能な開閉扉３３ａが設けられている。図１に示すように、胸部３の左右の肩部には、マンマシンインターフェースとして機能する肩スイッチ１９がそれぞれ一つずつ設けられている。肩スイッチ１９には、例えば、タッチセンサが採用されている。   One monitor 15 is provided near the center of the front surface of the chest 3. One ultrasonic distance sensor 16 for detecting a person is provided above the monitor 15. One power switch 17 is provided below the monitor 15. Above the ultrasonic distance sensor 16, two speakers 18 are provided one on each side. In addition, as shown in FIG. 2, a backpack 33 that can store luggage is provided on the back of the chest 3. The school bag 33 is provided with an opening / closing door 33a that can be rotated around a hinge provided at the top. As shown in FIG. 1, one shoulder switch 19 that functions as a man-machine interface is provided on each of the left and right shoulders of the chest 3. For the shoulder switch 19, for example, a touch sensor is employed.

右腕部４ａおよび左腕部４ｂには、多関節構造が採用されている。右腕部４ａ、左腕部４ｂにおいて、胸部３との接続部近傍には、体や物の挟み込みを検知して腕の動作を止めるための脇スイッチ２０がそれぞれ設けられている。図１に示すように、右腕部４ａの手のひら部分には、マンマシンインターフェースとして機能する握手スイッチ２１が内蔵されている。これら脇スイッチ２０や握手スイッチ２１には、例えば、押圧センサが採用される。   A multi-joint structure is adopted for the right arm portion 4a and the left arm portion 4b. In the right arm portion 4a and the left arm portion 4b, side switches 20 are provided in the vicinity of the connection portion with the chest portion 3 to detect the pinching of a body or an object and stop the movement of the arm. As shown in FIG. 1, a handshake switch 21 that functions as a man-machine interface is built in the palm of the right arm 4a. For the side switch 20 and the handshake switch 21, for example, a pressure sensor is employed.

腰部５の前面の中央近傍には、人を検知するための超音波距離センサ２２が左右に一つずつ設けられている。これら超音波距離センサ２２の下方には、複数の赤外線センサ２３が配列されたセンサ領域２４が設けられている。これら赤外線センサ２３は、ロボット本体１の下方前方にある障害物等を検出するためのものである。図１および図２に示すように、腰部５の下方には、前面および背面において、音源方向を検出するためのマイクロフォン２５が左右に一つずつ、計４つ設けられている。図２に示すように、腰部５の側面の左右には、本体を持ち上げるときに使用する取手部２６がそれぞれ一つずつ設けられている。取手部２６は、凹所とされており、操作者の手が挿入できるようになっている。   In the vicinity of the center of the front surface of the waist 5, one ultrasonic distance sensor 22 for detecting a person is provided on each side. Below these ultrasonic distance sensors 22, a sensor region 24 in which a plurality of infrared sensors 23 are arranged is provided. These infrared sensors 23 are for detecting an obstacle or the like in the lower front of the robot body 1. As shown in FIG. 1 and FIG. 2, a total of four microphones 25 are provided below the waist 5 for detecting the sound source direction, one on the left and one on the front and back. As shown in FIG. 2, one handle portion 26 used for lifting the main body is provided on each of the left and right sides of the waist portion 5. The handle 26 is a recess so that the operator's hand can be inserted.

スカート部６の前面下方には、段差を検出するための赤外線センサ２７が、中央および左右に計３つ設けられている。図２に示すように、スカート部６の背面には、充電コネクタ２８が設けられている。   Below the front surface of the skirt portion 6, a total of three infrared sensors 27 for detecting a step are provided in the center and on the left and right. As shown in FIG. 2, a charging connector 28 is provided on the back surface of the skirt portion 6.

図１に示すように、脚部７の前面には、側方の距離を検出するための赤外線センサ２９が左右に一つずつ設けられている。これら赤外線センサ２９は、主に段差検出に用いられるものである。
図２に示すように、脚部７の背面には、充電ステーションにロボット本体１を位置固定するためのフック３０が設けられている。脚部７は、走行用車輪３１および４つのボールキャスタ３２を備えた台車とされている。
上述したロボットにおいて、胸部３の超音波距離センサ１６、腰部５の超音波距離センサ２２およびマイクロフォン２５は、ロボット周辺にいる人物を検知する人検知センサ３４として機能する。 As shown in FIG. 1, one infrared sensor 29 for detecting a lateral distance is provided on the front surface of the leg portion 7 on the left and right sides. These infrared sensors 29 are mainly used for level difference detection.
As shown in FIG. 2, a hook 30 for fixing the position of the robot body 1 to the charging station is provided on the back surface of the leg portion 7. The leg portion 7 is a carriage provided with traveling wheels 31 and four ball casters 32.
In the robot described above, the ultrasonic distance sensor 16 in the chest 3, the ultrasonic distance sensor 22 in the waist 5, and the microphone 25 function as a human detection sensor 34 that detects a person around the robot.

このようなロボットは、ロボット本体１に内蔵されたバッテリからの電源供給により、作業空間を自立的に移動することが可能な構成を備えており、一般家庭等の屋内を作業空間として人間と共存し、例えば、一般家庭内でロボットの所有者や操作者などのユーザの生活を補助・支援・介護するための各種サービスを提供するために用いられる。
そのため、ロボットは、ユーザとの会話を実現させる会話機能のほか、ユーザの行動を見守ったり、ユーザの行動を補助したり、ユーザと一緒に行動したりする機能を備えている。このような機能は、例えば、後述するロボット本体１の内部に内蔵されたマイクロコンピュータ等からなる制御装置により実現されるものである。制御装置には、図１および図２に示した各種カメラや各種センサ等が接続されており、カメラからの画像情報やセンサからのセンサ検出情報を取得し、これらの情報に基づいて各種プログラムを実行することにより、上述した各種機能を実現させる。なお、ロボット本体１の形状としては、図１および図２に示した形状に限られず、愛玩用に動物を模したものなど、種々のものを採用することが可能である。 Such a robot has a configuration capable of moving independently in a work space by supplying power from a battery built in the robot body 1, and coexists with a human being as a work space indoors. For example, it is used to provide various services for assisting, supporting, and caring for the lives of users such as robot owners and operators in general households.
Therefore, in addition to a conversation function that realizes a conversation with the user, the robot has a function of watching the user's action, assisting the user's action, and acting with the user. Such a function is realized by, for example, a control device including a microcomputer or the like built in the robot body 1 described later. Various cameras and various sensors shown in FIGS. 1 and 2 are connected to the control device, acquire image information from the cameras and sensor detection information from the sensors, and execute various programs based on these information. By executing this, the various functions described above are realized. The shape of the robot body 1 is not limited to the shape shown in FIGS. 1 and 2, and various shapes such as a model imitating an animal for pets can be adopted.

以下、ロボット本体１に内蔵されるロボットの電気的構成について図３を参照して説明する。図３において、図１乃至図２と同様の構成要素には、同一の符号を付している。
図３に示すように、本実施形態に係るロボットは、その本体内部に、制御装置５１、画像処理部５２、音声処理部５３、表示制御部５４、無線通信部５５、駆動制御部５６、駆動機構５７、およびバッテリ５８を備えている。
画像処理部５２、音声処理部５３、表示制御部５４、無線通信部５５、および駆動制御部５６は、制御装置５１と互いに接続されており、制御装置５１からの制御信号に基づいて各種処理を実行するとともに、その処理結果や各種センサからの情報等を制御装置５１へ提供する。バッテリ５８は、各構成要素に対して電力を供給する電源装置として機能する。 Hereinafter, the electrical configuration of the robot built in the robot body 1 will be described with reference to FIG. 3, the same components as those in FIGS. 1 and 2 are denoted by the same reference numerals.
As shown in FIG. 3, the robot according to the present embodiment includes a control device 51, an image processing unit 52, an audio processing unit 53, a display control unit 54, a wireless communication unit 55, a drive control unit 56, and a drive inside the main body. A mechanism 57 and a battery 58 are provided.
The image processing unit 52, the sound processing unit 53, the display control unit 54, the wireless communication unit 55, and the drive control unit 56 are connected to the control device 51, and perform various processes based on control signals from the control device 51. In addition to the execution, the processing result, information from various sensors, and the like are provided to the control device 51. The battery 58 functions as a power supply device that supplies power to each component.

画像処理部５２は、制御装置５１からの制御信号に基づいて、図１に示した全方位カメラ１１、前方カメラ１３によって撮影された画像を処理して、制御装置５１へ出力する。
音声処理部５３は、制御装置５１からの制御信号に基づいて、マイクロフォン１４から入力される音声信号を認識する音声認識処理を実行し、この音声認識結果を制御装置５１へ出力する。更に、音声処理部５３は、制御装置５１から供給される音声データに基づいて、スピーカ１８から発すべき音声信号を生成する音声合成処理を実行し、この音声信号をスピーカ１８へ出力する。すなわち、制御装置５１内の発話に関する情報処理、並びに、上記音声処理部５３、マイクロフォン１４、およびスピーカ１８等により、このロボット本体１の発話手段が構成される。
表示制御部５４は、制御装置５１から与えられた画像データを処理して、モニタ１５に表示させる。 The image processing unit 52 processes the images taken by the omnidirectional camera 11 and the front camera 13 shown in FIG. 1 based on the control signal from the control device 51 and outputs the processed images to the control device 51.
The speech processing unit 53 executes speech recognition processing for recognizing the speech signal input from the microphone 14 based on the control signal from the control device 51, and outputs the speech recognition result to the control device 51. Further, the voice processing unit 53 executes voice synthesis processing for generating a voice signal to be emitted from the speaker 18 based on the voice data supplied from the control device 51, and outputs the voice signal to the speaker 18. That is, the information processing related to the utterance in the control device 51, the voice processing unit 53, the microphone 14, the speaker 18, and the like constitute the utterance means of the robot body 1.
The display control unit 54 processes the image data given from the control device 51 and displays it on the monitor 15.

無線通信部５５は、アンテナ５５ａを介して外部との無線通信を実行する。具体的には、無線通信部５５は、外部に設けられた情報管理装置（図示せず）とネットワークを介して接続することにより、両者間での情報の授受を実現させる。
駆動制御部５６は、制御装置５１からの指令に応じて走行用駆動機構５７を制御することにより、走行用車輪３１を駆動してロボット本体１の走行および操舵を実行する。更に、駆動制御部５６は、頭部２と胸部３との間の首関節や、胸部３と右腕部４ａ間、胸部３と左腕部４ｂ間の肩関節、右腕部４ａ、左腕部４ｂ内の肘関節、手首関節等を駆動するためにそれぞれ設けられている各駆動機構（図示略）を制御することにより、ロボットの腕等を駆動し、様々な動作を実現させる。また、上記頭部２の顔表情についても、モータ等の駆動機構を制御することにより可変となっている。
バッテリ５８は、充電コネクタ２８が家庭内に設けられた充電ステーション（図示せず）に電気的に接続することにより自動的に充電される。 The wireless communication unit 55 performs wireless communication with the outside via the antenna 55a. Specifically, the wireless communication unit 55 is connected to an information management device (not shown) provided outside via a network, thereby realizing information exchange between the two.
The drive control unit 56 controls the traveling drive mechanism 57 in accordance with a command from the control device 51 to drive the traveling wheel 31 to execute traveling and steering of the robot body 1. Further, the drive control unit 56 includes a neck joint between the head 2 and the chest part 3, a shoulder joint between the chest part 3 and the right arm part 4a, a shoulder joint between the chest part 3 and the left arm part 4b, a right arm part 4a, and a left arm part 4b. By controlling each drive mechanism (not shown) provided to drive the elbow joint, wrist joint and the like, the robot arm and the like are driven to realize various operations. The facial expression of the head 2 is also variable by controlling a driving mechanism such as a motor.
The battery 58 is automatically charged when the charging connector 28 is electrically connected to a charging station (not shown) provided in the home.

制御装置５１は、上述したように、ロボット本体１の各構成要素を制御するものであり、動作モード設定部６１、動作モード実行部６２、ユーザ認識部（顔認識処理部）６３、自己位置認識部６４、光源位置判定部６５、撮影状況通知部６６、サービス用スケジュール情報管理部７０、動作アプリケーション記憶部７２等を備えている。   As described above, the control device 51 controls each component of the robot body 1, and includes an operation mode setting unit 61, an operation mode execution unit 62, a user recognition unit (face recognition processing unit) 63, and a self-position recognition. Unit 64, light source position determination unit 65, imaging state notification unit 66, service schedule information management unit 70, operation application storage unit 72, and the like.

上記サービス用スケジュール情報管理部７０は、ユーザにより予約されたサービス用スケジュール情報を管理する。このサービス用スケジュール情報は、予約を登録したユーザの識別番号、予約されたサービスの内容、該サービスの開始時間ならびに終了時間が互いに対応付けられた情報である。サービス用スケジュール情報管理部７０は、一定時間間隔でこのサービス用スケジュール情報を参照し、予約開始時刻になると、予約開始時刻となったサービスの内容、終了時間、ユーザの識別番号等を予約開始情報として動作モード設定部６１へ出力する。   The service schedule information management unit 70 manages service schedule information reserved by the user. The service schedule information is information in which the identification number of the user who registered the reservation, the content of the reserved service, the start time and the end time of the service are associated with each other. The service schedule information management unit 70 refers to the service schedule information at regular time intervals. When the reservation start time is reached, the service content, the end time, the user identification number, etc., at the reservation start time are set as the reservation start information. To the operation mode setting unit 61.

動作アプリケーション記憶部７２には、後述する各種動作モードを実現させるために必要となる各種動作アプリケーションが格納されているほか、該動作アプリケーションを実行するのに必要となる付加情報等、例えば、家庭内の地図情報、ユーザへの話かけを行うための音声データ、ユーザとの会話時やユーザとの対話時における身振り動作の駆動データ等が格納されている。
上記地図情報は、ロボット本体１が家庭内を自律的に移動するために必要となるマップ情報であり、ユーザにより予め登録された家庭内の所定の位置（例えば、テラス、リビング、寝室、玄関等の各任意位置）に関する位置情報、後述する巡回モードにおいて巡回を行う各巡回ポイントの位置情報、充電ステーションの位置情報、並びに、これらを移動するために必要となる経路情報等が含まれている。 The operation application storage unit 72 stores various operation applications necessary for realizing various operation modes described later, and additional information necessary for executing the operation application, for example, in the home Map information, voice data for talking to the user, driving data for gesture operation during conversation with the user or dialogue with the user, and the like are stored.
The map information is map information necessary for the robot body 1 to move autonomously in the home, and a predetermined location in the home (for example, terrace, living room, bedroom, entrance, etc.) registered in advance by the user. Position information on each arbitrary position), position information of each traveling point that performs a patrol in a patrol mode to be described later, position information of a charging station, route information necessary to move these, and the like.

動作モード設定部６１は、上記サービス用スケジュール情報管理部７０および音声処理部５３から入力されたユーザからのサービス要求指令に基づいて、動作モード実行部６２に実行させる動作モードを現在のモードとして設定する。
動作モード実行部６２は、動作モード設定部６１により現在のモードとして設定された動作モードに対応する動作アプリケーションを動作アプリケーション記憶部７２から読み出し、この動作アプリケーションを実行することにより、各種動作モードに基づくサービス等をユーザに提供する。 The operation mode setting unit 61 sets the operation mode to be executed by the operation mode execution unit 62 as the current mode based on the service request command from the user input from the service schedule information management unit 70 and the voice processing unit 53. To do.
The operation mode execution unit 62 reads out an operation application corresponding to the operation mode set as the current mode by the operation mode setting unit 61 from the operation application storage unit 72, and executes the operation application to thereby perform various operation modes. Provide services to users.

ユーザ認識部６３は、画像処理部５２から受け付けた画像に基づいて顔認証を行うことにより、予め登録されているユーザを識別する。顔認証によるユーザ認証の手法については、公知の技術を採用することが可能である。   The user recognition unit 63 identifies a user registered in advance by performing face authentication based on the image received from the image processing unit 52. A known technique can be adopted as a user authentication method using face authentication.

自己位置認識部６４は、画像処理部５２から受け付けた画像情報に基づいてロボット本体１の位置および方位（向き、姿勢）を認識するとともに、上記地図情報を参照することにより、家庭内における現在位置を特定する。このように、自己の位置を常に把握するこのできる自己位置認識部６４を備えているので、当該ロボットは、自律的に家庭内を移動することができる。   The self-position recognition unit 64 recognizes the position and orientation (orientation and orientation) of the robot main body 1 based on the image information received from the image processing unit 52, and refers to the map information to thereby determine the current position in the home. Is identified. As described above, since the self-position recognizing unit 64 capable of always grasping the self-position is provided, the robot can autonomously move in the home.

光源位置判定部６５は、画像処理部５２から受け付けた画像情報に基づいてロボット本体１に対する光源の位置を判定する。
撮影状況通知部６６は、ユーザの顔認証時における前方カメラ１３による撮影条件の情報をユーザに通知する。 The light source position determination unit 65 determines the position of the light source with respect to the robot body 1 based on the image information received from the image processing unit 52.
The shooting state notification unit 66 notifies the user of information on shooting conditions of the front camera 13 at the time of user face authentication.

上述した制御装置５１は、例えば、ＣＰＵ（中央演算装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えるマイクロコンピュータ等により構成されている。上述した各部を実現するための一連の処理手順は、プログラムの形式でＲＯＭ等に記録されており、このプログラムをＣＰＵがＲＡＭ等に読み出して、情報の加工・演算処理を実行することにより、上述の動作モード設定部６１、動作モード実行部６２等の機能や各動作モードの実行によるサービスの提供が実現される。   The control device 51 described above is configured by, for example, a microcomputer including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. A series of processing procedures for realizing each unit described above is recorded in a ROM or the like in the form of a program, and the CPU reads the program into the RAM or the like and executes information processing / calculation processing. The service is provided by the functions of the operation mode setting unit 61, the operation mode execution unit 62, and the like, and the execution of each operation mode.

次に、本実施形態に係るロボットの動作について説明する。
まず、図３の動作モード設定部６１は、動作モードに対応する各種キーワード等が音声により入力された場合、或いは、サービス用スケジュール情報管理部７０から予約開始情報を受け付けた場合に、対応する動作モードを現在のモードとして設定する。
このようにして、所定の動作モードが現在のモードとして設定されると、動作モード実行部６２は、現在のモードとして設定された動作モードに対応する動作アプリケーションを動作アプリケーション記憶部７２から読み出して実行する。これにより、各種動作モードに対応するサービスがユーザに対して提供されることとなる。 Next, the operation of the robot according to this embodiment will be described.
First, the operation mode setting unit 61 in FIG. 3 operates when a keyword or the like corresponding to the operation mode is input by voice or when reservation start information is received from the service schedule information management unit 70. Set the mode as the current mode.
When the predetermined operation mode is set as the current mode in this way, the operation mode execution unit 62 reads out the operation application corresponding to the operation mode set as the current mode from the operation application storage unit 72 and executes it. To do. As a result, services corresponding to various operation modes are provided to the user.

一方、上述のようなサービスの提供と並行して、ユーザ認識部６３によりサービスを提供している相手であるユーザの認証が行われる。
ユーザの認証にあたっては、光源位置判定部６５によって、ロボット本体１の周囲における光源位置の検出が行われるとともに、この光源位置の情報に基づいて、前方カメラ１３の撮影条件が逆光状態または横光状態にあるかどうかが判定される。光源位置判定部６５による光源位置の検出方法については後述する。 On the other hand, in parallel with the provision of the service as described above, the user recognition unit 63 authenticates the user who is providing the service.
When authenticating the user, the light source position determination unit 65 detects the light source position around the robot body 1, and the shooting condition of the front camera 13 is set to the backlight state or the lateral light state based on the information on the light source position. It is determined whether it exists. A method of detecting the light source position by the light source position determination unit 65 will be described later.

光源位置判定部６５によって前方カメラ１３の撮影条件が逆光状態または横光状態にあると判定された場合には、制御装置５１は、撮影情報通知部６６に、現在の撮影条件をユーザに通知させる指令を送る。
撮影情報通知部６６は、例えば、音声処理部５３に動作指令を送って、スピーカ１８から撮影条件を音声として出力させるか、もしくは、表示制御部５４に動作指令を送って、モニタ１５上に撮影条件を文字や画像として表示させることで、現在の撮影条件をユーザに通知する。本実施形態では、撮影情報通知部６６は、音声処理部５３に動作指令を送って、スピーカ１８から撮影条件を音声として出力させる。 When the light source position determination unit 65 determines that the shooting condition of the front camera 13 is in the backlit state or the lateral light state, the control device 51 instructs the shooting information notification unit 66 to notify the user of the current shooting condition. Send.
For example, the shooting information notification unit 66 sends an operation command to the audio processing unit 53 to output the shooting conditions as sound from the speaker 18 or sends an operation command to the display control unit 54 to take an image on the monitor 15. By displaying the conditions as characters or images, the user is notified of the current shooting conditions. In the present embodiment, the shooting information notification unit 66 sends an operation command to the sound processing unit 53 and causes the speaker 18 to output the shooting conditions as sound.

また、制御装置５１は、光源位置判定部６５によって前方カメラ１３の撮影条件が逆光状態または横光状態にあると判定された場合には、撮影情報通知部６６に、ユーザを撮影条件が逆光状態や横光状態にならない位置（すなわちロボット本体１を挟んで光源とは反対側の位置）に誘導するユーザ誘導処理を実行させる。
このようなユーザ誘導処理が実行されることにより、ロボット本体１を挟んで光源とは反対側の位置にユーザを誘導するような音声データが撮影情報通知部６６から音声処理部５３へ出力され、音声処理部５３がこの音声データに基づく音声信号をスピーカ１８へ出力することにより、該音声がスピーカから発せられることとなる。
この結果、この音声を聞いたユーザを、前方カメラ１３の撮影条件が逆光状態または横光状態とならない位置へ誘導することが可能となるので、ユーザの顔が鮮明に写された画像を取り込むことができる。これにより、ユーザ認証の成功率を向上させることが可能となる。 Further, when the light source position determination unit 65 determines that the shooting condition of the front camera 13 is in the backlight state or the lateral light state, the control device 51 informs the shooting information notification unit 66 that the user has the shooting condition in the backlight state. A user guidance process is performed to guide to a position that does not become a lateral light state (that is, a position opposite to the light source across the robot body 1).
By executing such user guidance processing, voice data that guides the user to a position opposite to the light source across the robot body 1 is output from the imaging information notification unit 66 to the voice processing unit 53, When the audio processing unit 53 outputs an audio signal based on the audio data to the speaker 18, the audio is emitted from the speaker.
As a result, it is possible to guide the user who has heard this voice to a position where the shooting condition of the front camera 13 is not backlit or in the sidelighted state, so that an image in which the user's face is clearly captured can be captured. it can. As a result, the success rate of user authentication can be improved.

また、制御装置５１は、ユーザ認証に先立って、予め光源位置判定部６５によって光源位置を検出しておき、この光源位置の情報に基づいて、ロボット本体の位置及び向きを、前方カメラ１３の撮影条件が逆光状態または横光状態とならない位置及び向きとするように走行用駆動機構５７を制御する指令を駆動制御部５６に送り、ロボット本体が前方カメラ１３の撮影条件が逆光状態または横光状態とならない位置及び向きとなった状態で、撮影情報通知部６６に前記ユーザ誘導処理を実行させる構成としてもよい。
この場合には、前方カメラ１３の撮影条件を予め整えた状態でユーザを撮影することができるので、ユーザの顔が鮮明に写された画像を確実に取り込むことができ、ユーザ認証の成功率を向上させることが可能となる。 Further, prior to user authentication, the control device 51 detects a light source position by the light source position determination unit 65 in advance, and based on the information on the light source position, the position and orientation of the robot body are captured by the front camera 13. A command for controlling the driving mechanism 57 is sent to the drive control unit 56 so that the condition is set to a position and orientation that does not cause the backlighting state or the sidelighting state, and the imaging condition of the front camera 13 does not become the backlighting state or the sidelighting state. It is good also as a structure which makes the imaging | photography information notification part 66 perform the said user guidance process in the state which became a position and direction.
In this case, since the user can be photographed with the photographing conditions of the front camera 13 adjusted in advance, it is possible to reliably capture an image in which the user's face is clearly captured, and to improve the success rate of user authentication. It becomes possible to improve.

また、上記のようにユーザを音声等で誘導する態様に代えて、画像処理部５２から取得した画像情報に人物が抽出された場合に、その人物の位置を検出し、前方カメラ１３の撮影条件が逆光状態または横光状態とならない位置（すなわちこの人物と光源との間）にロボット本体を移動させることにより、人物の顔画像を取得できるようにしても良い。   Further, instead of the mode in which the user is guided by voice or the like as described above, when a person is extracted from the image information acquired from the image processing unit 52, the position of the person is detected, and the shooting conditions of the front camera 13 are detected. It may be possible to acquire the face image of the person by moving the robot main body to a position where the is not backlit or in the sidelighted state (that is, between the person and the light source).

以下、光源位置判定部６５による光源位置の判定手順について説明する。
光源位置判定部６５は、光源位置の判定にあたって、まず、図４に示すように、全方位カメラ１１の撮影画像Ｐ上の周囲の景色が写りこんでいる領域Ｆ上に、複数の検出領域Ａを設定し、各検出領域Ａについてそれぞれ明度を検出する。
本実施形態では、光源位置判定部６５は、撮影画像Ｐの中心Ｃの周囲のうち、ロボットの正面側、右正面側、右側面側、右背面側、背面側、左背面側、左側面側、及び左正面側に、それぞれ矩形の検出領域Ａ１〜Ａ８を設定している（すなわち、撮影画像Ｐのうち、周囲の景色が写りこんでいる領域Ｆ全体ではなく、領域Ｆの一部が検出領域Ａに設定されている）。 Hereinafter, the light source position determination procedure by the light source position determination unit 65 will be described.
In determining the light source position, the light source position determination unit 65 first has a plurality of detection areas A on the area F where the surrounding scenery on the captured image P of the omnidirectional camera 11 is reflected, as shown in FIG. And the brightness is detected for each detection area A.
In the present embodiment, the light source position determination unit 65 includes the front side, the right front side, the right side, the right back side, the back side, the left back side, and the left side of the center C of the captured image P. In addition, rectangular detection areas A 1 to A 8 are set on the left front side (that is, not the entire area F in which the surrounding scenery is reflected in the captured image P, but a part of the area F). Is set in the detection area A).

また、光源位置判定部６５は、全方位カメラ１１のカメラ本体において、検出領域Ａに対応する画素が検出した輝度を評価し、輝度が閾値を越えた画素（例えば輝度を０〜２５５までの２５６段階で評価した場合に輝度が２４０以上となる画素）の数に基づいて、各検出領域Ａの明度を検出する。
具体的には、光源位置判定部６５は、まず、一つの検出領域Ａに対して、対応する各画素の輝度を検証する（ステップＳ１〜Ｓ５）。
光源位置判定部６５は、検出領域Ａに対応する画素の一つについて輝度の検証を行い（ステップＳ１，Ｓ２）、輝度が閾値を越えている場合には、カウンタを作動させる（ステップＳ３）。光源位置判定部６５は、他の画素についても同様にして輝度の検証を行い（ステップＳ４，Ｓ５）、この検出領域Ａにおいて輝度が閾値を越えた画素の数を集計する。なお、各検出領域Ａの全ての画素について検証を行うのではなく、検証を行う画素を適度に間引きすることで（例えば１／８程度に間引く）、検証に要する時間を短縮することができる。 In addition, the light source position determination unit 65 evaluates the luminance detected by the pixels corresponding to the detection area A in the camera body of the omnidirectional camera 11, and the pixels whose luminance exceeds the threshold (for example, 256 with luminance ranging from 0 to 255). The brightness of each detection area A is detected based on the number of pixels that have a luminance of 240 or more when evaluated in stages.
Specifically, the light source position determination unit 65 first verifies the luminance of each corresponding pixel for one detection area A (steps S1 to S5).
The light source position determination unit 65 verifies the luminance of one of the pixels corresponding to the detection area A (steps S1 and S2), and activates the counter when the luminance exceeds the threshold value (step S3). The light source position determination unit 65 similarly verifies the luminance of other pixels (steps S4 and S5), and totals the number of pixels whose luminance exceeds the threshold in the detection area A. The time required for the verification can be shortened by appropriately thinning out the pixels to be verified (for example, thinning out to about 1/8) instead of performing the verification on all the pixels in each detection region A.

光源位置判定部６５は、一つの検出領域Ａについて輝度の検証を終えたら、全方位カメラ１１の撮影画像Ｐ上に、カメラ本体の撮影範囲の中心Ｃから検証を終えた検出領域Ａに向う輝度ベクトルＶを設定する（ステップＳ６）。この輝度ベクトルＶは、対応する検出領域Ａの検証時におけるカウンタの積算値と等しい大きさとされる。
以降は、光源位置判定部６５は、検証対象を他の検出領域Ａに変更し（ステップＳ７）、他の検出領域Ａについても同様にして各画素の輝度の検証を行って、それぞれ輝度ベクトルＶを設定する。
光源位置判定部６５は、全ての検出領域Ａについて輝度ベクトルＶを設定したのちは、これら輝度ベクトルＶを合成して、合成輝度ベクトルＶｃを得る（ステップＳ９）。 When the light source position determination unit 65 finishes verifying the brightness for one detection area A, the brightness toward the detection area A that has been verified from the center C of the shooting range of the camera body on the captured image P of the omnidirectional camera 11. A vector V is set (step S6). The luminance vector V has a magnitude equal to the integrated value of the counter at the time of verifying the corresponding detection area A.
Thereafter, the light source position determination unit 65 changes the verification target to another detection area A (step S7), and similarly verifies the luminance of each pixel for the other detection area A, and each of the luminance vectors V Set.
After setting the brightness vectors V for all the detection areas A, the light source position determination unit 65 combines these brightness vectors V to obtain a combined brightness vector Vc (step S9).

光源位置判定部６５は、この合成輝度ベクトルＶｃの向く方向を、光源の位置と判定するとともに、光源と現在のロボット本体１との位置関係に基づいて、前方カメラ１３の逆光度合い（前方カメラ１３の正面方向に対する光源の角度θ）を算出する（ステップＳ１０）。
そして、前方カメラ１３の撮影条件が逆光状態または横光状態にある場合（例えば−１３５°＜θ＜１３５°の場合）には、撮影情報通知部６６がその情報をユーザに通知するとともに、制御装置５１が、光源に対するロボット本体１の位置を標定し（ステップＳ１１）、この位置情報に基づいて、ユーザの誘導処理を行う。 The light source position determination unit 65 determines the direction in which the combined luminance vector Vc is directed to the position of the light source, and determines the degree of backlighting of the front camera 13 (the front camera 13 based on the positional relationship between the light source and the current robot body 1. Is calculated (step S10).
When the shooting condition of the front camera 13 is in a backlight state or a lateral light state (for example, in the case of −135 ° <θ <135 °), the shooting information notification unit 66 notifies the user of the information and the control device. 51 determines the position of the robot body 1 with respect to the light source (step S11), and performs a user guidance process based on the position information.

ここで、本実施形態では、光源位置判定部６５が、各検出領域Ａごとに輝度ベクトルＶを求めて、これら輝度ベクトルＶを合成した合成輝度ベクトルＶｃに基づいて光源位置を判定する構成を示したが、これに限られることなく、光源位置判定部６５は、図６に示すように、単純に各検出領域Ａに対応する画素の輝度の積算値や平均値に基づいて各検出領域Ａの輝度を設定し、全方位カメラ１１の撮影範囲のうち最も輝度の高い検出領域Ａ（図６では検出領域Ａ２）に対応する位置を、光源位置と判断する構成とされていてもよい。 Here, in the present embodiment, a configuration is shown in which the light source position determination unit 65 obtains the luminance vector V for each detection region A and determines the light source position based on the combined luminance vector Vc obtained by synthesizing these luminance vectors V. However, the light source position determination unit 65 is not limited to this, and the light source position determination unit 65 simply sets the detection area A based on the integrated value or average value of the luminance of the pixels corresponding to each detection area A, as shown in FIG. The brightness may be set, and the position corresponding to the detection area A (detection area A 2 in FIG. 6) having the highest brightness in the photographing range of the omnidirectional camera 11 may be determined as the light source position.

また、光源位置判定部６５が、図７に示すように、全方位カメラ１１の撮影画像Ｐの中での明度の分布の中心Ｇを求めて、全方位カメラ１１の撮影範囲のうち明度の分布の中心Ｇに対応する位置を光源位置と判断する構成とされていてもよい。
具体的には、全方位カメラ１１の各画素（もしくは画素の輝度が閾値を越えている領域Ｈ内の画素のみ）について、その輝度による重み付けを行い、各画素の輝度の分布の中心位置を、明度の分布の中心Ｇと判断する。 Further, as illustrated in FIG. 7, the light source position determination unit 65 obtains the center G of the lightness distribution in the captured image P of the omnidirectional camera 11, and the lightness distribution in the photographing range of the omnidirectional camera 11. The position corresponding to the center G may be determined as the light source position.
Specifically, each pixel of the omnidirectional camera 11 (or only a pixel in the region H where the luminance of the pixel exceeds the threshold) is weighted by the luminance, and the center position of the luminance distribution of each pixel is The center G of the brightness distribution is determined.

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like within a scope not departing from the gist of the present invention.

本発明の一実施形態に係るロボットの正面図である。It is a front view of the robot which concerns on one Embodiment of this invention. 図１に示したロボットの左側面図である。It is a left view of the robot shown in FIG. 図１に示したロボット本体に内蔵されるロボットの電気的構成例を示す図である。It is a figure which shows the electrical structural example of the robot incorporated in the robot main body shown in FIG. 図１に示したロボットによる光源位置の検出動作を示す図である。It is a figure which shows the detection operation of the light source position by the robot shown in FIG. 図１に示したロボットによる光源位置の検出動作を示すフローチャートである。It is a flowchart which shows the detection operation of the light source position by the robot shown in FIG. 図１に示したロボットによる光源位置の検出動作の他の例を示す図である。It is a figure which shows the other example of the detection operation of the light source position by the robot shown in FIG. 図１に示したロボットによる光源位置の検出動作の他の例を示す図である。It is a figure which shows the other example of the detection operation of the light source position by the robot shown in FIG.

符号の説明Explanation of symbols

１１ 全方位カメラ（周辺状況撮影装置）
１３ 前方カメラ（顔画像撮影装置）
５１ 制御装置（光源位置検出装置）
６３ ユーザー認識部（顔認識処理部）
６５ 光源位置判定部
６６ 撮影条件通知部
Ａ 検出領域
Ｐ 撮影画像
Ｖ 明度ベクトル
Ｖｃ 合成明度ベクトル 11 Omnidirectional camera
13 Front camera (face image capturing device)
51 Control device (light source position detection device)
63 User recognition unit (face recognition processing unit)
65 Light Source Position Determination Unit 66 Imaging Condition Notification Unit A Detection Area P Captured Image V Brightness Vector Vc Composite Brightness Vector

Claims (7)

周囲の複数点を撮影する周辺状況撮影装置と、
該周辺状況撮影装置の撮影画像に基づいて光源位置を判定する光源位置判定部とを有している光源位置検出装置。 A peripheral situation photographing device for photographing a plurality of surrounding points;
A light source position detection device having a light source position determination unit that determines a light source position based on a photographed image of the peripheral state photographing device. 前記光源位置判定部が、前記周辺状況撮影装置の撮影画像の中での明度の高い領域を検出し、
前記周辺状況撮影装置の撮影範囲のうち前記明度の高い領域に対応する領域を光源位置と判断する請求項１記載の光源位置検出装置。 The light source position determination unit detects a high brightness area in the captured image of the peripheral situation imaging device,
The light source position detection apparatus according to claim 1, wherein an area corresponding to the high brightness area in the photographing range of the peripheral situation photographing apparatus is determined as a light source position. 前記光源位置判定部が、前記周辺状況撮影装置の撮影画像の明度の分布の中心を求め、
前記周辺状況撮影装置の撮影範囲のうち前記明度の分布の中心に対応する位置を前記光源位置と判断する請求項１または２に記載の光源位置検出装置。 The light source position determination unit obtains the center of the brightness distribution of the captured image of the peripheral situation imaging device;
The light source position detection device according to claim 1, wherein a position corresponding to a center of the brightness distribution in a photographing range of the peripheral situation photographing device is determined as the light source position. 前記光源位置判定部が、前記周辺状況撮影装置の撮影画像上に複数の検出領域を設定し、
該各検出領域についてそれぞれ明度を検出し、
前記周辺状況撮影装置の撮影範囲のうち最も明度の高い前記検出領域に対応する位置を光源位置と判断する請求項１または２に記載の光源位置検出装置。 The light source position determination unit sets a plurality of detection areas on a photographed image of the peripheral situation photographing device;
Detecting the brightness for each detection area,
The light source position detection apparatus according to claim 1, wherein a position corresponding to the detection area with the highest brightness in the photographing range of the peripheral situation photographing apparatus is determined as a light source position. 前記光源位置判定部が、前記周辺状況撮影装置の撮影画像上に複数の検出領域を設定し、
該各検出領域についてそれぞれ明度を検出し、
前記周辺状況撮影装置の撮影画像上に、前記周辺状況撮影装置の撮影範囲の中心から前記各検出領域に向う明度ベクトルを設定し、
該各明度ベクトルの大きさを対応する前記検出領域の明度に比例した大きさとして、
前記各明度ベクトルを合成した合成明度ベクトルの向く方向を、光源位置と判断する請求項１記載の光源位置検出装置。 The light source position determination unit sets a plurality of detection areas on a photographed image of the peripheral situation photographing device;
Detecting the brightness for each detection area,
On the photographed image of the peripheral situation photographing device, set a brightness vector from the center of the photographing range of the peripheral situation photographing device toward each detection region,
The magnitude of each lightness vector as a magnitude proportional to the lightness of the corresponding detection area,
The light source position detection apparatus according to claim 1, wherein a direction in which a combined lightness vector obtained by combining the lightness vectors faces is determined as a light source position. 顔認識対象者を撮影する顔画像撮影装置と、
該顔画像撮影装置の撮影画像に基づいて顔認識を行う顔認識処理部と、
請求項１から５のいずれかに記載の光源位置検出装置と、
前記顔画像撮影装置による撮影条件の情報を前記顔認識対象者に通知する撮影条件通知部とを有し、
該撮影条件通知部が、前記光源位置検出装置の出力に基づいて、前記顔画像装置の撮影条件が逆光状態または横光状態にあるかどうかを判定し、前記撮影条件が逆光状態または横光状態にある場合には、その情報を前記顔認識対象者に通知する顔認識装置。 A face image photographing device for photographing a face recognition target person;
A face recognition processing unit for performing face recognition based on a photographed image of the face image photographing device;
A light source position detecting device according to any one of claims 1 to 5,
A shooting condition notification unit for notifying the face recognition target person of information of shooting conditions by the face image shooting device;
The imaging condition notification unit determines whether the imaging condition of the face image device is in a backlight state or a lateral light state based on an output of the light source position detection device, and the imaging condition is in a backlight state or a lateral light state In the case, a face recognition device that notifies the face recognition subject of the information. 請求項６記載の顔認識装置を有している自走式ロボット。   A self-propelled robot having the face recognition device according to claim 6.
JP2005349119A 2005-12-02 2005-12-02 Light source position detection device and face recognition device using the same and self-propelled robot Withdrawn JP2007156689A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005349119A JP2007156689A (en) 2005-12-02 2005-12-02 Light source position detection device and face recognition device using the same and self-propelled robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005349119A JP2007156689A (en) 2005-12-02 2005-12-02 Light source position detection device and face recognition device using the same and self-propelled robot

Publications (1)

Publication Number Publication Date
JP2007156689A true JP2007156689A (en) 2007-06-21

Family

ID=38240994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005349119A Withdrawn JP2007156689A (en) 2005-12-02 2005-12-02 Light source position detection device and face recognition device using the same and self-propelled robot

Country Status (1)

Country Link
JP (1) JP2007156689A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019021083A (en) * 2017-07-19 2019-02-07 富士ゼロックス株式会社 Image processor and image processing program
JP2019217558A (en) * 2018-06-15 2019-12-26 株式会社日立製作所 Interactive system and control method for the same
CN111127543A (en) * 2019-12-23 2020-05-08 北京金山安全软件有限公司 Image processing method, image processing apparatus, electronic device, and storage medium
WO2020105124A1 (en) * 2018-11-20 2020-05-28 本田技研工業株式会社 Autonomous work machine, autonomous work machine control method, and program
WO2020105125A1 (en) * 2018-11-20 2020-05-28 本田技研工業株式会社 Autonomous work machine, autonomous work machine control method, and program
WO2020105123A1 (en) * 2018-11-20 2020-05-28 本田技研工業株式会社 Autonomous work machine, autonomous work machine control method, and program
WO2024116291A1 (en) * 2022-11-29 2024-06-06 日本電気株式会社 Information processing device, information processing method, and recording medium

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7210872B2 (en) 2017-07-19 2023-01-24 富士フイルムビジネスイノベーション株式会社 Image processing device and image processing program
US11533444B2 (en) 2017-07-19 2022-12-20 Fujifilm Business Innovation Corp. Image processing device
JP2019021083A (en) * 2017-07-19 2019-02-07 富士ゼロックス株式会社 Image processor and image processing program
JP7045938B2 (en) 2018-06-15 2022-04-01 株式会社日立製作所 Dialogue system and control method of dialogue system
JP2019217558A (en) * 2018-06-15 2019-12-26 株式会社日立製作所 Interactive system and control method for the same
WO2020105125A1 (en) * 2018-11-20 2020-05-28 本田技研工業株式会社 Autonomous work machine, autonomous work machine control method, and program
WO2020105124A1 (en) * 2018-11-20 2020-05-28 本田技研工業株式会社 Autonomous work machine, autonomous work machine control method, and program
JPWO2020105125A1 (en) * 2018-11-20 2021-09-27 本田技研工業株式会社 Autonomous work machine, control method and program of autonomous work machine
JPWO2020105123A1 (en) * 2018-11-20 2021-10-28 本田技研工業株式会社 Autonomous work machine, control method and program of autonomous work machine
JPWO2020105124A1 (en) * 2018-11-20 2021-10-28 本田技研工業株式会社 Autonomous work machine, control method and program of autonomous work machine
WO2020105123A1 (en) * 2018-11-20 2020-05-28 本田技研工業株式会社 Autonomous work machine, autonomous work machine control method, and program
JP7152507B2 (en) 2018-11-20 2022-10-12 本田技研工業株式会社 AUTONOMOUS WORKING MACHINE, CONTROL METHOD AND PROGRAM FOR AUTONOMOUS WORKING MACHINE
CN112996377A (en) * 2018-11-20 2021-06-18 本田技研工业株式会社 Autonomous working machine, control method for autonomous working machine, and program
JP7201704B2 (en) 2018-11-20 2023-01-10 本田技研工業株式会社 AUTONOMOUS WORKING MACHINE, CONTROL METHOD AND PROGRAM FOR AUTONOMOUS WORKING MACHINE
CN112996377B (en) * 2018-11-20 2023-11-28 本田技研工业株式会社 Autonomous working machine, control method for autonomous working machine, and storage medium
US11782447B2 (en) 2018-11-20 2023-10-10 Honda Motor Co., Ltd. Autonomous work machine, method of controlling the same, and storage medium
CN111127543A (en) * 2019-12-23 2020-05-08 北京金山安全软件有限公司 Image processing method, image processing apparatus, electronic device, and storage medium
CN111127543B (en) * 2019-12-23 2024-04-05 北京金山安全软件有限公司 Image processing method, device, electronic equipment and storage medium
WO2024116291A1 (en) * 2022-11-29 2024-06-06 日本電気株式会社 Information processing device, information processing method, and recording medium

Similar Documents

Publication Publication Date Title
JP4822319B2 (en) Communication robot and attention control system using the same
JP5033994B2 (en) Communication robot
US20120315016A1 (en) Multi-Purpose Image and Video Capturing Device
JP2007156689A (en) Light source position detection device and face recognition device using the same and self-propelled robot
JP4949969B2 (en) Communication robot and its operation method
WO2019179468A1 (en) Control method for smart device, apparatus, device, and storage medium
CN109605363A (en) Robot voice control system and method
JP2004299025A (en) Mobile robot control device, mobile robot control method and mobile robot control program
US20200329202A1 (en) Image capturing apparatus, control method, and recording medium
JP2010231470A (en) Information providing system
JP2009222969A (en) Speech recognition robot and control method for speech recognition robot
JP5221939B2 (en) POSITION SPECIFICATION DEVICE, OPERATION INSTRUCTION DEVICE, AND SELF-RUNNING ROBOT
JP2007152470A (en) Robot with self-diagnostic function
JP7187768B2 (en) Camera device, camera device control system, and program
JP2007156688A (en) User authentication device and its method
KR101708301B1 (en) Robot cleaner and remote control system of the same
JP4793904B2 (en) Communication robot system and communication robot
JP2007152444A (en) Self-propelled robot and information management system
CN106899796A (en) Camera system and method
JP2019220145A (en) Operation terminal, voice input method, and program
JP2007155985A (en) Robot and voice recognition device, and method for the same
US11195525B2 (en) Operation terminal, voice inputting method, and computer-readable recording medium
US20190385616A1 (en) Video communication method and robot for implementing the method
JP6754099B2 (en) Elevator door control system
JP2007152446A (en) Robot system

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090203