JP2004276165A - ロボット装置及びロボット装置における画像信号処理方法 - Google Patents
ロボット装置及びロボット装置における画像信号処理方法 Download PDFInfo
- Publication number
- JP2004276165A JP2004276165A JP2003070654A JP2003070654A JP2004276165A JP 2004276165 A JP2004276165 A JP 2004276165A JP 2003070654 A JP2003070654 A JP 2003070654A JP 2003070654 A JP2003070654 A JP 2003070654A JP 2004276165 A JP2004276165 A JP 2004276165A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image signal
- image
- white balance
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Manipulator (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】ロボット装置において、適切な画像信号処理を行い難い問題があった。
【解決手段】自己の体の色として基準とすべき色を予め記憶し、画像信号に基づいて、現在の照明環境下における自己の体の色を検出し、検出した自己の体の色が、基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施すようにした。また、所定物又は所定マークの色として基準とすべき色を予め記憶し、画像信号に基づいて、現在の照明環境下における所定物又は所定マークの色を検出し、検出した所定物又は所定マークの色が、基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施すようにした。
【選択図】 図１０
【解決手段】自己の体の色として基準とすべき色を予め記憶し、画像信号に基づいて、現在の照明環境下における自己の体の色を検出し、検出した自己の体の色が、基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施すようにした。また、所定物又は所定マークの色として基準とすべき色を予め記憶し、画像信号に基づいて、現在の照明環境下における所定物又は所定マークの色を検出し、検出した所定物又は所定マークの色が、基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施すようにした。
【選択図】 図１０
Description
【０００１】
【発明の属する技術分野】
本発明はロボット装置及びロボット装置における画像信号処理方法に関し、例えばカメラデバイスを搭載した移動型のロボットに適用して好適なものである。
【０００２】
【従来の技術】
移動型のロボットにおいては、搭載されたカメラデバイスから得られる画像情報が、外部状況を認識するための情報として、数あるセンサ情報の中でも重要なものである。
【０００３】
かかるカメラデバイスからの画像信号に対するコントロールとしては、大きく分けて、明るさをコントロールするゲイン調整と、色合いをコントロールするホワイトバランス調整とがあるが、特に、画像情報における色のもつ情報量は多く、人間との情報共有にも大きな役割を果たすため、ホワイトバランスの調整は重要となる。
【０００４】
ここで、このようなカメラデバイスにおけるホワイトバランスの一般的な調整方法としては、画像中の各画素値の平均値が無色（黒〜グレイ〜白のいずれかの色）となると仮定して、当該平均値が無色になるようにホワイトバランスを調整する第１の方法（以下、これを第１のホワイトバランス調整方法と呼ぶ）と、予め決められたホワイトバランス設定において、最も無色（黒〜グレイ〜白のいずれかの色）に近い領域の画素値が無色になるようにホワイトバランスを調整する第２の方法（以下、これを第２のホワイトバランス調整方法と呼ぶ）とがある（例えば特許文献１参照）。
【０００５】
【特許文献１】
特開２００３−２３６４５号公報（第２頁）
【０００６】
【発明が解決しようとする課題】
ところで、かかる移動型のロボットが行動する環境は、
▲１▼部屋によって色温度が異なる
▲２▼日光などの影響により、時間によって環境の色温度が異なる
▲３▼照明がオン・オフされることにより、環境の色温度が変化する
▲４▼ロボットの周囲に配置されたものの色によって、同じ部屋でも色温度の異なる場所が存在する
▲５▼同じ場所でも向いている方向（上下左右）によって色温度が異なる
など、環境によって色温度が異なるなどの理由により、撮像される画像のホワイトバランスが適切でない状況が存在する。
【０００７】
従って、カメラデバイスからの画像信号に基づいて画像処理や画像認識を行う場合、その処理に応じた適切なホワイトバランス調整が必要となり、例えば適切なホワイトバランス調整が行われていないと、色情報を用いた画像処理や画像認識は難しいものとなる。
【０００８】
しかしながら、移動型のロボットのホワイトバランス調整方法として上述の第１のホワイトバランス調整方法を採用した場合、撮像画像が常に理想的な色分布であるわけではないために、撮像画像中において支配的な面積を有する色がある場合にはその影響を受けて、適切なホワイトバランス調整処理を行い難い問題があった。
【０００９】
また、上述の第２のホワイトバランス調整方法によると、選択された領域の色が必ずしも意図した色である保証はないため、この方法によっても適切なホワイトバランス調整が行われる保証はない。
【００１０】
本発明は以上の点を考慮してなされたもので、適切な画像信号処理を行い得るロボット装置及びロボット装置における画像信号処理方法を提案しようとするものである。
【００１１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、ロボット装置において、自己の体の色として基準とすべき色を予め記憶する記憶手段と、画像信号に基づいて、現在の照明環境下における自己の体の色を検出する色検出手段と、色検出手段により検出される自己の体の色が、記憶手段に記憶された基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施すホワイトバランス調整手段とを設けるようにした。この結果このロボット装置では、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができる。
【００１２】
また本発明においては、ロボット装置における画像信号処理方法において、自己の体の色として基準とすべき色を予め記憶する第１のステップと、画像信号に基づいて、現在の照明環境下における自己の体の色を検出する第２のステップと、検出した自己の体の色が、基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施す第３のステップとを設けるようにした。この結果このロボット装置における画像信号処理方法によれば、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができる。
【００１３】
さらに本発明においては、ロボット装置において、所定物又は所定マークの色として基準とすべき色を予め記憶する記憶手段と、撮像手段から出力される画像信号に基づいて、現在の照明環境下における所定物又は所定マークの色を検出する色検出手段と、色検出手段により検出される所定物又は所定マークの色が、記憶手段に記憶された基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施すホワイトバランス調整手段とを設けるようにした。この結果このロボット装置では、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができる。
【００１４】
さらに本発明においては、ロボット装置における画像信号処理方法において、所定物又は所定マークの色として基準とすべき色を予め記憶する第１のステップと、画像信号に基づいて、現在の照明環境下における所定物又は所定マークの色を検出する第２のステップと、検出した所定物又は所定マークの色が、基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施す第３のステップとを設けるようにした。この結果このロボット装置における画像信号処理方法によれば、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができる。
【００１５】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１６】
（１）第１の実施の形態
（１−１）本実施の形態によるロボットの概略構成
図１及び図２において、１は全体として本実施の形態による２足歩行型のロボットを示し、胴体部ユニット２の上部に頭部ユニット３が配設されると共に、当該胴体部ユニット２の上部左右にそれぞれ同じ構成の腕部ユニット４Ａ、４Ｂがそれぞれ配設され、かつ胴体部ユニット２の下部左右にそれぞれ同じ構成の脚部ユニット５Ａ、５Ｂがそれぞれ所定位置に取り付けられることにより構成されている。
【００１７】
胴体部ユニット２においては、体幹上部を形成するフレーム１０及び体幹下部を形成する腰ベース１１が腰関節機構１２を介して連結することにより構成されており、体幹下部の腰ベース１１に固定された腰関節機構１２の各アクチュエータＡ１、Ａ２をそれぞれ駆動することによって、体幹上部を図３に示す直交するロール軸１３及びピッチ軸１４の回りにそれぞれ独立に回転させ得るようになされている。
【００１８】
また頭部ユニット３は、フレーム１０の上端に固定された肩ベース１５の上面中央部に首関節機構１６を介して取り付けられており、当該首関節機構１６の各アクチュエータＡ３、Ａ４をそれぞれ駆動することによって、図３に示す直交するピッチ軸１７及びヨー軸１８の回りにそれぞれ独立に回転させ得るようになされている。
【００１９】
さらに各腕部ユニット４Ａ、４Ｂは、それぞれ肩関節機構１９を介して肩ベース１５の左右に取り付けられており、対応する肩関節機構１９の各アクチュエータＡ５、Ａ６をそれぞれ駆動することによって図３に示す直交するピッチ軸２０及びロール軸２１の回りにそれぞれ独立に回転させ得るようになされている。
【００２０】
この場合、各腕部ユニット４Ａ、４Ｂは、それぞれ上腕部を形成するアクチュエータＡ７の出力軸に肘関節機構２２を介して前腕部を形成するアクチュエータＡ８が連結され、当該前腕部の先端に手部２３が取り付けられることにより構成されている。
【００２１】
そして各腕部ユニット４Ａ、４Ｂでは、アクチュエータＡ７を駆動することによって前腕部を図３に示すヨー軸２４の回りに回転させ、アクチュエータＡ８を駆動することによって前腕部を図３に示すピッチ軸２５の回りにそれぞれ回転させることができるようになされている。
【００２２】
これに対して各脚部ユニット５Ａ、５Ｂにおいては、それぞれ股関節機構２６を介して体幹下部の腰ベース１１にそれぞれ取り付けられており、それぞれ対応する股関節機構２６の各アクチュエータＡ９〜Ａ１１をそれぞれ駆動することによって、図３に示す互いに直交するヨー軸２７、ロール軸２８及びピッチ軸２９の回りにそれぞれ独立に回転させ得るようになされている。
【００２３】
この場合各脚部ユニット５Ａ、５Ｂは、それぞれ大腿部を形成するフレーム３０の下端に膝関節機構３１を介して下腿部を形成するフレーム３２が連結されると共に、当該フレーム３２の下端に足首関節機構３３を介して足部３４が連結されることにより構成されている。
【００２４】
これにより各脚部ユニット５Ａ、５Ｂにおいては、膝関節機構３１を形成するアクチュエータＡ１２を駆動することによって、下腿部を図３に示すピッチ軸３５の回りに回転させることができ、また足首関節機構３３のアクチュエータＡ１３、Ａ１４をそれぞれ駆動することによって、足部３４を図３に示す直交するピッチ軸３６及びロール軸３７の回りにそれぞれ独立に回転させ得るようになされている。
【００２５】
一方、胴体部ユニット２の体幹下部を形成する腰ベース１１の背面側には、図４に示すように、当該ロボット１全体の動作制御を司るメイン制御部４０と、電源回路及び通信回路などの周辺回路４１と、バッテリ４５（図５）となどがボックスに収納されてなる制御ユニット４２が配設されている。
【００２６】
そしてこの制御ユニット４２は、各構成ユニット（胴体部ユニット２、頭部ユニット３、各腕部ユニット４Ａ、４Ｂ及び各脚部ユニット５Ａ、５Ｂ）内にそれぞれ配設された各サブ制御部４３Ａ〜４３Ｄと接続されており、これらサブ制御部４３Ａ〜４３Ｄに対して必要な電源電圧を供給したり、これらサブ制御部４３Ａ〜４３Ｄと通信を行うことができるようになされている。
【００２７】
また各サブ制御部４３Ａ〜４３Ｄは、それぞれ対応する構成ユニット内の各アクチュエータＡ１〜Ａ１４と接続されており、当該構成ユニット内の各アクチュエータＡ１〜Ａ１４をメイン制御部４０から与えられる各種制御コマンドに基づいて指定された状態に駆動し得るようになされている。
【００２８】
また頭部ユニット３には、図５に示すように、このロボット１の「目」として機能するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ ）カメラ５０及び「耳」として機能するマイクロホン５１などの各種外部センサと、「口」として機能するスピーカ５２となどがそれぞれ所定位置に配設され、手部２３の手の平や足部３４の底面等には、それぞれ外部センサとしてのタッチセンサ５３が配設されている。
【００２９】
さらに制御ユニット４２内には、バッテリセンサ５４及び加速度センサ５５などの各種内部センサが配設され、腰関節機構１２等の各関節機構には、それぞれアクチュエータＡ１〜Ａ１４に対応させて、内部センサとしてのポテンショメータ（図示せず）が配設されている。
【００３０】
そしてＣＣＤカメラ５０は、周囲の状況を撮像し、得られた画像信号Ｓ１Ａをメイン制御部４０に送出する一方、マイクロホン５１は、各種外部音を集音し、かくして得られた音声信号Ｓ１Ｂをメイン制御部４０に送出する。またタッチセンサ５３は、外部との物理的な接触を検出し、検出結果を圧力検出信号Ｓ１Ｃとしてメイン制御部４０に送出するようになされている。
【００３１】
またバッテリセンサ５４は、バッテリ４５のバッテリ残量を所定周期で検出し、検出結果をバッテリ残量検出信号Ｓ２Ａとしてメイン制御部４０に送出する一方、加速度センサ５６は、３軸方向（ｘ軸、ｙ軸及びｚ軸）の加速度を所定周期で検出し、検出結果を加速度検出信号Ｓ２Ｂとしてメイン制御部４０に送出する。さらに各ポテンショメータは、それぞれ対応するアクチュエータＡ１〜Ａ１４の出力軸の回転角度を検出し、検出結果を回転角度検出信号Ｓ２Ｃとして対応するサブ制御部４３Ａ〜４３Ｄを介してメイン制御部４０に送出する。
【００３２】
メイン制御部部４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）としての内部メモリ４０Ａ等を有するマイクロコンピュータ構成でなり、カメラ５０、マイクロホン５１及びタッチセンサ５３等の各外部センサからそれぞれ与えられる画像信号Ｓ１Ａ、音声信号Ｓ１Ｂ及び圧力検出信号Ｓ１Ｃ等の外部センサ信号と、バッテリセンサ５４、加速度センサ５５及び各ポテンショメータ等の各内部センサからそれぞれ与えられるバッテリ残量検出信号Ｓ２Ａ、加速度検出信号Ｓ２Ｂ及び角度検出信号Ｓ２Ｃ等の内部センサ信号とに基づいて、ロボット１の周囲及び内部の状況や、外部との接触の有無などを判断する。
【００３３】
そしてメイン制御部４０は、この判断結果と、予め内部メモリ４０Ａに格納されている制御プログラムと、そのとき装填されている外部メモリ５６に格納されている各種制御パラメータとに基づいて続く行動を決定し、決定結果に基づく制御コマンドを対応するサブ制御部４３Ａ〜４３Ｄに送出する。この結果、この制御コマンドに基づき、そのサブ制御部４３Ａ〜４３Ｄの制御のもとに、対応するアクチュエータＡ１〜Ａ１４が駆動され、かくして頭部ユニット３を上下左右に揺動させたり、腕部ユニット４Ａ、４Ｂを上にあげたり、歩行するなどの行動がロボット１により発現されることとなる。
【００３４】
またメイン制御部４０は、かかるマイクロホン５１から与えられる音声信号Ｓ１Ｂに対する所定の音声認識処理によりユーザの発話内容を認識し、当該認識に応じた音声信号Ｓ３をスピーカ５２に与えることにより、ユーザと対話するための合成音声を外部に出力させる。
【００３５】
このようにしてこのロボット１においては、周囲及び内部の状況等に基づいて自律的に行動することができ、またユーザと対話することもできるようになされている。
【００３６】
（１−２）ホワイトバランス調整に関するメイン制御部４０の処理
次に、ホワイトバランス調整に関するメイン制御部４０の処理内容について説明する。
【００３７】
このロボット１においては、図６（Ａ）に示すように、工場出荷時に所定の照明環境下における自己の手部２３（図１）における手の平２３Ａの部分の色を基準とすべき色として内部メモリ４０Ａに記憶し、その後の駆動時において周囲の照明環境が変化した場合等に、図６（Ｂ）に示すように、その変化後の照明環境下における自己の手の平２３Ａの色を検出し、当該色が工場出荷時に記憶した色と一致するようにホワイトバランスを調整するオートホワイトバランス調整機能が搭載されている。
【００３８】
ここで、かかるオートホワイトバランス調整機能に関するメイン制御部４０の処理を機能的に分類すると、図７に示すように、ハードウェア構成でなる信号処理部６０と、ソフトウェア構成でなる画像認識部６１、行動選択決定部６２、行動生成部６３及びコントロール部６４とに分けることができる。
【００３９】
この場合信号処理部６０は、ＣＣＤカメラ５０からの画像信号Ｓ１Ａに対してホワイトバランスコントロール処理や、ゲインコントロール処理等の各種所定の信号処理を施し、かくして得られた認識用画像信号Ｓ１０を画像認識部６１及びコントロール部６４に送出する。
【００４０】
具体的に、信号処理部６０には、例えば画像信号Ｓ１Ａに対してゲインコントロール処理やホワイトバランスコントロール処理を施すための手段として、図８に示すように、Ｙゲインアンプ７０Ｙ、Ｕゲインアンプ７０Ｕ及びＶゲインアンプ７０Ｖが設けられると共に、これらＹゲインアンプ７０Ｙ、Ｕゲインアンプ７０Ｕ及びＶゲインアンプ７０Ｖにそれぞれ対応させてＹゲインレジスタ７１Ｙ、Ｕゲインレジスタ７１Ｕ及びＶゲインレジスタ７１Ｖが設けられている。
【００４１】
このときＹゲインアンプ７０Ｙ、Ｕゲインアンプ７０Ｕ及びＶゲインアンプ７０Ｖには、それぞれＣＣＤカメラ５０からの画像信号Ｓ１Ａを当該信号処理部６０においてＹＵＶフォーマットに変換することにより得られた輝度信号Ｓ１１Ｙ、第１の色差信号Ｓ１１Ｕ及び第２の色差信号Ｓ１１Ｖのうちの対応する信号が供給される。
【００４２】
またＹゲインレジスタ７１Ｙには、画像信号Ｓ１Ａに対するゲインを規定したゲインパラメータが更新自在に格納され、Ｕゲインレジスタ７１Ｕ及びＶゲインレジスタ７１Ｖには、それぞれ画像信号Ｓ１Ａのホワイトバランス調整のための第１又は第２の色差信号Ｓ１１Ｕ、Ｓ１１Ｖに対するゲインを規定した第１又は第２のホワイトバランスパラメータが更新自在に格納されている。
【００４３】
かくしてＹゲインアンプ７０Ｙ、Ｕゲインアンプ７０Ｕ及びＶゲインアンプ７０Ｖは、それぞれ供給される輝度信号Ｓ１１Ｙ、第１の色差信号Ｓ１１Ｕ又は第２の色差信号Ｓ１１Ｖを対応するＹゲインレジスタ７１Ｙ、Ｕゲインレジスタ７１Ｕ又はＶゲインレジスタ７１Ｖに格納されたゲインパラメータ、第１のホワイトバランスパラメータ又は第２のホワイトバランスパラメータの各パラメータ値に応じて増幅する。
【００４４】
そして信号処理部６０は、このようにして得られたゲイン調整及びホワイトバランス調整された輝度信号Ｓ１１Ｙ並びに第１及び第２の色差信号Ｓ１１Ｕ、Ｓ１１Ｖに対して図示しない信号処理回路においてさらに所定の信号処理を施し、この後これら輝度信号Ｓ１１Ｙ並びに第１及び第２の色差信号Ｓ１１Ｕ、Ｓ１１Ｖを認識用画像信号Ｓ１０として画像認識部６１及びコントロール部６４に送出する。
【００４５】
画像認識部６１は、供給される認識用画像信号Ｓ１０に基づく画像内の各オブジェクトの色を認識する色認識器と、当該画像内に存在する顔を認識し識別する顔認識器となどの各種認識器を有し、これら各認識器の認識結果を画像認識信号Ｓ１２として行動選択決定部６２に送出する。
【００４６】
このとき行動選択決定部６２には、マイクロホン５１（図５）からの音声信号Ｓ１Ｂ（図５）に基づく音声認識結果や話者認識結果が図示しない音声認識部から音声認識信号Ｓ１３として与えられると共に、手部２３や足部３４の底面等に配設されたタッチセンサ５３（図５）から与えられる圧力検出信号Ｓ１Ｃ（図５）に基づく「接触した」、「接地した」等の各種接触認識結果が図示しない接触認識部から接触認識信号Ｓ１４として与えられる。
【００４７】
かくして行動選択決定部６２は、これら画像認識信号Ｓ１２、音声認識信号Ｓ１３及び接触認識信号Ｓ１４に基づいてロボット１が次に発現すべき行動を選択及び決定し、決定結果を行動決定信号Ｓ１５として行動生成部６３に送出する。
【００４８】
行動生成部６３は、どのアクチュエータＡ１〜Ａ１４をどのタイミングでどの程度駆動させるかを規定した各行動ごとのモーションファイル、及びそのときロボット１が発音すべき音声の音声データが格納されたサウンドファイルなどの各種行動内容規定ファイルを有している。
【００４９】
そして行動生成部６３は、行動決定信号Ｓ１５が行動選択決定部６２から与えられると、対応する行動内容規定ファイルを読み出し再生して、対応する各アクチュエータＡ１〜Ａ１４への指令値Ｄ２を対応するサブ制御部４３Ａ〜４３Ｄに送出し、又は再生した音声データをアナログ変換して上述の音声信号Ｓ３（図５）としてスピーカに送出することにより、かかる行動選択決定部６２により選択された行動をロボット１に発現させる。
【００５０】
一方、コントロール部６４は、信号処理部６０から与えられる認識用画像信号Ｓ１０に基づいて、周囲の照明環境が変化したか否かを常時監視する。そしてコントロール部６４は、周囲の照明環境が変化したことを検出すると、行動選択決定部６２を制御してロボット１の姿勢を図６（Ｂ）のように自己の手の平２３Ａを見る姿勢（以下、これを色検出姿勢と呼ぶ）に遷移させ、かくして当該手の平２３ＡをＣＣＤカメラ５０（図５）の撮像領域内に位置させる。
【００５１】
またコントロール部６４は、この状態において信号処理部６０から与えられる認識用画像信号Ｓ１０に基づいて、その照明環境下における当該手の平２３Ａの色を検出すると共に、当該検出結果と、工場出荷時に所定の照明環境下において検出し記憶した当該手の平２３Ａの色とを比較する。
【００５２】
そしてコントロール部６４は、この比較結果に基づいて、現在の照明環境下において検出される手の平２３Ａの色が工場出荷時において所定の照明環境下で検出した色と一致するように信号処理部６０におけるＵゲインレジスタ７１Ｕに格納されている第１のホワイトバランスパラメータ及びＶゲインレジスタ７１Ｖに格納されている第２のホワイトバランスパラメータのパラメータ値をそれぞれ必要に応じて変化させる。
【００５３】
このようにしてこのロボット１においては、画像認識に用いる画像信号Ｓ１Ａのホワイトバランスを自己の手の平２３Ａの色を利用して調整するようになされ、これによりそのときの周囲の色分布や照明環境にかかわりなく、常に一定状態にホワイトバランスを調整し得るようになされている。
【００５４】
（１−３）コントロール部６４の具体的処理
次に、ホワイトバランス調整に関するコントロール部６４の具体的な処理内容について説明する。
【００５５】
まずコントロール部６４は、ロボット１の工場出荷時、所定の照明環境下におけるロボット１の手の平２３Ａの色を図９に示す第１の目標値設定処理手順ＲＴ１に従って検出し記憶する。
【００５６】
すなわちコントロール部６４は、外部操作によりロボット１の手の平２３Ａの色を検出すべき命令が与えられると、この第１の目標値設定処理手順ＲＴ１をステップＳＰ０において開始し、続くステップＳＰ１において行動選択決定部６２を制御することにより、ロボット１の姿勢を色検出姿勢に遷移させる。
【００５７】
続いてコントロール部６４は、ステップＳＰ２に進んで、このとき信号処理部６０から与えられる認識用画像信号Ｓ１０に基づく１フレーム分の画像情報を取得し、この後ステップＳＰ３に進んで当該画像情報に基づく画像内のホワイトバランス調整に用いる範囲を算出する。
【００５８】
具体的に、コントロール部６４は、ステップＳＰ２において取得した画像情報に基づく画像７２内に図６（Ａ）の右図のように存在する自己の手の平２３Ａの当該画像７２内における位置を、そのとき各ポテンショメータから与えられる角度検出信号Ｓ２Ｃに基づき得られる各アクチュエータＡ１〜Ａ１４の出力軸の回転角度を利用してロボット１の対応するアクチュエータＡ１〜Ａ１４のキネマティクス（幾何学的位置関係）を解くことにより計算し、当該計算結果に基づいて画像７２内における自己の手の平２３Ａの範囲、すなわちホワイトバランス調整に用いる範囲７２Ａを算出する。
【００５９】
続いてコントロール部６４は、ステップＳＰ４に進んで、認識用画像信号Ｓ１０を構成する第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖ（図７）について、それぞれかかる画像７２（図６）におけるステップＳＰ３において算出した範囲７２Ａ（図６）内における全画素の画素値の平均値を算出する。
【００６０】
そしてコントロール部６４は、この後ステップＳＰ５に進んで、ステップＳＰ４において算出した第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖの各平均値をそれぞれ当該第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについての目標値として内部メモリ４０Ａに格納し、この後ステップＳＰ６に進んでこの第１の目標値設定処理手順ＲＴ１を終了する。なお、以下においては、かかる第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについての目標値が共に「１２８」であったものとする。
【００６１】
一方、コントロール部６４は、この後の駆動時において、信号処理部６４から与えられる認識用画像信号Ｓ１０に基づいて、周囲の照明環境が変化したか否かを常時監視する。
【００６２】
具体的には、『得られた１枚の画像における各画素の画素値の平均をとると、無色（黒〜グレイ〜白のいずれかの色）となる』という仮定は一般的には成り立たないことは上述した通りであるが、この平均値に対してさらに時間的に平均をとった場合は無色（黒〜グレイ）になるという仮定は妥当であると考えられる。
【００６３】
そこでコントロール部６４は、認識用画像信号Ｓ１０に基づく各画像にフレームナンバーが付されているとして、最新の画像のフレームナンバーをＦ、認識用画像信号Ｓ１０を構成する第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖ（図７）のｉ番目の画像全体における平均値をそれぞれＵＡＶ（ｉ）及びＶＡＶ（ｉ）、時間的平均をとる期間をＴ〔ｓ〕、１秒当たりに取得できる画像数をｎ、ホワイトバランスの再調整（キャリブレーション）を行うべき第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについての各閾値をそれぞれＵｔ及びＶｔとして、これら第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖに基づいて次式
【００６４】
【数１】
【００６５】
及び
【００６６】
【数２】
【００６７】
を常時計算し、（１）式の絶対値がＵｔよりも大きくなったとき、すなわち次式
【００６８】
【数３】
【００６９】
となったときや、（２）式の絶対値がＶｔよりも大きくなったとき、すなわち次式
【００７０】
【数４】
【００７１】
となったときに『周囲の照明条件が変化した』と判断する。
【００７２】
また、認識用画像信号Ｓ１０を構成する輝度信号Ｓ１０Ｙ（図７）のｉ番目の画像全体における平均値をＹＡＶ（ｉ）としたときに、この値の時間的平均値が前回のホワイトバランス調整を行ったときから大きく変化した場合は、照明環境の異なる部屋に入った又は照明のオン／オフがあったなど、照明環境の変化があったことが推測される。
【００７３】
そこでコントロール部６４は、前回のホワイトバランス調整を行ったときのフレームナンバーをＦＣ、再調整を行うべき輝度信号Ｓ１０Ｙについての閾値をＹｔとして、輝度信号Ｓ１０Ｙに基づいて次式
【００７４】
【数５】
【００７５】
を常時計算し、（５）式の絶対値がＹｔよりも大きくなったとき、すなわち次式
【００７６】
【数６】
【００７７】
となったときに『周囲の照明条件が変化した』と判断する。
【００７８】
そしてコントロール部６４は、このようにして認識用画像信号Ｓ１０に基づいて『周囲の照明条件が変化した』ことを認識すると、図１０に示す第１のパラメータ更新処理手順ＲＴ２に従って、信号処理部６０のＵゲインレジスタ７１Ｕ（図８）又はＶゲインレジスタ７１Ｖ（図８）にそれぞれ格納されている第１及び第２のホワイトバランスパラメータをそれぞれ必要に応じて更新する。
【００７９】
すなわちコントロール部６４は、上述のようにして認識用画像信号Ｓ１０に基づき『周囲の照明条件が変化した』ことを認識すると、この第１のパラメータ更新処理手順ＲＴ２をステップＳＰ１０において開始し、続くステップＳＰ１１〜ステップＳＰ１４を上述の第１の目標値設定処理手順ＲＴ１（図９）のステップＳＰ１〜ステップＳＰ４と同様に処理することにより、認識用画像信号Ｓ１０を構成する第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについて、そのときの照明環境下におけるステップＳＰ１３において算出した範囲７２Ａ（図６）内での全画素の画素値の平均値ＵＨＣＡＶ、ＶＨＣＡＶをそれぞれ算出する。
【００８０】
そしてコントロール部６４は、この後ステップＳＰ１５に進んで、ステップＳＰ１４において算出した第１の色差信号Ｓ１０Ｕの平均値ＵＨＣＡＶが目標値である「１２８」と一致するか否かを判断する。そしてコントロール部６４は、このステップＳＰ１５において肯定結果を得るとステップＳＰ１７に進む。
【００８１】
これに対してコントロール部６４は、このステップＳＰ１５において否定結果を得るとステップＳＰ１６に進んで、平均値ＵＨＣＡＶが目標値よりも大きい場合には信号処理部６０のＵゲインレジスタ７１Ｕ（図８）に格納された第１のホワイトバランスパラメータのパラメータ値を１だけ下げ、平均値ＵＨＣＡＶが目標値よりも小さい場合には当該第１のホワイトバランスパラメータのパラメータ値を１だけ上げた後、ステップＳＰ１７に進む。
【００８２】
続いてコントロール部６４は、このステップＳＰ１７において、上述のステップＳＰ１４において算出した第２の色差信号Ｓ１０Ｖの平均値ＶＨＣＡＶが目標値である「１２８」と一致するか否かを判断する。そしてコントロール部６４は、このステップＳＰ１７において肯定結果を得るとステップＳＰ１９に進む。
【００８３】
これに対してコントロール部６４は、このステップＳＰ１７において否定結果を得るとステップＳＰ１８に進んで、平均値ＶＨＣＡＶが目標値よりも大きい場合には信号処理部６０のＶゲインレジスタ７１Ｖ（図８）に格納された第２のホワイトバランスパラメータのパラメータ値を１だけ下げ、平均値ＶＨＣＡＶが目標値よりも小さい場合には当該第２のホワイトバランスパラメータのパラメータ値を１だけ上げた後、ステップＳＰ１９に進む。
【００８４】
次いでコントロール部６４は、このステップＳＰ１９において、上述のステップＳＰ１４において算出した第１の色差信号Ｓ１０Ｕの平均値ＵＨＣＡＶがその目標値と一致し、かつ、第２の色差信号Ｓ１０Ｖの平均値ＶＨＣＡＶがその目標値と一致していたか否かを判断する。
【００８５】
そしてコントロール部６４は、このステップＳＰ１９において否定結果を得るとステップＳＰ１２に戻り、この後ステップＳＰ１９において肯定結果を得るまでステップＳＰ１２〜ステップＳＰ１９−ステップＳＰ１２のループを繰り返す。
【００８６】
そしてコントロール部６４は、やがて第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖの各平均値ＵＨＣＡＶ、ＶＨＣＡＶがそれぞれ対応する目標値（いずれも「１２８」）に収束することによりステップＳＰ１９において肯定結果を得ると、ステップＳＰ２０に進んでこの第１のパラメータ更新処理手順ＲＴ２を終了する。
【００８７】
このようにしてコントロール部６４は、第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖの各平均値ＵＨＣＡＶ、ＶＨＣＡＶがそれぞれ目標値となるように第１及び第２のホワイトバランスパラメータを更新するようにして、ＣＣＤカメラ５０（図５）からの画像信号Ｓ１Ａのホワイトバランスを調整する。
【００８８】
（１−４）本実施の形態の動作及び効果
以上の構成において、ロボット１は、色温度の異なる部屋に移動し又は部屋の照明がオン／オフされるなどして周囲の照明環境が変化すると、自己の手の平２３Ａ（図６）部の色を検出し、当該色が工場出荷時に所定の照明環境下で記憶した当該自己の手の平２３Ａの色となるようにＣＣＤカメラ５０からの画像信号Ｓ１Ａのホワイトバランスを調整する。
【００８９】
従って、このロボット１では、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを工場出荷時の所定の照明環境下で行った場合と同じように調整することができる。
【００９０】
かくするにつきこのロボット１では、周囲の照明環境に依らずに常に信頼性の高い画像認識処理を行い得、画像処理コストを下げながら、認識率の向上を図ることができる。
【００９１】
以上の構成によれば、周囲の照明環境が変化したときに、その照明環境下における自己の手の平２３Ａの色が工場出荷時に所定の照明環境下で記憶した当該自己の手の平２３Ａの色と一致するようにＣＣＤカメラ５０からの画像信号Ｓ１Ａのホワイトバランスを調整するようにしたことにより、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを工場出荷時の所定の照明環境下で行った場合と同じように調整することができ、かくして照明環境に拘わりなく常に適切な画像信号処理を行い得るロボットを実現できる。
【００９２】
（２）第２の実施の形態
（２−１）本実施の形態によるロボット８０の構成及びホワイトバランスコントロールに関するメイン制御部８１（図５）の処理
図１〜図５において、８０は全体として第２の実施の形態によるロボットを示し、周囲の照明環境が変化したときに、ＣＣＤカメラ５０からの画像信号Ｓ１Ａに対するホワイトバランス調整を行う一方で、これと併せてそのゲイン調整をも行うようになされた点を除いて第１の実施の形態によるロボット１と同様に構成されている。
【００９３】
すなわちホワイトバランス調整として、第１の実施の形態のように画像の色味を変化させるパラメータ（第１及び第２のホワイトバランスパラメータ）のパラメータ値を変化させた場合、画像の明るさをコントロールするゲイン値（ゲインパラメータのパラメータ値）が高すぎると画像が飽和して、図１１（Ａ）のように当該画像にいわゆる白飛びが発生する。また逆に、ゲイン値が低すぎると、図１１（Ｂ）のように画像にいわゆる黒つぶれが生じる。
【００９４】
そしてこのような状態では、受光素子が飽和又は光量不足で正しく動作できないため、既知の色領域の画素値は信頼できないものとなり、ホワイトバランス調整を正しく行い難い問題が生じる。
【００９５】
また一般的に、ホワイトバランス用のパラメータを調整すると、画像の明るさも変化するため、最適なゲイン値においてホワイトバランス調整を行うためには、ホワイトバランス調整とゲイン調整とを同時に行うことが望ましい。
【００９６】
そこでこの第２の実施の形態のロボット８０では、メイン制御部８１において、ホワイトバランス調整時、周囲の照明環境に応じて信号処理部６０のＵゲインレジスタ７１Ｕ（図８）及びＶゲインレジスタ７１Ｖ（図８）にそれぞれ格納された第１及び第２のホワイトバランスパラメータを更新する際に、これと併せてＹゲインレジスタ７１Ｙ（図８）に格納されたゲインパラメータをも更新するようにして、これにより図１１（Ｃ）のような適切な明るさの画像を得られるようにしている。
【００９７】
かかる手段として、このロボット８０のコントロール部８２（図７）は、工場出荷時に所定の照明環境化における手の平２３Ａの色とそのときの画像の明るさとを図１２に示す第２の目標値設定処理手順ＲＴ３に従って検出し、記憶する。
【００９８】
すなわちコントロール部８２は、外部操作によりロボット１の手の平２３Ａの色及びそのときの画像の明るさを検出すべき命令が与えられると、この第２の目標値設定処理手順ＲＴ３をステップＳＰ３０において開始し、続くステップＳＰ３１〜ステップＳＰ３３を第１の目標値設定処理手順ＲＴ１のステップＳＰ１〜ステップＳＰ３と同様に処理することにより、信号処理部６４から与えられた認識用画像信号Ｓ１０に基づく画像７２（図１１）内のホワイトバランス調整及びゲイン調整に用いる範囲７２Ａ（図１１）、すなわち当該画像７２内における自己の手の平２３Ａの範囲を算出する。
【００９９】
続いてコントロール部８２は、ステップＳＰ３４に進んで、認識用画像信号Ｓ１０を構成する輝度信号Ｓ１０Ｙ並びに第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについて、それぞれかかる画像７２におけるステップＳＰ３３において算出した範囲７２Ａ内における全画素の画素値の平均値ＹＨＤＡＶ、ＵＨＤＡＶ、ＶＨＤＡＶを算出する。
【０１００】
そしてコントロール部８２は、この後ステップＳＰ３５に進んで、ステップＳＰ３４において算出した輝度信号Ｓ１０Ｙ並びに第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖの各平均値ＹＨＤＡＶ、ＵＨＤＡＶ、ＶＨＤＡＶを、それぞれ輝度信号Ｓ１０Ｙ並びに第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについての目標値としてメイン制御部８１（図５）内の内部メモリ８１Ａ（図５）に格納し、この後ステップＳＰ３６に進んでこの第２の目標値設定処理手順ＲＴ３を終了する。なお、以下においては、かかる輝度信号Ｓ１０Ｙについての目標値が「１００」、第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについての目標値が共に「１２８」であったものとする。
【０１０１】
一方、コントロール部８２は、この後の駆動時において、信号処理部６０から与えられる認識用画像信号Ｓ１０に基づいて、第１の実施の形態によるロボット１について上述した手法と同様にして周囲の照明環境が変化したか否かを常時監視する。
【０１０２】
そしてコントロール部８２は、やがて認識用画像信号Ｓ１０に基づいて『周囲の照明条件が変化した』ことを認識すると、図１３に示す第２のパラメータ更新処理手順ＲＴ４に従って、図６に示す信号処理部６０のＹゲインレジスタ７１Ｙ、Ｕゲインレジスタ７１Ｕ又はＶゲインレジスタ７１Ｖに格納されているゲインパラメータ並びに第１及び第２のホワイトバランスパラメータの各パラメータ値をそれぞれ必要に応じて更新する。
【０１０３】
すなわちコントロール部８２は、『周囲の照明条件が変化した』ことを認識すると、この第２のパラメータ更新処理手順ＲＴ４をステップＳＰ４０において開始し、続くステップＳＰ４１〜ステップＳＰ４４を上述の第２の目標値設定処理手順ＲＴ３（図１２）のステップＳＰ３１〜ステップＳＰ３４と同様に処理することにより、そのときの認識用画像信号Ｓ１０を構成する輝度信号Ｓ１０Ｙ並びに第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについてのかかる平均値ＹＨＤＡＶ、ＵＨＤＡＶ、ＶＨＤＡＶをそれぞれ算出する。
【０１０４】
そしてコントロール部８２は、この後ステップＳＰ４５に進んで、ステップＳＰ４４において算出した輝度信号Ｓ１０Ｙの平均値ＹＨＤＡＶが目標値である「１００」と一致するか否かを判断する。そしてコントロール部８２は、このステップＳＰ４５において肯定結果を得るとステップＳＰ４７に進む。
【０１０５】
これに対してコントロール部８２は、このステップＳＰ４５において否定結果を得るとステップＳＰ４６に進んで、平均値ＹＨＤＡＶが目標値よりも大きい場合にはＹゲインレジスタ７１Ｙに格納されたゲインパラメータのパラメータ値を１だけ下げ、平均値ＹＨＤＡＶが目標値よりも小さい場合には当該ゲインパラメータのパラメータ値を１だけ上げた後、ステップＳＰ４７に進む。
【０１０６】
またコントロール部８２は、この後ステップＳＰ４７〜ステップＳＰ５０を第１のパラメータ更新処理手順ＲＴ２（図１０）のステップＳＰ１５〜ステップＳＰ１８と同様に処理することにより、信号処理部６０のＵゲインレジスタ７１Ｕ又はＶゲインレジスタ７１Ｖに格納されている第１及び第２のホワイトバランスパラメータのパラメータ値を必要に応じて１だけ上げ又は下げた後、ステップＳＰ５１に進む。
【０１０７】
次いでコントロール部８２は、このステップＳＰ５１において、上述のステップＳＰ４４において算出した輝度信号Ｓ１０Ｙの平均値ＹＨＤＡＶがその目標値と一致し、かつ、第１の色差信号Ｓ１０Ｕの平均値ＵＨＤＡＶがその目標値と一致し、かつ、第２の色差信号Ｓ１０Ｖの平均値ＶＨＤＡＶがその目標値と一致していたか否かを判断する。
【０１０８】
そしてコントロール部８２は、このステップＳＰ５１において否定結果を得るとステップＳＰ４２に戻り、この後ステップＳＰ５１において肯定結果を得るまでステップＳＰ４２〜ステップＳＰ５１−ステップＳＰ４２のループを繰り返す。
【０１０９】
そしてコントロール部８２は、やがて輝度信号Ｓ１０Ｙの平均値ＹＨＤＡＶと、第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖの各平均値ＵＨＤＡＶ、ＶＨＤＡＶとがそれぞれ対応する目標値に収束することによりステップＳＰ５１において肯定結果を得ると、ステップＳＰ５２に進んでこの第２のパラメータ更新処理手順ＲＴ４を終了する。
【０１１０】
このようにしてコントロール部８２は、ＣＣＤカメラ５０（図５）からの画像信号Ｓ１Ａに対して、ホワイトバランス調整処理と並行してゲイン調整処理をも行うようになされている。
【０１１１】
（２−２）本実施の形態の動作及び効果
以上の構成において、このロボット８０は、色温度の異なる部屋に移動し又は部屋の照明がオン／オフされるなどして周囲の照明環境が変化すると、現在の自己の手の平２３Ａの色を検出し、当該色が工場出荷時に所定の照明環境下で記憶した当該自己の手の平２３Ａの色及び明るさとなるように、ＣＣＤカメラ５０からの画像信号Ｓ１Ａに対するホワイトバランスを調整すると共に、これと並行して当該画像信号Ｓ１Ａに対するゲインを調整する。
【０１１２】
従って、このロボット８０では、第１の実施の形態によるロボット１と比べて、より正確なホワイトバランス調整及びゲイン調整を行うことができ、その分より一層と周囲の照明環境に依らずに常に信頼性の高い画像認識処理を行い得、画像処理コストを下げながら、認識率の向上を図ることができる。
【０１１３】
以上の構成によれば、ホワイトバランス調整と併せてゲイン調整を行うようにしたことにより、より正確なホワイトバランス調整及びゲイン調整を行い得、かくしてより一層適切な画像信号処理を行い得るロボットを実現できる。
【０１１４】
（３）第３の実施の形態
（３−１）本実施の形態によるロボット９０の構成及びホワイトバランス調整に関するメイン制御部９１の処理
図１〜図５において、９０は全体として第３の実施の形態によるロボットを示し、図１４に示すように、既知のデザインのランドマーク９１を用いてホワイトバランス調整及びゲイン調整を行うようになされた点を除いて第２の実施の形態によるロボット８０と同様に構成されている。
【０１１５】
実際上、このロボット９０のオートホワイトバランス調整機能に関するメイン制御部９２（図５）の処理を機能的に分類すると、図７との対応部分に同一符号を付した図１５に示すように、信号処理部６０、画像認識部９３、行動選択決定部６２、行動生成部６３及びコントロール部９４とに分けることができる。
【０１１６】
この場合画像認識部９２は、信号処理部６０から与えられる認識用画像信号Ｓ１０に基づく画像内のオブジェクトの色を認識する色認識器と、当該画像内に存在する顔を認識し識別する顔認識器となどの各種認識器を有し、これら各認識器の認識結果を画像認識信号Ｓ１２として行動選択決定部６２に送出する。
【０１１７】
また画像認識部９２は、画像認識処理により認識用画像信号Ｓ１０に基づく画像内に、例えば図１６に示すような所定色に着色された円９１Ａの外周部に所定の形状の３つの画像認識用マーク９１Ｂ１〜９１Ｂ３が１２０〔°〕の間隔をもって順次配置されたデザインのランドマーク９１のこれら各画像認識用マーク９１Ｂ１〜９１Ｂ３を検出すると、その旨及び当該画像内における各画像認識用マーク９１Ｂ１〜９１Ｂ３の位置を画像認識用マーク検出信号Ｓ２０としてコントロール部９４に送出する。
【０１１８】
コントロール部９４においては、ランドマーク９１における各画像認識用マーク９１Ｂ１〜９１Ｂ３の位置と、所定の照明環境下において認識用画像信号Ｓ１０に基づき検出されるランドマーク９１の各画像認識用マーク９１Ｂ１〜９１Ｂ３以外の部分の基準とすべき色（すなわち上述の円９１Ａ内の色、以下、これを単にランドマーク９１の色と呼ぶ）と、当該所定の照明環境下における画像の基準とすべき明るさとを予め図５に示す内部メモリ９２Ａに記憶している。なお、この内部メモリ９２Ａが記憶しているランドマーク９１の色や画像の明るさは、工場出荷時にかかる照明環境下において後述のようなホワイトバランス調整処理やゲイン調整処理により得られたものであっても、また予め測定されたものを各ロボット９０の製造時に一律に内部メモリ９２Ａに記憶させたものであっても良い。
【０１１９】
そしてコントロール部９４は、画像認識部９３から画像認識用マーク検出信号Ｓ２０が与えられると、当該画像認識用マーク検出信号Ｓ２０に基づき得られる画像内の各画像認識用マーク９１Ｂ１〜９１Ｂ３の位置から、現在の照明環境下におけるランドマーク９１の色及び画像の明るさを検出する範囲、すなわち画像内におけるホワイトバランス調整に用いる範囲を算出する。
【０１２０】
またコントロール部９４は、この計算結果と、そのとき信号処理部６０から与えられる認識用画像信号Ｓ１０とに基づいて、かかる算出した範囲（ランドマーク９１の中心部）内の色と、画像の明るさとを検出すると共に、この検出結果と、上述の予め記憶している所定の照明環境下におけるランドマーク９１の色及びそのときの画像の明るさとを比較する。
【０１２１】
そしてコントロール部９４は、この比較結果に基づいて、現在の照明環境下において検出されるランドマーク９１の色及び現在の画像の明るさが、かかる所定の照明環境下において検出されるべき色及び明るさと一致するようにホワイトバランスを調整する。
【０１２２】
このようにしてこのロボット９０においては、ランドマーク９１を用いたホワイトバランス調整を行い得るようになされ、これにより周囲の色分布や照明環境に拘わりなく、常に一定状態にホワイトバランスを調整し得るようになされている。
【０１２３】
（３−２）コントロール部９４の具体的処理
次に、ホワイトバランス調整に関するコントロール部９４の具体的な処理内容について説明する。
【０１２４】
コントロール部９４は、画像認識部９３から画像認識用マーク検出信号Ｓ２０が与えられると、図１７に示す第３のパラメータ更新処理手順ＲＴ５に従って図８に示す信号処理部６０のＹゲインレジスタ７１Ｙ、Ｕゲインレジスタ７１Ｕ又はＶゲインレジスタ７１Ｖに格納されているゲインパラメータ並びに第１及び第２のホワイトバランスパラメータの各パラメータ値をそれぞれ必要に応じて更新する。
【０１２５】
すなわちコントロール部９４は、かかる画像認識用マーク検出信号Ｓ２０が画像認識部９３から与えられると、この第３のパラメータ更新処理手順ＲＴ５をステップＳＰ６０において開始し、続くステップＳＰ６１において行動選択決定部６１を制御することによりロボット９０の行動を一時的に停止させる。
【０１２６】
続いてコントロール部９４は、ステップＳＰ６２に進んで、このとき信号処理部６０から与えられる認識用画像信号Ｓ１０に基づく１フレーム分の画像情報を取得し、この後ステップＳＰ６３に進んで当該画像情報に基づく画像９５（図１４（Ｂ））内のホワイトバランス調整及びゲイン調整に用いる範囲９５Ａ（図１４（Ｂ））を算出する。
【０１２７】
具体的に、コントロール部９４は、このとき画像認識用マーク検出信号Ｓ２０に基づき得られる画像９５内のランドマーク９１の各画像認識用マーク９１Ｂ１〜９１Ｂ３の位置から、当該画像９５内におけるランドマーク９１の中心位置を中心としてその画像９５内におけるランドマーク９１の大きさに応じた大きさの、かつ各画像認識用マーク９１Ｂ１〜９１Ｂ３を含まない範囲９５Ａを所定の演算処理により算出する。
【０１２８】
そしてコントロール部９４は、この後ステップＳＰ６４に進み、この後ステップＳＰ６４〜ステップＳＰ７１を第２のパラメータ更新処理手順ＲＴ４（図１３）のステップＳＰ４４〜ステップＳＰ５１と同様に処理する。
【０１２９】
このためこの実施の形態においても、コントロール部９４は、ランドマーク９１の色として、信号処理部６０から与えられる認識用画像信号Ｓ１０を構成する輝度信号Ｓ１０Ｙ、第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについて、所定の照明環境下における上述の画像９５内のかかる範囲９５Ａにおける全画素の画素値の平均値ＹＬＤＡＶ、ＵＬＤＡＶ、ＶＬＤＡＶをそれぞれ目標値（この実施の形態においてはそれぞれ「１００」、「１２８」、「１２８」）として予め記憶している。
【０１３０】
そしてコントロール部９４は、やがて現在の照明環境下において、かかる輝度信号Ｓ１０Ｙの平均値ＹＬＤＡＶと、第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖの各平均値ＵＬＤＡＶ、ＶＬＤＡＶとがそれぞれ対応する目標値に収束することによりステップＳＰ７１において肯定結果を得ると、ステップＳＰ７２に進んでこの第３のパラメータ更新処理手順ＲＴ５を終了する。
【０１３１】
このようにしてコントロール部９４は、既知のランドマーク９１を利用して、ホワイトバランス調整及びゲイン調整を行い得るようになされている。
【０１３２】
（３−３）本実施の形態の動作及び効果
以上の構成において、このロボット９０は、ランドマーク９１を検出すると、当該ランドマーク９１の円９１Ａの部分の色を検出し、当該色が予め与えられた色と一致するようにＣＣＤカメラ５０からの画像信号Ｓ１Ａのホワイトバランスを調整する。
【０１３３】
従って、このロボット９０では、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができる。
【０１３４】
かくするにつきこのロボット９０では、周囲の照明環境に依らずに常に信頼性の高い画像認識処理を行い得、画像処理コストを下げながら、認識率の向上を図ることができる。
【０１３５】
以上の構成によれば、ランドマーク９１を検出したときに、当該ランドマーク９１の円９１Ａの部分の色を検出し、当該色が予め与えられた色と一致するようにＣＣＤカメラ５０からの画像信号Ｓ１Ａのホワイトバランスを調整するようにしたことにより、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを工場出荷時の所定の照明環境下で行った場合と同じように調整することができ、かくして照明環境に拘わりなく常に適切な画像信号処理を行い得るロボットを実現できる。
【０１３６】
（４）第４の実施の形態
（４−１）ホワイトバランス調整結果等を利用したインタラクションに関するメイン制御部１０１の処理
図１〜図５において、１００は全体として第４の実施の形態によるロボットを示し、上述のようなホワイトバランス調整処理及びゲイン調整処理により得られた、現在の照明環境に応じた第１及び第２のホワイトバランスパラメータ並びにゲインパラメータの各パラメータ値に応じたインタラクションを発現する機能が搭載されている点を除いて第２の実施の形態によるロボット８０と同様に構成されている。
【０１３７】
すなわち、第２の実施の形態において説明した方法でホワイトバランス調整及びゲイン調整を行うことによって、ロボット１００がおかれた照明環境に適した信号処理を行うことができるが、そのときの信号処理部６０のＹゲインレジスタ７１Ｙに格納されているゲインパラメータのパラメータ値と、Ｕゲインレジスタ７１Ｕ又はＶゲインレジスタ７１Ｖにそれぞれ格納されている第１及び第２のホワイトバランスパラメータのパラメータ値とに基づいて、逆に現在の周囲の照明環境を測定することができる。
【０１３８】
つまり、図１８及び図１９に示すように、青みのゲインである第１のホワイトバランスパラメータの現在のパラメータ値が大きければロボット１００が白熱灯による照明などの色温度が低い照明環境下にいることが分かり（図１８（Ａ））、赤みのゲインである第２のホワイトバランスパラメータの現在のパラメータ値が大きければロボット１００が蛍光灯による照明などの色温度が高い照明環境下にいることが分かる（図１８（Ｂ））。またゲインについても、現在のゲインパラメータのパラメータ値が大きければロボット１００が明るい照明環境にいることが分かり（図１９（Ａ））、現在のゲインパラメータのパラメータ値が小さければロボット１００が暗い照明環境にいることが分かる（図１９（Ｂ））。
【０１３９】
そこで、このロボット１００のメイン制御部１０１（図５）における機能モジュールとしてのコントロール部１０２（図７）は、図１３について上述した第２のパラメータ更新処理手順ＲＴ４に従ったホワイトバランス調整及びゲイン調整の直後又はその後の所定タイミングで信号処理部６０のＹゲインレジスタ７１Ｙに格納されているＹゲインパラメータのパラメータ値と、Ｕゲインレジスタ７１Ｕ又はＶゲインレジスタ７１Ｖにそれぞれ格納されている第１及び第２のホワイトバランスパラメータのパラメータ値とを読み出し、これらを行動選択決定部６２に与えるようになされている。
【０１４０】
そして行動選択決定部６２は、これらゲインパラメータのパラメータ値や第１及び第２のホワイトバランスパラメータのパラメータ値が与えられると、『この部屋の色温度は５０００〔ｋ〕です。』、『この部屋の照度は１０００〔ｌｘ〕です。』などの与えられたパラメータ値に応じた発話を行う動作をロボット９０の次の行動として選択及び決定し、これに応じた行動決定信号Ｓ１５を行動生成部６３に送出する。この結果、この行動決定信号Ｓ１５に基づいて、かかる発話がロボット１００により行われることとなる。
【０１４１】
このようにしてこのロボット１００においては、かかるホワイトバランス調整の調整結果やゲイン調整の調整結果に応じたインタラクションを発現し得るようになされている。
【０１４２】
（４−２）本実施の形態の動作及び効果
以上の構成において、ロボット１００は、信号処理部６０のＹゲインレジスタ７１Ｙに格納されているＹゲインパラメータのパラメータ値と、Ｕゲインレジスタ７１Ｕ又はＶゲインレジスタ７１Ｖにそれぞれ格納されている第１及び第２のホワイトバランスパラメータのパラメータ値とに基づいて、行動を選択し発現する。
【０１４３】
従って、このロボット１００は、時間や場所によって変化する照明環境に対応して、現在の照明環境に最も適したインタラクションをユーザに提供することができる。
【０１４４】
以上の構成によれば、調整後の第１及び第２のホワイトバランスパラメータのパラメータ値などのホワイトバランス調整結果等を利用したインタラクションをロボット１００に発現させるようにしたことにより、時間や場所によって変化する照明環境に対応して、現在の照明環境に最も適したインタラクションをユーザに提供することができ、かくして照明環境に拘わりなく常に適切な画像信号処理を行い得ることに加えて、エンターテインメント性をも向上させ得るロボットを実現できる。
【０１４５】
（５）他の実施の形態
なお上述の第１〜第４の実施の形態においては、本発明を図１〜図５のように構成された２足歩行型のロボット１、８０、９０、１００に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の形態のロボットや、ロボット以外のカメラデバイスを搭載する種々の移動型装置に広く適用することができる。
【０１４６】
また上述の第１、第２及び第４の実施の形態においては、コントロール部６４、８２、１０２が信号処理部６０からの認識用画像信号にＳ１０基づく画像７２の（図６）うちのホワイトバランス調整に用いる範囲７２Ａ（図６）を計算により求めるようにした場合について述べたが、本発明はこれ限らず、例えば図２０に示すように、ロボット１、８０、１００の手の平２３ＡによってＣＣＤカメラ５０の撮像範囲を全て覆い、認識用画像信号Ｓ１０に基づく画像７２の全体を用いてホワイトバランス調整を行うようにしても良い。このようにすることによって、かかるホワイトバランス調整に用いる範囲の算出処理の必要性をなくさせてコントロール部６４、８２、１０２の演算負荷を軽減させることができる。
【０１４７】
さらに上述の第１、第２及び第４の実施の形態においては、コントロール部６４、８２、１０２が信号処理部６０からの認識用画像信号Ｓ１０に基づいて、（３）式、（４）式又は（６）式となったときにホワイトバランスの再調整を行うようにした場合について述べたが、本発明はこれに限らず、例えば画像認識部６１（図７）において色認識によって検出されるオブジェクトの検出率が一定レベルを超えて低下したときや、ユーザからの再調整すべき命令が入力されたときにホワイトバランスを再調整するようにしても良い。
【０１４８】
またこれ以外でも、例えば太陽光が入る部屋等、時間と共に照明環境が変化する場合にも対応できるようにするため、内蔵時計により前回のホワイトバランスの再調整を行ってから一定時間が経過したことを検出したときに再調整したり、場所によって照明環境が異なる可能性があるため、前回のホワイトバランスの再調整をした場所からある一定値よりも長い距離だけ移動したことを検出したときに再調整したり、さらには前回と異なる照明環境で起動される可能性があるため、ロボット１、８０、１００が起動されるごとに再調整するようにしても良い。
【０１４９】
さらに上述の第１、第２及び第４の実施の形態においては、ロボット１、８０、１００が、自己の体の色として手の平２３Ａの色に基づいてホワイトバランス調整を行うようにした場合について述べたが、本発明はこれに限らず、例えば図２１（Ａ）に示すように、自己の足先の色に基づいてホワイトバランス調整を行い得るようにロボット１、８０、１００を構築するようにしても良く、要は、自己の体を用いてホワイトバランス調整を行い得るようにロボット１、８０、１００を構築するのであれば、ホワイトバランス調整に利用するロボット１、８０、１００の体の部位はどの部位であっても良い。
【０１５０】
同様に、上述の第３の実施の形態においては、ロボット９０が、既知の色をもつランドマーク９１を用いてホワイトバランスを調整するようにした場合について述べたが、本発明はこれに限らず、例えば図２１（Ｂ）のように既知の色をもつ専用シート１１０を用いてホワイトバランス調整を行うようにしたり、図２１（Ｃ）のように既知の色をもつ当該ロボットの充電器でなるステーション１１１の壁面を用いてホワイトバランス調整を行うようにロボット９０を構築するようにしても良く、要は、既知の色をもつ所定物や所定マークを用いてホワイトバランス調整を行うのであれば、その物やマークとしてはこの他種々の物又はマークを広く適用することができる。
【０１５１】
さらに上述の第１、第２及び第４の実施の形態においては、工場出荷時に所定の照明環境下における自己の手の平２３Ａの色を、自己の体の基準とすべき色として内部メモリ４０Ａ、８１Ａに記憶するようにした場合について述べたが、本発明はこれに限らず、例えば予め所定の照明環境下において検出されるロボット１の手の平２３Ａの色を測定しておき、これを基準とすべき色として製造時に内部メモリ４０Ａ、８１Ａに記憶させておくようにしても良い。このようにすることによって、ロボット１、８０、１００ごとに工場出荷の際に自己の体の色として基準とすべき色を記憶させる作業を省略して、ロボット１、８０、１００の製造及び出荷作業を簡易化させることができる。
【０１５２】
さらに上述の第１〜第４の実施の形態においては、ロボット１、８０、９０、１００の手の平２３Ａの色として基準とすべき色や、ランドマーク９１の基準とすべき色を予め記憶する記憶手段として、内部メモリ４０Ａ、８１Ａ、９２Ａを適用するようにした場合について述べたが、本発明はこれに限らず、例えば外部メモリ５６を適用するようにしても良く、またメモリ以外の例えばディスク状記憶媒体等の他の記憶媒体を適用するようにしても良い。
【０１５３】
さらに上述の第１〜第４の実施の形態においては、撮像手段としてＣＣＤカメラ５０を適用する場合について述べたが、本発明はこれに限らず、これ以外の撮像手段を広く適用することができる。
【０１５４】
さらに上述の第１〜第４の実施の形態においては、ＣＣＤカメラ５０から出力される画像信号Ｓ１Ａに基づいて、現在の照明環境下におけるロボット１、８０、９０、１００の手の平２３Ａの色又はランドマーク９１の色を検出する色検出手段としての機能や、その照明環境下における認識用画像信号Ｓ１０に基づく画像の明るさを検出する明るさ検出手段としての機能、及びかかる明るさ検出手段により検出された画像の明るさが、内部メモリ４０Ａ、８１Ａ、９２Ａに記憶された基準とすべき明るさと一致するように、画像信号Ｓ１Ａに対するゲインを調整するゲイン調整手段としての機能をコントロール部６４、８２、９４、１０２にもたせるようにした場合について述べたが、本発明はこれに限らず、かかる機能を信号処理部６０等の他のモジュールにもたせたり、これらを別個のモジュールとして形成するようにしても良い。
【０１５５】
さらに上述の第４の実施の形態においては、ホワイトバランス調整結果等を利用したインタラクションとして、単に色温度や照度の測定値を発話させるようにした場合について述べたが、本発明はこれに限らず、例えば照度が小さい場合（ゲインパラメータのパラメータ値が小さい場合）には、ロボット１００に『暗くてよく見えないよ。』などの照度の測定値以外の内容を発話させるようにしたり、又は搭載されているＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等を点灯させるなどのインタラクションをロボット１００に発現させるようにしても良く、要は、ホワイトバランス調整結果やゲイン調整結果を活用したインタラクションをロボット１００に発現させるようにするのであれば、インタラクションの内容としてはこの他種々の内容を広く適用することができる。
【０１５６】
【発明の効果】
上述のように本発明によれば、ロボット装置において、自己の体の色として基準とすべき色を予め記憶する記憶手段と、画像信号に基づいて、現在の照明環境下における自己の体の色を検出する色検出手段と、色検出手段により検出される自己の体の色が、記憶手段に記憶された基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施すホワイトバランス調整手段とを設けるようにしたことにより、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができ、かくして照明環境に拘わりなく常に適切な画像信号処理を行い得るロボット装置を実現できる。
【０１５７】
また本発明によれば、ロボット装置における画像信号処理方法において、自己の体の色として基準とすべき色を予め記憶する第１のステップと、画像信号に基づいて、現在の照明環境下における自己の体の色を検出する第２のステップと、検出した自己の体の色が、基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施す第３のステップとを設けるようにしたことにより、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができ、かくして照明環境に拘わりなく常に適切な画像信号処理を行い得るロボット装置における画像信号処理方法を実現できる。
【０１５８】
さらに本発明によれば、ロボット装置において、所定物又は所定マークの色として基準とすべき色を予め記憶する記憶手段と、撮像手段から出力される画像信号に基づいて、現在の照明環境下における所定物又は所定マークの色を検出する色検出手段と、色検出手段により検出される所定物又は所定マークの色が、記憶手段に記憶された基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施すホワイトバランス調整手段とを設けるようにしたことにより、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができ、かくして照明環境に拘わりなく常に適切な画像信号処理を行い得るロボット装置を実現できる。
【０１５９】
さらに本発明によれば、ロボット装置における画像信号処理方法において、所定物又は所定マークの色として基準とすべき色を予め記憶する第１のステップと、撮像手段から出力される画像信号に基づいて、現在の照明環境下における所定物又は所定マークの色を検出する第２のステップと、検出した所定物又は所定マークの色が、基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施す第３のステップとを設けるようにしたことにより、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができ、かくして照明環境に拘わりなく常に適切な画像信号処理を行い得るロボット装置における画像信号処理方法を実現できる。
【図面の簡単な説明】
【図１】本実施の形態によるロボットの外観構成を示す斜視図である。
【図２】本実施の形態によるロボットの外観構成を示す斜視図である。
【図３】本実施の形態によるロボットの外観構成の説明に供する概念図である。
【図４】本実施の形態によるロボットの内部構成の説明に供する概念図である。
【図５】本実施の形態によるロボットの内部構成の説明に供するブロック図である。
【図６】第１及び第２の実施の形態によるホワイトバランス調整方法の説明に供する概念図である。
【図７】第１及び第２の実施の形態におけるオートホワイトバランス調整機能に関するメイン制御部の処理内容の説明に供するブロック図である。
【図８】信号処理部の一部構成を示すブロック図である。
【図９】第１の目標値設定処理手順を示すフローチャートである。
【図１０】第１のパラメータ更新処理手順を示すフローチャートである。
【図１１】ホワイトバランス調整とゲイン調整との関係を示す概念図である。
【図１２】第２の目標値設定処理手順を示すフローチャートである。
【図１３】第２のパラメータ更新処理手順を示すフローチャートである。
【図１４】第３の実施の形態によるホワイトバランス調整方法の説明に供する概念図である。
【図１５】第３の実施の形態におけるオートホワイトバランス調整機能に関するメイン制御部の処理内容の説明に供するブロック図である。
【図１６】ランドマークを示す略線図である。
【図１７】第３のパラメータ更新処理手順を示すフローチャートである。
【図１８】第１及び第２のホワイトバランスパラメータのパラメータ値を利用したインタラクションの提供についての説明に供する略線図である。
【図１９】ゲインパラメータのパラメータ値を利用したインタラクションの提供についての説明に供する略線図である。
【図２０】他の実施の形態を示す略線図である。
【図２１】他の実施の形態を示す略線図である。
【符号の説明】
１、８０、９０、１００……ロボット、２３……手部、２３Ａ……手の平、４０、８１、９２、１０１……メイン制御部、４０Ａ、８１Ａ、９２Ａ……内部メモリ、６０……信号処理部、６１、９３……画像認識部、６４、８２、９４……コントロール部、７０Ｙ……Ｙゲインアンプ、７０Ｕ……Ｕゲインアンプ、７０Ｖ……Ｖゲインアンプ、７１Ｙ……Ｙゲインレジスタ、７１Ｕ……Ｕゲインレジスタ、７１Ｖ……Ｖゲインレジスタ、７２、９５……画像、７２Ａ、９５Ａ……範囲、９１……ランドマーク、９１Ａ……円、９１Ｂ１〜９１Ｂ３……画像認識用マーク、１１０……専用シート、１１１……ステーション、Ｓ１Ａ……画像信号、Ｓ１０……認識用画像信号、Ｓ１０Ｙ……輝度信号、Ｓ１０Ｕ……第１の色差信号、Ｓ１０Ｖ……第２の色差信号。
【発明の属する技術分野】
本発明はロボット装置及びロボット装置における画像信号処理方法に関し、例えばカメラデバイスを搭載した移動型のロボットに適用して好適なものである。
【０００２】
【従来の技術】
移動型のロボットにおいては、搭載されたカメラデバイスから得られる画像情報が、外部状況を認識するための情報として、数あるセンサ情報の中でも重要なものである。
【０００３】
かかるカメラデバイスからの画像信号に対するコントロールとしては、大きく分けて、明るさをコントロールするゲイン調整と、色合いをコントロールするホワイトバランス調整とがあるが、特に、画像情報における色のもつ情報量は多く、人間との情報共有にも大きな役割を果たすため、ホワイトバランスの調整は重要となる。
【０００４】
ここで、このようなカメラデバイスにおけるホワイトバランスの一般的な調整方法としては、画像中の各画素値の平均値が無色（黒〜グレイ〜白のいずれかの色）となると仮定して、当該平均値が無色になるようにホワイトバランスを調整する第１の方法（以下、これを第１のホワイトバランス調整方法と呼ぶ）と、予め決められたホワイトバランス設定において、最も無色（黒〜グレイ〜白のいずれかの色）に近い領域の画素値が無色になるようにホワイトバランスを調整する第２の方法（以下、これを第２のホワイトバランス調整方法と呼ぶ）とがある（例えば特許文献１参照）。
【０００５】
【特許文献１】
特開２００３−２３６４５号公報（第２頁）
【０００６】
【発明が解決しようとする課題】
ところで、かかる移動型のロボットが行動する環境は、
▲１▼部屋によって色温度が異なる
▲２▼日光などの影響により、時間によって環境の色温度が異なる
▲３▼照明がオン・オフされることにより、環境の色温度が変化する
▲４▼ロボットの周囲に配置されたものの色によって、同じ部屋でも色温度の異なる場所が存在する
▲５▼同じ場所でも向いている方向（上下左右）によって色温度が異なる
など、環境によって色温度が異なるなどの理由により、撮像される画像のホワイトバランスが適切でない状況が存在する。
【０００７】
従って、カメラデバイスからの画像信号に基づいて画像処理や画像認識を行う場合、その処理に応じた適切なホワイトバランス調整が必要となり、例えば適切なホワイトバランス調整が行われていないと、色情報を用いた画像処理や画像認識は難しいものとなる。
【０００８】
しかしながら、移動型のロボットのホワイトバランス調整方法として上述の第１のホワイトバランス調整方法を採用した場合、撮像画像が常に理想的な色分布であるわけではないために、撮像画像中において支配的な面積を有する色がある場合にはその影響を受けて、適切なホワイトバランス調整処理を行い難い問題があった。
【０００９】
また、上述の第２のホワイトバランス調整方法によると、選択された領域の色が必ずしも意図した色である保証はないため、この方法によっても適切なホワイトバランス調整が行われる保証はない。
【００１０】
本発明は以上の点を考慮してなされたもので、適切な画像信号処理を行い得るロボット装置及びロボット装置における画像信号処理方法を提案しようとするものである。
【００１１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、ロボット装置において、自己の体の色として基準とすべき色を予め記憶する記憶手段と、画像信号に基づいて、現在の照明環境下における自己の体の色を検出する色検出手段と、色検出手段により検出される自己の体の色が、記憶手段に記憶された基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施すホワイトバランス調整手段とを設けるようにした。この結果このロボット装置では、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができる。
【００１２】
また本発明においては、ロボット装置における画像信号処理方法において、自己の体の色として基準とすべき色を予め記憶する第１のステップと、画像信号に基づいて、現在の照明環境下における自己の体の色を検出する第２のステップと、検出した自己の体の色が、基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施す第３のステップとを設けるようにした。この結果このロボット装置における画像信号処理方法によれば、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができる。
【００１３】
さらに本発明においては、ロボット装置において、所定物又は所定マークの色として基準とすべき色を予め記憶する記憶手段と、撮像手段から出力される画像信号に基づいて、現在の照明環境下における所定物又は所定マークの色を検出する色検出手段と、色検出手段により検出される所定物又は所定マークの色が、記憶手段に記憶された基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施すホワイトバランス調整手段とを設けるようにした。この結果このロボット装置では、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができる。
【００１４】
さらに本発明においては、ロボット装置における画像信号処理方法において、所定物又は所定マークの色として基準とすべき色を予め記憶する第１のステップと、画像信号に基づいて、現在の照明環境下における所定物又は所定マークの色を検出する第２のステップと、検出した所定物又は所定マークの色が、基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施す第３のステップとを設けるようにした。この結果このロボット装置における画像信号処理方法によれば、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができる。
【００１５】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１６】
（１）第１の実施の形態
（１−１）本実施の形態によるロボットの概略構成
図１及び図２において、１は全体として本実施の形態による２足歩行型のロボットを示し、胴体部ユニット２の上部に頭部ユニット３が配設されると共に、当該胴体部ユニット２の上部左右にそれぞれ同じ構成の腕部ユニット４Ａ、４Ｂがそれぞれ配設され、かつ胴体部ユニット２の下部左右にそれぞれ同じ構成の脚部ユニット５Ａ、５Ｂがそれぞれ所定位置に取り付けられることにより構成されている。
【００１７】
胴体部ユニット２においては、体幹上部を形成するフレーム１０及び体幹下部を形成する腰ベース１１が腰関節機構１２を介して連結することにより構成されており、体幹下部の腰ベース１１に固定された腰関節機構１２の各アクチュエータＡ１、Ａ２をそれぞれ駆動することによって、体幹上部を図３に示す直交するロール軸１３及びピッチ軸１４の回りにそれぞれ独立に回転させ得るようになされている。
【００１８】
また頭部ユニット３は、フレーム１０の上端に固定された肩ベース１５の上面中央部に首関節機構１６を介して取り付けられており、当該首関節機構１６の各アクチュエータＡ３、Ａ４をそれぞれ駆動することによって、図３に示す直交するピッチ軸１７及びヨー軸１８の回りにそれぞれ独立に回転させ得るようになされている。
【００１９】
さらに各腕部ユニット４Ａ、４Ｂは、それぞれ肩関節機構１９を介して肩ベース１５の左右に取り付けられており、対応する肩関節機構１９の各アクチュエータＡ５、Ａ６をそれぞれ駆動することによって図３に示す直交するピッチ軸２０及びロール軸２１の回りにそれぞれ独立に回転させ得るようになされている。
【００２０】
この場合、各腕部ユニット４Ａ、４Ｂは、それぞれ上腕部を形成するアクチュエータＡ７の出力軸に肘関節機構２２を介して前腕部を形成するアクチュエータＡ８が連結され、当該前腕部の先端に手部２３が取り付けられることにより構成されている。
【００２１】
そして各腕部ユニット４Ａ、４Ｂでは、アクチュエータＡ７を駆動することによって前腕部を図３に示すヨー軸２４の回りに回転させ、アクチュエータＡ８を駆動することによって前腕部を図３に示すピッチ軸２５の回りにそれぞれ回転させることができるようになされている。
【００２２】
これに対して各脚部ユニット５Ａ、５Ｂにおいては、それぞれ股関節機構２６を介して体幹下部の腰ベース１１にそれぞれ取り付けられており、それぞれ対応する股関節機構２６の各アクチュエータＡ９〜Ａ１１をそれぞれ駆動することによって、図３に示す互いに直交するヨー軸２７、ロール軸２８及びピッチ軸２９の回りにそれぞれ独立に回転させ得るようになされている。
【００２３】
この場合各脚部ユニット５Ａ、５Ｂは、それぞれ大腿部を形成するフレーム３０の下端に膝関節機構３１を介して下腿部を形成するフレーム３２が連結されると共に、当該フレーム３２の下端に足首関節機構３３を介して足部３４が連結されることにより構成されている。
【００２４】
これにより各脚部ユニット５Ａ、５Ｂにおいては、膝関節機構３１を形成するアクチュエータＡ１２を駆動することによって、下腿部を図３に示すピッチ軸３５の回りに回転させることができ、また足首関節機構３３のアクチュエータＡ１３、Ａ１４をそれぞれ駆動することによって、足部３４を図３に示す直交するピッチ軸３６及びロール軸３７の回りにそれぞれ独立に回転させ得るようになされている。
【００２５】
一方、胴体部ユニット２の体幹下部を形成する腰ベース１１の背面側には、図４に示すように、当該ロボット１全体の動作制御を司るメイン制御部４０と、電源回路及び通信回路などの周辺回路４１と、バッテリ４５（図５）となどがボックスに収納されてなる制御ユニット４２が配設されている。
【００２６】
そしてこの制御ユニット４２は、各構成ユニット（胴体部ユニット２、頭部ユニット３、各腕部ユニット４Ａ、４Ｂ及び各脚部ユニット５Ａ、５Ｂ）内にそれぞれ配設された各サブ制御部４３Ａ〜４３Ｄと接続されており、これらサブ制御部４３Ａ〜４３Ｄに対して必要な電源電圧を供給したり、これらサブ制御部４３Ａ〜４３Ｄと通信を行うことができるようになされている。
【００２７】
また各サブ制御部４３Ａ〜４３Ｄは、それぞれ対応する構成ユニット内の各アクチュエータＡ１〜Ａ１４と接続されており、当該構成ユニット内の各アクチュエータＡ１〜Ａ１４をメイン制御部４０から与えられる各種制御コマンドに基づいて指定された状態に駆動し得るようになされている。
【００２８】
また頭部ユニット３には、図５に示すように、このロボット１の「目」として機能するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ ）カメラ５０及び「耳」として機能するマイクロホン５１などの各種外部センサと、「口」として機能するスピーカ５２となどがそれぞれ所定位置に配設され、手部２３の手の平や足部３４の底面等には、それぞれ外部センサとしてのタッチセンサ５３が配設されている。
【００２９】
さらに制御ユニット４２内には、バッテリセンサ５４及び加速度センサ５５などの各種内部センサが配設され、腰関節機構１２等の各関節機構には、それぞれアクチュエータＡ１〜Ａ１４に対応させて、内部センサとしてのポテンショメータ（図示せず）が配設されている。
【００３０】
そしてＣＣＤカメラ５０は、周囲の状況を撮像し、得られた画像信号Ｓ１Ａをメイン制御部４０に送出する一方、マイクロホン５１は、各種外部音を集音し、かくして得られた音声信号Ｓ１Ｂをメイン制御部４０に送出する。またタッチセンサ５３は、外部との物理的な接触を検出し、検出結果を圧力検出信号Ｓ１Ｃとしてメイン制御部４０に送出するようになされている。
【００３１】
またバッテリセンサ５４は、バッテリ４５のバッテリ残量を所定周期で検出し、検出結果をバッテリ残量検出信号Ｓ２Ａとしてメイン制御部４０に送出する一方、加速度センサ５６は、３軸方向（ｘ軸、ｙ軸及びｚ軸）の加速度を所定周期で検出し、検出結果を加速度検出信号Ｓ２Ｂとしてメイン制御部４０に送出する。さらに各ポテンショメータは、それぞれ対応するアクチュエータＡ１〜Ａ１４の出力軸の回転角度を検出し、検出結果を回転角度検出信号Ｓ２Ｃとして対応するサブ制御部４３Ａ〜４３Ｄを介してメイン制御部４０に送出する。
【００３２】
メイン制御部部４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）としての内部メモリ４０Ａ等を有するマイクロコンピュータ構成でなり、カメラ５０、マイクロホン５１及びタッチセンサ５３等の各外部センサからそれぞれ与えられる画像信号Ｓ１Ａ、音声信号Ｓ１Ｂ及び圧力検出信号Ｓ１Ｃ等の外部センサ信号と、バッテリセンサ５４、加速度センサ５５及び各ポテンショメータ等の各内部センサからそれぞれ与えられるバッテリ残量検出信号Ｓ２Ａ、加速度検出信号Ｓ２Ｂ及び角度検出信号Ｓ２Ｃ等の内部センサ信号とに基づいて、ロボット１の周囲及び内部の状況や、外部との接触の有無などを判断する。
【００３３】
そしてメイン制御部４０は、この判断結果と、予め内部メモリ４０Ａに格納されている制御プログラムと、そのとき装填されている外部メモリ５６に格納されている各種制御パラメータとに基づいて続く行動を決定し、決定結果に基づく制御コマンドを対応するサブ制御部４３Ａ〜４３Ｄに送出する。この結果、この制御コマンドに基づき、そのサブ制御部４３Ａ〜４３Ｄの制御のもとに、対応するアクチュエータＡ１〜Ａ１４が駆動され、かくして頭部ユニット３を上下左右に揺動させたり、腕部ユニット４Ａ、４Ｂを上にあげたり、歩行するなどの行動がロボット１により発現されることとなる。
【００３４】
またメイン制御部４０は、かかるマイクロホン５１から与えられる音声信号Ｓ１Ｂに対する所定の音声認識処理によりユーザの発話内容を認識し、当該認識に応じた音声信号Ｓ３をスピーカ５２に与えることにより、ユーザと対話するための合成音声を外部に出力させる。
【００３５】
このようにしてこのロボット１においては、周囲及び内部の状況等に基づいて自律的に行動することができ、またユーザと対話することもできるようになされている。
【００３６】
（１−２）ホワイトバランス調整に関するメイン制御部４０の処理
次に、ホワイトバランス調整に関するメイン制御部４０の処理内容について説明する。
【００３７】
このロボット１においては、図６（Ａ）に示すように、工場出荷時に所定の照明環境下における自己の手部２３（図１）における手の平２３Ａの部分の色を基準とすべき色として内部メモリ４０Ａに記憶し、その後の駆動時において周囲の照明環境が変化した場合等に、図６（Ｂ）に示すように、その変化後の照明環境下における自己の手の平２３Ａの色を検出し、当該色が工場出荷時に記憶した色と一致するようにホワイトバランスを調整するオートホワイトバランス調整機能が搭載されている。
【００３８】
ここで、かかるオートホワイトバランス調整機能に関するメイン制御部４０の処理を機能的に分類すると、図７に示すように、ハードウェア構成でなる信号処理部６０と、ソフトウェア構成でなる画像認識部６１、行動選択決定部６２、行動生成部６３及びコントロール部６４とに分けることができる。
【００３９】
この場合信号処理部６０は、ＣＣＤカメラ５０からの画像信号Ｓ１Ａに対してホワイトバランスコントロール処理や、ゲインコントロール処理等の各種所定の信号処理を施し、かくして得られた認識用画像信号Ｓ１０を画像認識部６１及びコントロール部６４に送出する。
【００４０】
具体的に、信号処理部６０には、例えば画像信号Ｓ１Ａに対してゲインコントロール処理やホワイトバランスコントロール処理を施すための手段として、図８に示すように、Ｙゲインアンプ７０Ｙ、Ｕゲインアンプ７０Ｕ及びＶゲインアンプ７０Ｖが設けられると共に、これらＹゲインアンプ７０Ｙ、Ｕゲインアンプ７０Ｕ及びＶゲインアンプ７０Ｖにそれぞれ対応させてＹゲインレジスタ７１Ｙ、Ｕゲインレジスタ７１Ｕ及びＶゲインレジスタ７１Ｖが設けられている。
【００４１】
このときＹゲインアンプ７０Ｙ、Ｕゲインアンプ７０Ｕ及びＶゲインアンプ７０Ｖには、それぞれＣＣＤカメラ５０からの画像信号Ｓ１Ａを当該信号処理部６０においてＹＵＶフォーマットに変換することにより得られた輝度信号Ｓ１１Ｙ、第１の色差信号Ｓ１１Ｕ及び第２の色差信号Ｓ１１Ｖのうちの対応する信号が供給される。
【００４２】
またＹゲインレジスタ７１Ｙには、画像信号Ｓ１Ａに対するゲインを規定したゲインパラメータが更新自在に格納され、Ｕゲインレジスタ７１Ｕ及びＶゲインレジスタ７１Ｖには、それぞれ画像信号Ｓ１Ａのホワイトバランス調整のための第１又は第２の色差信号Ｓ１１Ｕ、Ｓ１１Ｖに対するゲインを規定した第１又は第２のホワイトバランスパラメータが更新自在に格納されている。
【００４３】
かくしてＹゲインアンプ７０Ｙ、Ｕゲインアンプ７０Ｕ及びＶゲインアンプ７０Ｖは、それぞれ供給される輝度信号Ｓ１１Ｙ、第１の色差信号Ｓ１１Ｕ又は第２の色差信号Ｓ１１Ｖを対応するＹゲインレジスタ７１Ｙ、Ｕゲインレジスタ７１Ｕ又はＶゲインレジスタ７１Ｖに格納されたゲインパラメータ、第１のホワイトバランスパラメータ又は第２のホワイトバランスパラメータの各パラメータ値に応じて増幅する。
【００４４】
そして信号処理部６０は、このようにして得られたゲイン調整及びホワイトバランス調整された輝度信号Ｓ１１Ｙ並びに第１及び第２の色差信号Ｓ１１Ｕ、Ｓ１１Ｖに対して図示しない信号処理回路においてさらに所定の信号処理を施し、この後これら輝度信号Ｓ１１Ｙ並びに第１及び第２の色差信号Ｓ１１Ｕ、Ｓ１１Ｖを認識用画像信号Ｓ１０として画像認識部６１及びコントロール部６４に送出する。
【００４５】
画像認識部６１は、供給される認識用画像信号Ｓ１０に基づく画像内の各オブジェクトの色を認識する色認識器と、当該画像内に存在する顔を認識し識別する顔認識器となどの各種認識器を有し、これら各認識器の認識結果を画像認識信号Ｓ１２として行動選択決定部６２に送出する。
【００４６】
このとき行動選択決定部６２には、マイクロホン５１（図５）からの音声信号Ｓ１Ｂ（図５）に基づく音声認識結果や話者認識結果が図示しない音声認識部から音声認識信号Ｓ１３として与えられると共に、手部２３や足部３４の底面等に配設されたタッチセンサ５３（図５）から与えられる圧力検出信号Ｓ１Ｃ（図５）に基づく「接触した」、「接地した」等の各種接触認識結果が図示しない接触認識部から接触認識信号Ｓ１４として与えられる。
【００４７】
かくして行動選択決定部６２は、これら画像認識信号Ｓ１２、音声認識信号Ｓ１３及び接触認識信号Ｓ１４に基づいてロボット１が次に発現すべき行動を選択及び決定し、決定結果を行動決定信号Ｓ１５として行動生成部６３に送出する。
【００４８】
行動生成部６３は、どのアクチュエータＡ１〜Ａ１４をどのタイミングでどの程度駆動させるかを規定した各行動ごとのモーションファイル、及びそのときロボット１が発音すべき音声の音声データが格納されたサウンドファイルなどの各種行動内容規定ファイルを有している。
【００４９】
そして行動生成部６３は、行動決定信号Ｓ１５が行動選択決定部６２から与えられると、対応する行動内容規定ファイルを読み出し再生して、対応する各アクチュエータＡ１〜Ａ１４への指令値Ｄ２を対応するサブ制御部４３Ａ〜４３Ｄに送出し、又は再生した音声データをアナログ変換して上述の音声信号Ｓ３（図５）としてスピーカに送出することにより、かかる行動選択決定部６２により選択された行動をロボット１に発現させる。
【００５０】
一方、コントロール部６４は、信号処理部６０から与えられる認識用画像信号Ｓ１０に基づいて、周囲の照明環境が変化したか否かを常時監視する。そしてコントロール部６４は、周囲の照明環境が変化したことを検出すると、行動選択決定部６２を制御してロボット１の姿勢を図６（Ｂ）のように自己の手の平２３Ａを見る姿勢（以下、これを色検出姿勢と呼ぶ）に遷移させ、かくして当該手の平２３ＡをＣＣＤカメラ５０（図５）の撮像領域内に位置させる。
【００５１】
またコントロール部６４は、この状態において信号処理部６０から与えられる認識用画像信号Ｓ１０に基づいて、その照明環境下における当該手の平２３Ａの色を検出すると共に、当該検出結果と、工場出荷時に所定の照明環境下において検出し記憶した当該手の平２３Ａの色とを比較する。
【００５２】
そしてコントロール部６４は、この比較結果に基づいて、現在の照明環境下において検出される手の平２３Ａの色が工場出荷時において所定の照明環境下で検出した色と一致するように信号処理部６０におけるＵゲインレジスタ７１Ｕに格納されている第１のホワイトバランスパラメータ及びＶゲインレジスタ７１Ｖに格納されている第２のホワイトバランスパラメータのパラメータ値をそれぞれ必要に応じて変化させる。
【００５３】
このようにしてこのロボット１においては、画像認識に用いる画像信号Ｓ１Ａのホワイトバランスを自己の手の平２３Ａの色を利用して調整するようになされ、これによりそのときの周囲の色分布や照明環境にかかわりなく、常に一定状態にホワイトバランスを調整し得るようになされている。
【００５４】
（１−３）コントロール部６４の具体的処理
次に、ホワイトバランス調整に関するコントロール部６４の具体的な処理内容について説明する。
【００５５】
まずコントロール部６４は、ロボット１の工場出荷時、所定の照明環境下におけるロボット１の手の平２３Ａの色を図９に示す第１の目標値設定処理手順ＲＴ１に従って検出し記憶する。
【００５６】
すなわちコントロール部６４は、外部操作によりロボット１の手の平２３Ａの色を検出すべき命令が与えられると、この第１の目標値設定処理手順ＲＴ１をステップＳＰ０において開始し、続くステップＳＰ１において行動選択決定部６２を制御することにより、ロボット１の姿勢を色検出姿勢に遷移させる。
【００５７】
続いてコントロール部６４は、ステップＳＰ２に進んで、このとき信号処理部６０から与えられる認識用画像信号Ｓ１０に基づく１フレーム分の画像情報を取得し、この後ステップＳＰ３に進んで当該画像情報に基づく画像内のホワイトバランス調整に用いる範囲を算出する。
【００５８】
具体的に、コントロール部６４は、ステップＳＰ２において取得した画像情報に基づく画像７２内に図６（Ａ）の右図のように存在する自己の手の平２３Ａの当該画像７２内における位置を、そのとき各ポテンショメータから与えられる角度検出信号Ｓ２Ｃに基づき得られる各アクチュエータＡ１〜Ａ１４の出力軸の回転角度を利用してロボット１の対応するアクチュエータＡ１〜Ａ１４のキネマティクス（幾何学的位置関係）を解くことにより計算し、当該計算結果に基づいて画像７２内における自己の手の平２３Ａの範囲、すなわちホワイトバランス調整に用いる範囲７２Ａを算出する。
【００５９】
続いてコントロール部６４は、ステップＳＰ４に進んで、認識用画像信号Ｓ１０を構成する第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖ（図７）について、それぞれかかる画像７２（図６）におけるステップＳＰ３において算出した範囲７２Ａ（図６）内における全画素の画素値の平均値を算出する。
【００６０】
そしてコントロール部６４は、この後ステップＳＰ５に進んで、ステップＳＰ４において算出した第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖの各平均値をそれぞれ当該第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについての目標値として内部メモリ４０Ａに格納し、この後ステップＳＰ６に進んでこの第１の目標値設定処理手順ＲＴ１を終了する。なお、以下においては、かかる第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについての目標値が共に「１２８」であったものとする。
【００６１】
一方、コントロール部６４は、この後の駆動時において、信号処理部６４から与えられる認識用画像信号Ｓ１０に基づいて、周囲の照明環境が変化したか否かを常時監視する。
【００６２】
具体的には、『得られた１枚の画像における各画素の画素値の平均をとると、無色（黒〜グレイ〜白のいずれかの色）となる』という仮定は一般的には成り立たないことは上述した通りであるが、この平均値に対してさらに時間的に平均をとった場合は無色（黒〜グレイ）になるという仮定は妥当であると考えられる。
【００６３】
そこでコントロール部６４は、認識用画像信号Ｓ１０に基づく各画像にフレームナンバーが付されているとして、最新の画像のフレームナンバーをＦ、認識用画像信号Ｓ１０を構成する第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖ（図７）のｉ番目の画像全体における平均値をそれぞれＵＡＶ（ｉ）及びＶＡＶ（ｉ）、時間的平均をとる期間をＴ〔ｓ〕、１秒当たりに取得できる画像数をｎ、ホワイトバランスの再調整（キャリブレーション）を行うべき第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについての各閾値をそれぞれＵｔ及びＶｔとして、これら第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖに基づいて次式
【００６４】
【数１】
及び
【００６６】
【数２】
を常時計算し、（１）式の絶対値がＵｔよりも大きくなったとき、すなわち次式
【００６８】
【数３】
となったときや、（２）式の絶対値がＶｔよりも大きくなったとき、すなわち次式
【００７０】
【数４】
となったときに『周囲の照明条件が変化した』と判断する。
【００７２】
また、認識用画像信号Ｓ１０を構成する輝度信号Ｓ１０Ｙ（図７）のｉ番目の画像全体における平均値をＹＡＶ（ｉ）としたときに、この値の時間的平均値が前回のホワイトバランス調整を行ったときから大きく変化した場合は、照明環境の異なる部屋に入った又は照明のオン／オフがあったなど、照明環境の変化があったことが推測される。
【００７３】
そこでコントロール部６４は、前回のホワイトバランス調整を行ったときのフレームナンバーをＦＣ、再調整を行うべき輝度信号Ｓ１０Ｙについての閾値をＹｔとして、輝度信号Ｓ１０Ｙに基づいて次式
【００７４】
【数５】
を常時計算し、（５）式の絶対値がＹｔよりも大きくなったとき、すなわち次式
【００７６】
【数６】
となったときに『周囲の照明条件が変化した』と判断する。
【００７８】
そしてコントロール部６４は、このようにして認識用画像信号Ｓ１０に基づいて『周囲の照明条件が変化した』ことを認識すると、図１０に示す第１のパラメータ更新処理手順ＲＴ２に従って、信号処理部６０のＵゲインレジスタ７１Ｕ（図８）又はＶゲインレジスタ７１Ｖ（図８）にそれぞれ格納されている第１及び第２のホワイトバランスパラメータをそれぞれ必要に応じて更新する。
【００７９】
すなわちコントロール部６４は、上述のようにして認識用画像信号Ｓ１０に基づき『周囲の照明条件が変化した』ことを認識すると、この第１のパラメータ更新処理手順ＲＴ２をステップＳＰ１０において開始し、続くステップＳＰ１１〜ステップＳＰ１４を上述の第１の目標値設定処理手順ＲＴ１（図９）のステップＳＰ１〜ステップＳＰ４と同様に処理することにより、認識用画像信号Ｓ１０を構成する第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについて、そのときの照明環境下におけるステップＳＰ１３において算出した範囲７２Ａ（図６）内での全画素の画素値の平均値ＵＨＣＡＶ、ＶＨＣＡＶをそれぞれ算出する。
【００８０】
そしてコントロール部６４は、この後ステップＳＰ１５に進んで、ステップＳＰ１４において算出した第１の色差信号Ｓ１０Ｕの平均値ＵＨＣＡＶが目標値である「１２８」と一致するか否かを判断する。そしてコントロール部６４は、このステップＳＰ１５において肯定結果を得るとステップＳＰ１７に進む。
【００８１】
これに対してコントロール部６４は、このステップＳＰ１５において否定結果を得るとステップＳＰ１６に進んで、平均値ＵＨＣＡＶが目標値よりも大きい場合には信号処理部６０のＵゲインレジスタ７１Ｕ（図８）に格納された第１のホワイトバランスパラメータのパラメータ値を１だけ下げ、平均値ＵＨＣＡＶが目標値よりも小さい場合には当該第１のホワイトバランスパラメータのパラメータ値を１だけ上げた後、ステップＳＰ１７に進む。
【００８２】
続いてコントロール部６４は、このステップＳＰ１７において、上述のステップＳＰ１４において算出した第２の色差信号Ｓ１０Ｖの平均値ＶＨＣＡＶが目標値である「１２８」と一致するか否かを判断する。そしてコントロール部６４は、このステップＳＰ１７において肯定結果を得るとステップＳＰ１９に進む。
【００８３】
これに対してコントロール部６４は、このステップＳＰ１７において否定結果を得るとステップＳＰ１８に進んで、平均値ＶＨＣＡＶが目標値よりも大きい場合には信号処理部６０のＶゲインレジスタ７１Ｖ（図８）に格納された第２のホワイトバランスパラメータのパラメータ値を１だけ下げ、平均値ＶＨＣＡＶが目標値よりも小さい場合には当該第２のホワイトバランスパラメータのパラメータ値を１だけ上げた後、ステップＳＰ１９に進む。
【００８４】
次いでコントロール部６４は、このステップＳＰ１９において、上述のステップＳＰ１４において算出した第１の色差信号Ｓ１０Ｕの平均値ＵＨＣＡＶがその目標値と一致し、かつ、第２の色差信号Ｓ１０Ｖの平均値ＶＨＣＡＶがその目標値と一致していたか否かを判断する。
【００８５】
そしてコントロール部６４は、このステップＳＰ１９において否定結果を得るとステップＳＰ１２に戻り、この後ステップＳＰ１９において肯定結果を得るまでステップＳＰ１２〜ステップＳＰ１９−ステップＳＰ１２のループを繰り返す。
【００８６】
そしてコントロール部６４は、やがて第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖの各平均値ＵＨＣＡＶ、ＶＨＣＡＶがそれぞれ対応する目標値（いずれも「１２８」）に収束することによりステップＳＰ１９において肯定結果を得ると、ステップＳＰ２０に進んでこの第１のパラメータ更新処理手順ＲＴ２を終了する。
【００８７】
このようにしてコントロール部６４は、第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖの各平均値ＵＨＣＡＶ、ＶＨＣＡＶがそれぞれ目標値となるように第１及び第２のホワイトバランスパラメータを更新するようにして、ＣＣＤカメラ５０（図５）からの画像信号Ｓ１Ａのホワイトバランスを調整する。
【００８８】
（１−４）本実施の形態の動作及び効果
以上の構成において、ロボット１は、色温度の異なる部屋に移動し又は部屋の照明がオン／オフされるなどして周囲の照明環境が変化すると、自己の手の平２３Ａ（図６）部の色を検出し、当該色が工場出荷時に所定の照明環境下で記憶した当該自己の手の平２３Ａの色となるようにＣＣＤカメラ５０からの画像信号Ｓ１Ａのホワイトバランスを調整する。
【００８９】
従って、このロボット１では、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを工場出荷時の所定の照明環境下で行った場合と同じように調整することができる。
【００９０】
かくするにつきこのロボット１では、周囲の照明環境に依らずに常に信頼性の高い画像認識処理を行い得、画像処理コストを下げながら、認識率の向上を図ることができる。
【００９１】
以上の構成によれば、周囲の照明環境が変化したときに、その照明環境下における自己の手の平２３Ａの色が工場出荷時に所定の照明環境下で記憶した当該自己の手の平２３Ａの色と一致するようにＣＣＤカメラ５０からの画像信号Ｓ１Ａのホワイトバランスを調整するようにしたことにより、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを工場出荷時の所定の照明環境下で行った場合と同じように調整することができ、かくして照明環境に拘わりなく常に適切な画像信号処理を行い得るロボットを実現できる。
【００９２】
（２）第２の実施の形態
（２−１）本実施の形態によるロボット８０の構成及びホワイトバランスコントロールに関するメイン制御部８１（図５）の処理
図１〜図５において、８０は全体として第２の実施の形態によるロボットを示し、周囲の照明環境が変化したときに、ＣＣＤカメラ５０からの画像信号Ｓ１Ａに対するホワイトバランス調整を行う一方で、これと併せてそのゲイン調整をも行うようになされた点を除いて第１の実施の形態によるロボット１と同様に構成されている。
【００９３】
すなわちホワイトバランス調整として、第１の実施の形態のように画像の色味を変化させるパラメータ（第１及び第２のホワイトバランスパラメータ）のパラメータ値を変化させた場合、画像の明るさをコントロールするゲイン値（ゲインパラメータのパラメータ値）が高すぎると画像が飽和して、図１１（Ａ）のように当該画像にいわゆる白飛びが発生する。また逆に、ゲイン値が低すぎると、図１１（Ｂ）のように画像にいわゆる黒つぶれが生じる。
【００９４】
そしてこのような状態では、受光素子が飽和又は光量不足で正しく動作できないため、既知の色領域の画素値は信頼できないものとなり、ホワイトバランス調整を正しく行い難い問題が生じる。
【００９５】
また一般的に、ホワイトバランス用のパラメータを調整すると、画像の明るさも変化するため、最適なゲイン値においてホワイトバランス調整を行うためには、ホワイトバランス調整とゲイン調整とを同時に行うことが望ましい。
【００９６】
そこでこの第２の実施の形態のロボット８０では、メイン制御部８１において、ホワイトバランス調整時、周囲の照明環境に応じて信号処理部６０のＵゲインレジスタ７１Ｕ（図８）及びＶゲインレジスタ７１Ｖ（図８）にそれぞれ格納された第１及び第２のホワイトバランスパラメータを更新する際に、これと併せてＹゲインレジスタ７１Ｙ（図８）に格納されたゲインパラメータをも更新するようにして、これにより図１１（Ｃ）のような適切な明るさの画像を得られるようにしている。
【００９７】
かかる手段として、このロボット８０のコントロール部８２（図７）は、工場出荷時に所定の照明環境化における手の平２３Ａの色とそのときの画像の明るさとを図１２に示す第２の目標値設定処理手順ＲＴ３に従って検出し、記憶する。
【００９８】
すなわちコントロール部８２は、外部操作によりロボット１の手の平２３Ａの色及びそのときの画像の明るさを検出すべき命令が与えられると、この第２の目標値設定処理手順ＲＴ３をステップＳＰ３０において開始し、続くステップＳＰ３１〜ステップＳＰ３３を第１の目標値設定処理手順ＲＴ１のステップＳＰ１〜ステップＳＰ３と同様に処理することにより、信号処理部６４から与えられた認識用画像信号Ｓ１０に基づく画像７２（図１１）内のホワイトバランス調整及びゲイン調整に用いる範囲７２Ａ（図１１）、すなわち当該画像７２内における自己の手の平２３Ａの範囲を算出する。
【００９９】
続いてコントロール部８２は、ステップＳＰ３４に進んで、認識用画像信号Ｓ１０を構成する輝度信号Ｓ１０Ｙ並びに第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについて、それぞれかかる画像７２におけるステップＳＰ３３において算出した範囲７２Ａ内における全画素の画素値の平均値ＹＨＤＡＶ、ＵＨＤＡＶ、ＶＨＤＡＶを算出する。
【０１００】
そしてコントロール部８２は、この後ステップＳＰ３５に進んで、ステップＳＰ３４において算出した輝度信号Ｓ１０Ｙ並びに第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖの各平均値ＹＨＤＡＶ、ＵＨＤＡＶ、ＶＨＤＡＶを、それぞれ輝度信号Ｓ１０Ｙ並びに第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについての目標値としてメイン制御部８１（図５）内の内部メモリ８１Ａ（図５）に格納し、この後ステップＳＰ３６に進んでこの第２の目標値設定処理手順ＲＴ３を終了する。なお、以下においては、かかる輝度信号Ｓ１０Ｙについての目標値が「１００」、第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについての目標値が共に「１２８」であったものとする。
【０１０１】
一方、コントロール部８２は、この後の駆動時において、信号処理部６０から与えられる認識用画像信号Ｓ１０に基づいて、第１の実施の形態によるロボット１について上述した手法と同様にして周囲の照明環境が変化したか否かを常時監視する。
【０１０２】
そしてコントロール部８２は、やがて認識用画像信号Ｓ１０に基づいて『周囲の照明条件が変化した』ことを認識すると、図１３に示す第２のパラメータ更新処理手順ＲＴ４に従って、図６に示す信号処理部６０のＹゲインレジスタ７１Ｙ、Ｕゲインレジスタ７１Ｕ又はＶゲインレジスタ７１Ｖに格納されているゲインパラメータ並びに第１及び第２のホワイトバランスパラメータの各パラメータ値をそれぞれ必要に応じて更新する。
【０１０３】
すなわちコントロール部８２は、『周囲の照明条件が変化した』ことを認識すると、この第２のパラメータ更新処理手順ＲＴ４をステップＳＰ４０において開始し、続くステップＳＰ４１〜ステップＳＰ４４を上述の第２の目標値設定処理手順ＲＴ３（図１２）のステップＳＰ３１〜ステップＳＰ３４と同様に処理することにより、そのときの認識用画像信号Ｓ１０を構成する輝度信号Ｓ１０Ｙ並びに第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについてのかかる平均値ＹＨＤＡＶ、ＵＨＤＡＶ、ＶＨＤＡＶをそれぞれ算出する。
【０１０４】
そしてコントロール部８２は、この後ステップＳＰ４５に進んで、ステップＳＰ４４において算出した輝度信号Ｓ１０Ｙの平均値ＹＨＤＡＶが目標値である「１００」と一致するか否かを判断する。そしてコントロール部８２は、このステップＳＰ４５において肯定結果を得るとステップＳＰ４７に進む。
【０１０５】
これに対してコントロール部８２は、このステップＳＰ４５において否定結果を得るとステップＳＰ４６に進んで、平均値ＹＨＤＡＶが目標値よりも大きい場合にはＹゲインレジスタ７１Ｙに格納されたゲインパラメータのパラメータ値を１だけ下げ、平均値ＹＨＤＡＶが目標値よりも小さい場合には当該ゲインパラメータのパラメータ値を１だけ上げた後、ステップＳＰ４７に進む。
【０１０６】
またコントロール部８２は、この後ステップＳＰ４７〜ステップＳＰ５０を第１のパラメータ更新処理手順ＲＴ２（図１０）のステップＳＰ１５〜ステップＳＰ１８と同様に処理することにより、信号処理部６０のＵゲインレジスタ７１Ｕ又はＶゲインレジスタ７１Ｖに格納されている第１及び第２のホワイトバランスパラメータのパラメータ値を必要に応じて１だけ上げ又は下げた後、ステップＳＰ５１に進む。
【０１０７】
次いでコントロール部８２は、このステップＳＰ５１において、上述のステップＳＰ４４において算出した輝度信号Ｓ１０Ｙの平均値ＹＨＤＡＶがその目標値と一致し、かつ、第１の色差信号Ｓ１０Ｕの平均値ＵＨＤＡＶがその目標値と一致し、かつ、第２の色差信号Ｓ１０Ｖの平均値ＶＨＤＡＶがその目標値と一致していたか否かを判断する。
【０１０８】
そしてコントロール部８２は、このステップＳＰ５１において否定結果を得るとステップＳＰ４２に戻り、この後ステップＳＰ５１において肯定結果を得るまでステップＳＰ４２〜ステップＳＰ５１−ステップＳＰ４２のループを繰り返す。
【０１０９】
そしてコントロール部８２は、やがて輝度信号Ｓ１０Ｙの平均値ＹＨＤＡＶと、第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖの各平均値ＵＨＤＡＶ、ＶＨＤＡＶとがそれぞれ対応する目標値に収束することによりステップＳＰ５１において肯定結果を得ると、ステップＳＰ５２に進んでこの第２のパラメータ更新処理手順ＲＴ４を終了する。
【０１１０】
このようにしてコントロール部８２は、ＣＣＤカメラ５０（図５）からの画像信号Ｓ１Ａに対して、ホワイトバランス調整処理と並行してゲイン調整処理をも行うようになされている。
【０１１１】
（２−２）本実施の形態の動作及び効果
以上の構成において、このロボット８０は、色温度の異なる部屋に移動し又は部屋の照明がオン／オフされるなどして周囲の照明環境が変化すると、現在の自己の手の平２３Ａの色を検出し、当該色が工場出荷時に所定の照明環境下で記憶した当該自己の手の平２３Ａの色及び明るさとなるように、ＣＣＤカメラ５０からの画像信号Ｓ１Ａに対するホワイトバランスを調整すると共に、これと並行して当該画像信号Ｓ１Ａに対するゲインを調整する。
【０１１２】
従って、このロボット８０では、第１の実施の形態によるロボット１と比べて、より正確なホワイトバランス調整及びゲイン調整を行うことができ、その分より一層と周囲の照明環境に依らずに常に信頼性の高い画像認識処理を行い得、画像処理コストを下げながら、認識率の向上を図ることができる。
【０１１３】
以上の構成によれば、ホワイトバランス調整と併せてゲイン調整を行うようにしたことにより、より正確なホワイトバランス調整及びゲイン調整を行い得、かくしてより一層適切な画像信号処理を行い得るロボットを実現できる。
【０１１４】
（３）第３の実施の形態
（３−１）本実施の形態によるロボット９０の構成及びホワイトバランス調整に関するメイン制御部９１の処理
図１〜図５において、９０は全体として第３の実施の形態によるロボットを示し、図１４に示すように、既知のデザインのランドマーク９１を用いてホワイトバランス調整及びゲイン調整を行うようになされた点を除いて第２の実施の形態によるロボット８０と同様に構成されている。
【０１１５】
実際上、このロボット９０のオートホワイトバランス調整機能に関するメイン制御部９２（図５）の処理を機能的に分類すると、図７との対応部分に同一符号を付した図１５に示すように、信号処理部６０、画像認識部９３、行動選択決定部６２、行動生成部６３及びコントロール部９４とに分けることができる。
【０１１６】
この場合画像認識部９２は、信号処理部６０から与えられる認識用画像信号Ｓ１０に基づく画像内のオブジェクトの色を認識する色認識器と、当該画像内に存在する顔を認識し識別する顔認識器となどの各種認識器を有し、これら各認識器の認識結果を画像認識信号Ｓ１２として行動選択決定部６２に送出する。
【０１１７】
また画像認識部９２は、画像認識処理により認識用画像信号Ｓ１０に基づく画像内に、例えば図１６に示すような所定色に着色された円９１Ａの外周部に所定の形状の３つの画像認識用マーク９１Ｂ１〜９１Ｂ３が１２０〔°〕の間隔をもって順次配置されたデザインのランドマーク９１のこれら各画像認識用マーク９１Ｂ１〜９１Ｂ３を検出すると、その旨及び当該画像内における各画像認識用マーク９１Ｂ１〜９１Ｂ３の位置を画像認識用マーク検出信号Ｓ２０としてコントロール部９４に送出する。
【０１１８】
コントロール部９４においては、ランドマーク９１における各画像認識用マーク９１Ｂ１〜９１Ｂ３の位置と、所定の照明環境下において認識用画像信号Ｓ１０に基づき検出されるランドマーク９１の各画像認識用マーク９１Ｂ１〜９１Ｂ３以外の部分の基準とすべき色（すなわち上述の円９１Ａ内の色、以下、これを単にランドマーク９１の色と呼ぶ）と、当該所定の照明環境下における画像の基準とすべき明るさとを予め図５に示す内部メモリ９２Ａに記憶している。なお、この内部メモリ９２Ａが記憶しているランドマーク９１の色や画像の明るさは、工場出荷時にかかる照明環境下において後述のようなホワイトバランス調整処理やゲイン調整処理により得られたものであっても、また予め測定されたものを各ロボット９０の製造時に一律に内部メモリ９２Ａに記憶させたものであっても良い。
【０１１９】
そしてコントロール部９４は、画像認識部９３から画像認識用マーク検出信号Ｓ２０が与えられると、当該画像認識用マーク検出信号Ｓ２０に基づき得られる画像内の各画像認識用マーク９１Ｂ１〜９１Ｂ３の位置から、現在の照明環境下におけるランドマーク９１の色及び画像の明るさを検出する範囲、すなわち画像内におけるホワイトバランス調整に用いる範囲を算出する。
【０１２０】
またコントロール部９４は、この計算結果と、そのとき信号処理部６０から与えられる認識用画像信号Ｓ１０とに基づいて、かかる算出した範囲（ランドマーク９１の中心部）内の色と、画像の明るさとを検出すると共に、この検出結果と、上述の予め記憶している所定の照明環境下におけるランドマーク９１の色及びそのときの画像の明るさとを比較する。
【０１２１】
そしてコントロール部９４は、この比較結果に基づいて、現在の照明環境下において検出されるランドマーク９１の色及び現在の画像の明るさが、かかる所定の照明環境下において検出されるべき色及び明るさと一致するようにホワイトバランスを調整する。
【０１２２】
このようにしてこのロボット９０においては、ランドマーク９１を用いたホワイトバランス調整を行い得るようになされ、これにより周囲の色分布や照明環境に拘わりなく、常に一定状態にホワイトバランスを調整し得るようになされている。
【０１２３】
（３−２）コントロール部９４の具体的処理
次に、ホワイトバランス調整に関するコントロール部９４の具体的な処理内容について説明する。
【０１２４】
コントロール部９４は、画像認識部９３から画像認識用マーク検出信号Ｓ２０が与えられると、図１７に示す第３のパラメータ更新処理手順ＲＴ５に従って図８に示す信号処理部６０のＹゲインレジスタ７１Ｙ、Ｕゲインレジスタ７１Ｕ又はＶゲインレジスタ７１Ｖに格納されているゲインパラメータ並びに第１及び第２のホワイトバランスパラメータの各パラメータ値をそれぞれ必要に応じて更新する。
【０１２５】
すなわちコントロール部９４は、かかる画像認識用マーク検出信号Ｓ２０が画像認識部９３から与えられると、この第３のパラメータ更新処理手順ＲＴ５をステップＳＰ６０において開始し、続くステップＳＰ６１において行動選択決定部６１を制御することによりロボット９０の行動を一時的に停止させる。
【０１２６】
続いてコントロール部９４は、ステップＳＰ６２に進んで、このとき信号処理部６０から与えられる認識用画像信号Ｓ１０に基づく１フレーム分の画像情報を取得し、この後ステップＳＰ６３に進んで当該画像情報に基づく画像９５（図１４（Ｂ））内のホワイトバランス調整及びゲイン調整に用いる範囲９５Ａ（図１４（Ｂ））を算出する。
【０１２７】
具体的に、コントロール部９４は、このとき画像認識用マーク検出信号Ｓ２０に基づき得られる画像９５内のランドマーク９１の各画像認識用マーク９１Ｂ１〜９１Ｂ３の位置から、当該画像９５内におけるランドマーク９１の中心位置を中心としてその画像９５内におけるランドマーク９１の大きさに応じた大きさの、かつ各画像認識用マーク９１Ｂ１〜９１Ｂ３を含まない範囲９５Ａを所定の演算処理により算出する。
【０１２８】
そしてコントロール部９４は、この後ステップＳＰ６４に進み、この後ステップＳＰ６４〜ステップＳＰ７１を第２のパラメータ更新処理手順ＲＴ４（図１３）のステップＳＰ４４〜ステップＳＰ５１と同様に処理する。
【０１２９】
このためこの実施の形態においても、コントロール部９４は、ランドマーク９１の色として、信号処理部６０から与えられる認識用画像信号Ｓ１０を構成する輝度信号Ｓ１０Ｙ、第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖについて、所定の照明環境下における上述の画像９５内のかかる範囲９５Ａにおける全画素の画素値の平均値ＹＬＤＡＶ、ＵＬＤＡＶ、ＶＬＤＡＶをそれぞれ目標値（この実施の形態においてはそれぞれ「１００」、「１２８」、「１２８」）として予め記憶している。
【０１３０】
そしてコントロール部９４は、やがて現在の照明環境下において、かかる輝度信号Ｓ１０Ｙの平均値ＹＬＤＡＶと、第１及び第２の色差信号Ｓ１０Ｕ、Ｓ１０Ｖの各平均値ＵＬＤＡＶ、ＶＬＤＡＶとがそれぞれ対応する目標値に収束することによりステップＳＰ７１において肯定結果を得ると、ステップＳＰ７２に進んでこの第３のパラメータ更新処理手順ＲＴ５を終了する。
【０１３１】
このようにしてコントロール部９４は、既知のランドマーク９１を利用して、ホワイトバランス調整及びゲイン調整を行い得るようになされている。
【０１３２】
（３−３）本実施の形態の動作及び効果
以上の構成において、このロボット９０は、ランドマーク９１を検出すると、当該ランドマーク９１の円９１Ａの部分の色を検出し、当該色が予め与えられた色と一致するようにＣＣＤカメラ５０からの画像信号Ｓ１Ａのホワイトバランスを調整する。
【０１３３】
従って、このロボット９０では、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができる。
【０１３４】
かくするにつきこのロボット９０では、周囲の照明環境に依らずに常に信頼性の高い画像認識処理を行い得、画像処理コストを下げながら、認識率の向上を図ることができる。
【０１３５】
以上の構成によれば、ランドマーク９１を検出したときに、当該ランドマーク９１の円９１Ａの部分の色を検出し、当該色が予め与えられた色と一致するようにＣＣＤカメラ５０からの画像信号Ｓ１Ａのホワイトバランスを調整するようにしたことにより、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを工場出荷時の所定の照明環境下で行った場合と同じように調整することができ、かくして照明環境に拘わりなく常に適切な画像信号処理を行い得るロボットを実現できる。
【０１３６】
（４）第４の実施の形態
（４−１）ホワイトバランス調整結果等を利用したインタラクションに関するメイン制御部１０１の処理
図１〜図５において、１００は全体として第４の実施の形態によるロボットを示し、上述のようなホワイトバランス調整処理及びゲイン調整処理により得られた、現在の照明環境に応じた第１及び第２のホワイトバランスパラメータ並びにゲインパラメータの各パラメータ値に応じたインタラクションを発現する機能が搭載されている点を除いて第２の実施の形態によるロボット８０と同様に構成されている。
【０１３７】
すなわち、第２の実施の形態において説明した方法でホワイトバランス調整及びゲイン調整を行うことによって、ロボット１００がおかれた照明環境に適した信号処理を行うことができるが、そのときの信号処理部６０のＹゲインレジスタ７１Ｙに格納されているゲインパラメータのパラメータ値と、Ｕゲインレジスタ７１Ｕ又はＶゲインレジスタ７１Ｖにそれぞれ格納されている第１及び第２のホワイトバランスパラメータのパラメータ値とに基づいて、逆に現在の周囲の照明環境を測定することができる。
【０１３８】
つまり、図１８及び図１９に示すように、青みのゲインである第１のホワイトバランスパラメータの現在のパラメータ値が大きければロボット１００が白熱灯による照明などの色温度が低い照明環境下にいることが分かり（図１８（Ａ））、赤みのゲインである第２のホワイトバランスパラメータの現在のパラメータ値が大きければロボット１００が蛍光灯による照明などの色温度が高い照明環境下にいることが分かる（図１８（Ｂ））。またゲインについても、現在のゲインパラメータのパラメータ値が大きければロボット１００が明るい照明環境にいることが分かり（図１９（Ａ））、現在のゲインパラメータのパラメータ値が小さければロボット１００が暗い照明環境にいることが分かる（図１９（Ｂ））。
【０１３９】
そこで、このロボット１００のメイン制御部１０１（図５）における機能モジュールとしてのコントロール部１０２（図７）は、図１３について上述した第２のパラメータ更新処理手順ＲＴ４に従ったホワイトバランス調整及びゲイン調整の直後又はその後の所定タイミングで信号処理部６０のＹゲインレジスタ７１Ｙに格納されているＹゲインパラメータのパラメータ値と、Ｕゲインレジスタ７１Ｕ又はＶゲインレジスタ７１Ｖにそれぞれ格納されている第１及び第２のホワイトバランスパラメータのパラメータ値とを読み出し、これらを行動選択決定部６２に与えるようになされている。
【０１４０】
そして行動選択決定部６２は、これらゲインパラメータのパラメータ値や第１及び第２のホワイトバランスパラメータのパラメータ値が与えられると、『この部屋の色温度は５０００〔ｋ〕です。』、『この部屋の照度は１０００〔ｌｘ〕です。』などの与えられたパラメータ値に応じた発話を行う動作をロボット９０の次の行動として選択及び決定し、これに応じた行動決定信号Ｓ１５を行動生成部６３に送出する。この結果、この行動決定信号Ｓ１５に基づいて、かかる発話がロボット１００により行われることとなる。
【０１４１】
このようにしてこのロボット１００においては、かかるホワイトバランス調整の調整結果やゲイン調整の調整結果に応じたインタラクションを発現し得るようになされている。
【０１４２】
（４−２）本実施の形態の動作及び効果
以上の構成において、ロボット１００は、信号処理部６０のＹゲインレジスタ７１Ｙに格納されているＹゲインパラメータのパラメータ値と、Ｕゲインレジスタ７１Ｕ又はＶゲインレジスタ７１Ｖにそれぞれ格納されている第１及び第２のホワイトバランスパラメータのパラメータ値とに基づいて、行動を選択し発現する。
【０１４３】
従って、このロボット１００は、時間や場所によって変化する照明環境に対応して、現在の照明環境に最も適したインタラクションをユーザに提供することができる。
【０１４４】
以上の構成によれば、調整後の第１及び第２のホワイトバランスパラメータのパラメータ値などのホワイトバランス調整結果等を利用したインタラクションをロボット１００に発現させるようにしたことにより、時間や場所によって変化する照明環境に対応して、現在の照明環境に最も適したインタラクションをユーザに提供することができ、かくして照明環境に拘わりなく常に適切な画像信号処理を行い得ることに加えて、エンターテインメント性をも向上させ得るロボットを実現できる。
【０１４５】
（５）他の実施の形態
なお上述の第１〜第４の実施の形態においては、本発明を図１〜図５のように構成された２足歩行型のロボット１、８０、９０、１００に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の形態のロボットや、ロボット以外のカメラデバイスを搭載する種々の移動型装置に広く適用することができる。
【０１４６】
また上述の第１、第２及び第４の実施の形態においては、コントロール部６４、８２、１０２が信号処理部６０からの認識用画像信号にＳ１０基づく画像７２の（図６）うちのホワイトバランス調整に用いる範囲７２Ａ（図６）を計算により求めるようにした場合について述べたが、本発明はこれ限らず、例えば図２０に示すように、ロボット１、８０、１００の手の平２３ＡによってＣＣＤカメラ５０の撮像範囲を全て覆い、認識用画像信号Ｓ１０に基づく画像７２の全体を用いてホワイトバランス調整を行うようにしても良い。このようにすることによって、かかるホワイトバランス調整に用いる範囲の算出処理の必要性をなくさせてコントロール部６４、８２、１０２の演算負荷を軽減させることができる。
【０１４７】
さらに上述の第１、第２及び第４の実施の形態においては、コントロール部６４、８２、１０２が信号処理部６０からの認識用画像信号Ｓ１０に基づいて、（３）式、（４）式又は（６）式となったときにホワイトバランスの再調整を行うようにした場合について述べたが、本発明はこれに限らず、例えば画像認識部６１（図７）において色認識によって検出されるオブジェクトの検出率が一定レベルを超えて低下したときや、ユーザからの再調整すべき命令が入力されたときにホワイトバランスを再調整するようにしても良い。
【０１４８】
またこれ以外でも、例えば太陽光が入る部屋等、時間と共に照明環境が変化する場合にも対応できるようにするため、内蔵時計により前回のホワイトバランスの再調整を行ってから一定時間が経過したことを検出したときに再調整したり、場所によって照明環境が異なる可能性があるため、前回のホワイトバランスの再調整をした場所からある一定値よりも長い距離だけ移動したことを検出したときに再調整したり、さらには前回と異なる照明環境で起動される可能性があるため、ロボット１、８０、１００が起動されるごとに再調整するようにしても良い。
【０１４９】
さらに上述の第１、第２及び第４の実施の形態においては、ロボット１、８０、１００が、自己の体の色として手の平２３Ａの色に基づいてホワイトバランス調整を行うようにした場合について述べたが、本発明はこれに限らず、例えば図２１（Ａ）に示すように、自己の足先の色に基づいてホワイトバランス調整を行い得るようにロボット１、８０、１００を構築するようにしても良く、要は、自己の体を用いてホワイトバランス調整を行い得るようにロボット１、８０、１００を構築するのであれば、ホワイトバランス調整に利用するロボット１、８０、１００の体の部位はどの部位であっても良い。
【０１５０】
同様に、上述の第３の実施の形態においては、ロボット９０が、既知の色をもつランドマーク９１を用いてホワイトバランスを調整するようにした場合について述べたが、本発明はこれに限らず、例えば図２１（Ｂ）のように既知の色をもつ専用シート１１０を用いてホワイトバランス調整を行うようにしたり、図２１（Ｃ）のように既知の色をもつ当該ロボットの充電器でなるステーション１１１の壁面を用いてホワイトバランス調整を行うようにロボット９０を構築するようにしても良く、要は、既知の色をもつ所定物や所定マークを用いてホワイトバランス調整を行うのであれば、その物やマークとしてはこの他種々の物又はマークを広く適用することができる。
【０１５１】
さらに上述の第１、第２及び第４の実施の形態においては、工場出荷時に所定の照明環境下における自己の手の平２３Ａの色を、自己の体の基準とすべき色として内部メモリ４０Ａ、８１Ａに記憶するようにした場合について述べたが、本発明はこれに限らず、例えば予め所定の照明環境下において検出されるロボット１の手の平２３Ａの色を測定しておき、これを基準とすべき色として製造時に内部メモリ４０Ａ、８１Ａに記憶させておくようにしても良い。このようにすることによって、ロボット１、８０、１００ごとに工場出荷の際に自己の体の色として基準とすべき色を記憶させる作業を省略して、ロボット１、８０、１００の製造及び出荷作業を簡易化させることができる。
【０１５２】
さらに上述の第１〜第４の実施の形態においては、ロボット１、８０、９０、１００の手の平２３Ａの色として基準とすべき色や、ランドマーク９１の基準とすべき色を予め記憶する記憶手段として、内部メモリ４０Ａ、８１Ａ、９２Ａを適用するようにした場合について述べたが、本発明はこれに限らず、例えば外部メモリ５６を適用するようにしても良く、またメモリ以外の例えばディスク状記憶媒体等の他の記憶媒体を適用するようにしても良い。
【０１５３】
さらに上述の第１〜第４の実施の形態においては、撮像手段としてＣＣＤカメラ５０を適用する場合について述べたが、本発明はこれに限らず、これ以外の撮像手段を広く適用することができる。
【０１５４】
さらに上述の第１〜第４の実施の形態においては、ＣＣＤカメラ５０から出力される画像信号Ｓ１Ａに基づいて、現在の照明環境下におけるロボット１、８０、９０、１００の手の平２３Ａの色又はランドマーク９１の色を検出する色検出手段としての機能や、その照明環境下における認識用画像信号Ｓ１０に基づく画像の明るさを検出する明るさ検出手段としての機能、及びかかる明るさ検出手段により検出された画像の明るさが、内部メモリ４０Ａ、８１Ａ、９２Ａに記憶された基準とすべき明るさと一致するように、画像信号Ｓ１Ａに対するゲインを調整するゲイン調整手段としての機能をコントロール部６４、８２、９４、１０２にもたせるようにした場合について述べたが、本発明はこれに限らず、かかる機能を信号処理部６０等の他のモジュールにもたせたり、これらを別個のモジュールとして形成するようにしても良い。
【０１５５】
さらに上述の第４の実施の形態においては、ホワイトバランス調整結果等を利用したインタラクションとして、単に色温度や照度の測定値を発話させるようにした場合について述べたが、本発明はこれに限らず、例えば照度が小さい場合（ゲインパラメータのパラメータ値が小さい場合）には、ロボット１００に『暗くてよく見えないよ。』などの照度の測定値以外の内容を発話させるようにしたり、又は搭載されているＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等を点灯させるなどのインタラクションをロボット１００に発現させるようにしても良く、要は、ホワイトバランス調整結果やゲイン調整結果を活用したインタラクションをロボット１００に発現させるようにするのであれば、インタラクションの内容としてはこの他種々の内容を広く適用することができる。
【０１５６】
【発明の効果】
上述のように本発明によれば、ロボット装置において、自己の体の色として基準とすべき色を予め記憶する記憶手段と、画像信号に基づいて、現在の照明環境下における自己の体の色を検出する色検出手段と、色検出手段により検出される自己の体の色が、記憶手段に記憶された基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施すホワイトバランス調整手段とを設けるようにしたことにより、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができ、かくして照明環境に拘わりなく常に適切な画像信号処理を行い得るロボット装置を実現できる。
【０１５７】
また本発明によれば、ロボット装置における画像信号処理方法において、自己の体の色として基準とすべき色を予め記憶する第１のステップと、画像信号に基づいて、現在の照明環境下における自己の体の色を検出する第２のステップと、検出した自己の体の色が、基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施す第３のステップとを設けるようにしたことにより、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができ、かくして照明環境に拘わりなく常に適切な画像信号処理を行い得るロボット装置における画像信号処理方法を実現できる。
【０１５８】
さらに本発明によれば、ロボット装置において、所定物又は所定マークの色として基準とすべき色を予め記憶する記憶手段と、撮像手段から出力される画像信号に基づいて、現在の照明環境下における所定物又は所定マークの色を検出する色検出手段と、色検出手段により検出される所定物又は所定マークの色が、記憶手段に記憶された基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施すホワイトバランス調整手段とを設けるようにしたことにより、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができ、かくして照明環境に拘わりなく常に適切な画像信号処理を行い得るロボット装置を実現できる。
【０１５９】
さらに本発明によれば、ロボット装置における画像信号処理方法において、所定物又は所定マークの色として基準とすべき色を予め記憶する第１のステップと、撮像手段から出力される画像信号に基づいて、現在の照明環境下における所定物又は所定マークの色を検出する第２のステップと、検出した所定物又は所定マークの色が、基準とすべき色と一致するように、画像信号に対してホワイトバランス調整処理を施す第３のステップとを設けるようにしたことにより、周囲の色分布等の影響等を受けることなく、常にホワイトバランスを所定の照明環境下で行った場合と同じように調整することができ、かくして照明環境に拘わりなく常に適切な画像信号処理を行い得るロボット装置における画像信号処理方法を実現できる。
【図面の簡単な説明】
【図１】本実施の形態によるロボットの外観構成を示す斜視図である。
【図２】本実施の形態によるロボットの外観構成を示す斜視図である。
【図３】本実施の形態によるロボットの外観構成の説明に供する概念図である。
【図４】本実施の形態によるロボットの内部構成の説明に供する概念図である。
【図５】本実施の形態によるロボットの内部構成の説明に供するブロック図である。
【図６】第１及び第２の実施の形態によるホワイトバランス調整方法の説明に供する概念図である。
【図７】第１及び第２の実施の形態におけるオートホワイトバランス調整機能に関するメイン制御部の処理内容の説明に供するブロック図である。
【図８】信号処理部の一部構成を示すブロック図である。
【図９】第１の目標値設定処理手順を示すフローチャートである。
【図１０】第１のパラメータ更新処理手順を示すフローチャートである。
【図１１】ホワイトバランス調整とゲイン調整との関係を示す概念図である。
【図１２】第２の目標値設定処理手順を示すフローチャートである。
【図１３】第２のパラメータ更新処理手順を示すフローチャートである。
【図１４】第３の実施の形態によるホワイトバランス調整方法の説明に供する概念図である。
【図１５】第３の実施の形態におけるオートホワイトバランス調整機能に関するメイン制御部の処理内容の説明に供するブロック図である。
【図１６】ランドマークを示す略線図である。
【図１７】第３のパラメータ更新処理手順を示すフローチャートである。
【図１８】第１及び第２のホワイトバランスパラメータのパラメータ値を利用したインタラクションの提供についての説明に供する略線図である。
【図１９】ゲインパラメータのパラメータ値を利用したインタラクションの提供についての説明に供する略線図である。
【図２０】他の実施の形態を示す略線図である。
【図２１】他の実施の形態を示す略線図である。
【符号の説明】
１、８０、９０、１００……ロボット、２３……手部、２３Ａ……手の平、４０、８１、９２、１０１……メイン制御部、４０Ａ、８１Ａ、９２Ａ……内部メモリ、６０……信号処理部、６１、９３……画像認識部、６４、８２、９４……コントロール部、７０Ｙ……Ｙゲインアンプ、７０Ｕ……Ｕゲインアンプ、７０Ｖ……Ｖゲインアンプ、７１Ｙ……Ｙゲインレジスタ、７１Ｕ……Ｕゲインレジスタ、７１Ｖ……Ｖゲインレジスタ、７２、９５……画像、７２Ａ、９５Ａ……範囲、９１……ランドマーク、９１Ａ……円、９１Ｂ１〜９１Ｂ３……画像認識用マーク、１１０……専用シート、１１１……ステーション、Ｓ１Ａ……画像信号、Ｓ１０……認識用画像信号、Ｓ１０Ｙ……輝度信号、Ｓ１０Ｕ……第１の色差信号、Ｓ１０Ｖ……第２の色差信号。
Claims (10)
- 自己の体の色として基準とすべき色を予め記憶する記憶手段と、
必要時に上記自己の体を撮像する撮像手段と、
上記撮像手段から出力される画像信号に基づいて、現在の照明環境下における上記自己の体の色を検出する色検出手段と、
上記色検出手段により検出される上記自己の体の上記色が、上記記憶手段に記憶された上記基準とすべき色と一致するように、上記画像信号に対してホワイトバランス調整処理を施すホワイトバランス調整手段と
を具えることを特徴とするロボット装置。 - 上記記憶手段は、
上記画像信号に基づく画像の基準とすべき明るさを記憶し、
上記現在の照明環境下における上記画像信号に基づく画像の明るさを検出する明るさ検出手段と、
上記明るさ検出手段により検出された上記画像の明るさが、上記記憶手段に記憶された上記基準とすべき明るさと一致するように、上記画像信号に対するゲインを調整するゲイン調整手段とを具える
ことを特徴とする請求項１に記載のロボット装置。 - 上記色検出手段は、
上記画像信号に基づく画像内の上記自己の体の所定部位が撮像された範囲を検出し、当該検出した範囲の上記画像信号に基づいて上記自己の体の色を検出する
ことを特徴とする請求項１に記載のロボット装置。 - 上記色検出手段は、
上記ロボットにおける対応するアクチュエータのキネマティクスを解くことにより、上記画像信号に基づく画像内の上記自己の体の上記所定部位が撮像された範囲を検出する
ことを特徴とする請求項３に記載のロボット装置。 - 自己の体の色として基準とすべき色を予め記憶する第１のステップと、
撮像手段から出力される画像信号に基づいて、現在の照明環境下における上記自己の体の色を検出する第２のステップと、
検出した上記自己の体の上記色が、上記基準とすべき色と一致するように、上記画像信号に対してホワイトバランス調整処理を施す第３のステップと
を具えることを特徴とするロボット装置における画像信号処理方法。 - 上記第１のステップでは、
上記画像信号に基づく画像の基準とすべき明るさを記憶し、
上記第２のステップでは、
上記現在の照明環境下における上記画像信号に基づく画像の明るさを検出し、
上記第３のステップでは、
検出した上記画像の明るさが、記憶した上記基準とすべき明るさと一致するように、上記画像信号に対するゲインを調整する
ことを特徴とする請求項５に記載のロボット装置における画像信号処理方法。 - 上記第２のステップでは、
上記画像信号に基づく画像内の上記自己の体の所定部位が撮像された範囲を検出し、
当該検出した範囲の上記画像信号に基づいて上記自己の体の色を検出する
ことを特徴とする請求項５に記載のロボット装置における画像信号処理方法。 - 上記第２のステップでは、
上記ロボットにおける対応するアクチュエータのキネマディクスを解くことにより、上記画像信号に基づく画像内の上記自己の体の上記所定部位が撮像された範囲を検出する
ことを特徴とする請求項７に記載のロボット装置における画像信号処理方法。 - 所定物又は所定マークの色として基準とすべき色を予め記憶する記憶手段と、
外部を撮像する撮像手段と、
上記撮像手段から出力される画像信号に基づいて、現在の照明環境下における上記所定物又は上記所定マークの色を検出する色検出手段と、
上記色検出手段により検出される上記所定物又は上記所定マークの上記色が、上記記憶手段に記憶された上記基準とすべき色と一致するように、上記画像信号に対してホワイトバランス調整処理を施すホワイトバランス調整手段と
を具えることを特徴とするロボット装置。 - 所定物又は所定マークの色として基準とすべき色を記憶する第１のステップと、
撮像手段から出力される画像信号に基づいて、現在の照明環境下における上記所定物又は上記所定マークの色を検出する第２のステップと、
検出した上記所定物又は所定マークの上記色が、上記基準とすべき色と一致するように、上記画像信号に対してホワイトバランス調整処理を施す第３のステップと
を具えることを特徴とするロボット装置における画像信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003070654A JP2004276165A (ja) | 2003-03-14 | 2003-03-14 | ロボット装置及びロボット装置における画像信号処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003070654A JP2004276165A (ja) | 2003-03-14 | 2003-03-14 | ロボット装置及びロボット装置における画像信号処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004276165A true JP2004276165A (ja) | 2004-10-07 |
Family
ID=33287346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003070654A Pending JP2004276165A (ja) | 2003-03-14 | 2003-03-14 | ロボット装置及びロボット装置における画像信号処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004276165A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007189595A (ja) * | 2006-01-16 | 2007-07-26 | Hitachi Advanced Digital Inc | 車載カメラ装置 |
| JP2008006519A (ja) * | 2006-06-27 | 2008-01-17 | Toyota Motor Corp | ロボット装置及びロボット装置の制御方法 |
| JP2012169917A (ja) * | 2011-02-15 | 2012-09-06 | Denso Corp | 画像処理装置及びその調整方法 |
| CN105981379A (zh) * | 2014-09-17 | 2016-09-28 | 深圳市大疆创新科技有限公司 | 自动白平衡系统及方法 |
| JP2019134331A (ja) * | 2018-01-31 | 2019-08-08 | セコム株式会社 | 画像処理装置 |
-
2003
- 2003-03-14 JP JP2003070654A patent/JP2004276165A/ja active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007189595A (ja) * | 2006-01-16 | 2007-07-26 | Hitachi Advanced Digital Inc | 車載カメラ装置 |
| JP2008006519A (ja) * | 2006-06-27 | 2008-01-17 | Toyota Motor Corp | ロボット装置及びロボット装置の制御方法 |
| JP2012169917A (ja) * | 2011-02-15 | 2012-09-06 | Denso Corp | 画像処理装置及びその調整方法 |
| US9992468B2 (en) | 2011-02-15 | 2018-06-05 | Denso Corporation | Image processing apparatus and its adjustment method |
| CN105981379A (zh) * | 2014-09-17 | 2016-09-28 | 深圳市大疆创新科技有限公司 | 自动白平衡系统及方法 |
| JP2017502596A (ja) * | 2014-09-17 | 2017-01-19 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | ホワイトバランス調整方法及び撮像システム |
| US9743058B2 (en) | 2014-09-17 | 2017-08-22 | SZ DJI Technology Co., Ltd. | Automatic white balancing system and method |
| US9743059B2 (en) | 2014-09-17 | 2017-08-22 | SZ DJI Technology Co., Ltd. | Automatic white balancing system and method |
| CN105981379B (zh) * | 2014-09-17 | 2018-09-25 | 深圳市大疆创新科技有限公司 | 自动白平衡系统及方法 |
| CN108718405A (zh) * | 2014-09-17 | 2018-10-30 | 深圳市大疆创新科技有限公司 | 自动白平衡系统及方法 |
| CN108718405B (zh) * | 2014-09-17 | 2019-11-26 | 深圳市大疆创新科技有限公司 | 自动白平衡系统及方法 |
| JP2019134331A (ja) * | 2018-01-31 | 2019-08-08 | セコム株式会社 | 画像処理装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3855812B2 (ja) | 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 | |
| US8031261B2 (en) | Image pickup apparatus with backlight correction and a method therefor | |
| WO2016117593A1 (ja) | 照明装置 | |
| US7742840B2 (en) | Autonomous mobile robot | |
| US8379966B2 (en) | Apparatus and method for recognizing position of mobile robot | |
| US20140009066A1 (en) | LED Lamp Provided with a Variable-Geometry Beam Device | |
| TWI612497B (zh) | 主動影像追蹤方法、影像追蹤輔助裝置與嵌入式系統 | |
| US20110026833A1 (en) | Environment recognition system, environment recognition method and robot | |
| EP1566311A3 (en) | Adaptive Lighting control for vision-based occupant sensing | |
| JP3868896B2 (ja) | 自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラム | |
| JP2003211381A (ja) | ロボット制御装置 | |
| JP2003211382A (ja) | ロボット制御装置 | |
| JP2004276165A (ja) | ロボット装置及びロボット装置における画像信号処理方法 | |
| TWI704911B (zh) | 外骨骼穿戴管理系統與外骨骼穿戴管理方法 | |
| CN108646814A (zh) | 一种基于物联网的储藏空间监控系统 | |
| CN112747434B (zh) | 室内温度控制方法、系统、设备及计算可读机存储介质 | |
| CN113165177A (zh) | 信息处理装置、用于处理信息的方法和程序 | |
| US8405713B2 (en) | Image pickup apparatus and image combining method of image pickup apparatus | |
| CN216649794U (zh) | 一种基于巡检机器人的自主调节补光装置 | |
| TWI572966B (zh) | 拍照系統及方法 | |
| JP2007152472A (ja) | 充電システム、充電ステーション及びロボット誘導システム | |
| CN113134840A (zh) | 一种实时设置力控参数的工业机器人及方法 | |
| JP4779226B2 (ja) | ロボット装置、並びに、画像記憶方法及び画像記憶装置、並びに、制御プログラム及び記録媒体 | |
| JP2003001577A (ja) | 充電装置、ロボットシステム及び充電制御方法 | |
| US20220030207A1 (en) | Apparatus, control method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090205 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090604 |