JP2004286699A - 画像位置検出方法及び画像位置検出装置 - Google Patents

Abstract

【課題】画像中の対象物の位置を認識する際に、画像範囲を限定して演算処理量を少なくしても、安定してこの対象物の位置を捕捉できる画像位置検出装置及び画像位置検出方法を提供する。
【解決手段】画像処理手段４は、画像データを演算処理して対象物５１の位置を求める位置検出手段４Ａと、この対象物５１の位置に基づいてこれを包含する画像範囲５０Ａを設定する画像範囲設定手段４Ｂと、設定した画像範囲を取り込み範囲とするように撮像装置２０を制御する制御信号Ｃを送出する制御信号送出手段４Ｃとを有している。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像位置検出方法及び画像位置検出装置に係り、特に対象物を検出する為の演算量を少なくする画像位置検出方法及び画像位置検出装置に関する。
【０００２】
【従来の技術】
従来、撮像手段により得られた画像データを処理して対象物を認識する画像位置検出方法やその装置が種々知られている。
この対象物の認識処理においては、画像全体のデータを都度処理して対象物を認識するので演算処理が膨大であり、例えばペットロボット等に搭載される処理能力がそれ程高くないＣＰＵでは短時間での処理が困難なものであった。
【０００３】
そこで、処理時間を短縮するために、対象物の位置を観察者の視線位置により検出し、その視線位置の周辺の画像範囲のみを切り出して演算処理することで演算処理量を少なくしたカメラ等の認識装置とその方法が提案されている（特許文献１参照）。
【０００４】
【特許文献１】
特開２００１−１１６９８５号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、この認識装置とその方法では、対象物の位置が画像データ上からは明確に捉えられないのでこれを安定して捕捉できないという問題があった。
また、対象物の位置を視線で入力する観察者を要するという問題があった。
更には、対象物が移動する場合に認識装置を自動追尾させることが困難であるという問題があった。
従って、このような装置を、自律するペットロボットに搭載することは困難であり、これに好適に適用できる画像位置検出装置やその方法が望まれていた。
【０００６】
そこで本発明が解決しようとする課題は、対象物の位置を認識するにあたり、画像範囲を限定して演算処理量を少なくしても、安定してこの対象物の位置を捕捉でき、観察者が不要で、対象物が移動しても容易に捕捉が可能になる画像位置検出方法及び画像位置検出装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記の課題を解決するために、本願発明は手段として次の手順を有する。
即ち、請求項１は、撮像された特定の対象物５１を含む画像のデータを演算処理して、前記画像上の前記対象物５１の位置を検出する画像処理ステップを有する画像位置検出方法において、
前記画像処理ステップは、前記画像データを演算処理して前記対象物５１の位置を求める位置検出ステップ（ＳＴＥＰ６）と、前記対象物５１の位置に基づいて前記対象物５１を包含する画像範囲５０Ａを設定する画像範囲設定ステップ（ＳＴＥＰ７）と、前記画像範囲５０Ａを取り込み範囲とするように前記撮像装置２０を制御する制御信号Ｃを送出する制御信号送出ステップ（ＳＴＥＰ８）とを有していることを特徴とする画像位置検出方法である。
また、上記の課題を解決するために、本願発明は手段として次の構成を有する。即ち、請求項２は、撮像された特定の対象物５１を含む画像のデータを演算処理して、前記画像上の前記対象物５１の位置を検出する画像処理手段４を備えた画像位置検出装置において、前記画像処理手段４は、前記画像データを演算処理して前記対象物５１の位置を求める位置検出手段４Ａと、前記対象物５１の位置に基づいて前記対象物５１を包含する画像範囲５０Ａを設定する画像範囲設定手段４Ｂと、前記画像範囲を取り込み範囲とするように前記撮像装置２０を制御する制御信号Ｃを送出する制御信号送出手段４Ｃとを有していることを特徴とする画像位置検出装置である。
【０００８】
【発明の実施の形態】
本発明の実施の形態を、好ましい実施例により図１〜図６を用いて説明する。
図１は、本発明の画像位置検出装置の一実施例を組み込んだペット型自律ロボットを示す斜視図であり、
図２は、本発明の画像位置検出装置の一実施例を示すブロック図であり、
図３は、本発明の画像位置検出装置の実施例における認識方法を説明する図であり、
図４は、本発明の画像位置検出装置の実施例における認識方法を説明する別の図であり、
図５は、本発明の画像位置検出装置の実施例における他の認識方法を説明する図であり、
図６は、本発明の画像位置検出方法の実施例の動作を示すフローチャートである。
【０００９】
本発明の実施の形態を、図１乃至図６を用いて説明する。
まず、本発明の画像位置検出装置の一実施例を組み込んだペットロボットを説明する。図１は、このペットロボット１０を示す斜視図である。
【００１０】
このペットロボット１０は、胴体部１１，頭部１２および４本の脚部１３で構成され、以下に説明するような種々の入出力装置が搭載されている。
頭部１２は、図示しない２自由度のアクチュエータを介して胴体部１１に取り付けてあり、左右および上下に動かせるように構成されている。
この種のアクチュエータおよびその駆動機構は周知のものが利用可能であり、詳細な説明は省略する。
【００１１】
頭部１２の鼻先に相当する先端部には、撮像手段としてのビデオカメラ２０が取り付けてある。
頭部１２の目に相当する部分には赤外線受光部２１が取り付けられている。
頭部１２の耳に相当する部分にはマイクロホン２２が取り付けてあり、画像、赤外線及び音の情報を入力し、それらの情報をデータとして送出することができるようになっている。
また、胴体部１１の胸に相当する部分には、スピーカ２３が取り付けてあり、音を出力することができる。
背中の部分には、躾ボタン２４が取り付けてある。
【００１２】
４本の脚部１３は、必要数の自由度のアクチュエータ（図示せず）を介して胴体部１１に取り付けてあり、４足での自律歩行が可能で自身の姿勢も制御できるように構成されている。
この種のアクチュエータおよびその駆動機構も周知のものが利用可能であり、詳細な説明は省略する。
そして、前脚部１３の先端部分にはタッチセンサ２５が取り付けてある。
これらの入出力装置は、後述する動作制御部５により制御され、外部からの入力情報は動作制御部５を介して後述する全体制御部４に伝達される。
【００１３】
このペットロボット１０は、ビデオカメラ２０から送出された画像データを、胴体部１１の内部に設置されるＣＰＵ２８に送り、このＣＰＵ２８において必要な演算処理を行うことで対象物の位置を検出し、その対象物の位置に応じて各部のアクチュエータを駆動させたり、スピーカ２３から音を出力させたりすることができる。
【００１４】
例えば、あらかじめ好きな色として設定された色のボールを対象物として検出したときにはこれを追いかけたり、特定の色のボールを対象物として検出したときには周囲に知らせる音を発したりすることが可能なように構成されている。
【００１５】
次に、本発明の画像位置検出装置の一実施例の好ましい形態をブロック図（図２）により説明する。
この画像位置検出装置１は、ビデオカメラ２０から送出された画像データを処理し、その画像データに含まれる特定の対象物の位置を検出し、その対象物を包含する取り込み範囲を設定し、その範囲で取り込みを実行するように撮像装置を制御する制御信号を送出するものである。
そのため、画像位置検出装置１は、画像入力ポート２と、例えば２値化手段等の機能を有する画像データ処理部３と、演算処理手段としての機能を有する全体制御部４と、補正手段としての機能を有する動作制御部５と、制御信号を送出する制御信号出力ポート６を備えている。
【００１６】
これら各部について以下に説明する。
画像信号入力装置であるビデオカメラ２０は、画像データである輝度信号（Ｙ）および色差信号（Ｕ，Ｖ）と、同期信号Ｖ，Ｈを出力する。
【００１７】
画像入力ポート２は、ビデオカメラ２０から出力された同期信号Ｖ、Ｈに同期して、画像データ（Ｙ，Ｕ，Ｖ）を取り込むようになっている。
【００１８】
画像データ処理部３は、画像入力ポート２で取り込んだ画像データ（ＹＵＶ値）を、下記の変換式にしたがって各画素ごとにＲＧＢ値に変換する。
Ｒ＝Ｙ ＋１．４０２Ｖ
Ｇ＝Ｙ−０．３４４Ｕ−０．７１４Ｖ
Ｂ＝Ｙ＋１．７７２Ｕ
【００１９】
全体制御部４は、画像データ処理部３からの処理結果に基づいて対象物５１の中心位置５１Ｃを求める。
そして、この中心位置５１Ｃと動作制御部５から伝達された外部情報等とに対応した全体の動作を決定し、画像データ処理部３と動作制御手段５を制御すると共にビデオカメラ２０を制御する制御信号Ｃを送出する。
【００２０】
この制御信号Ｃは、取り込む画像の範囲を設定するための制御信号であり、制御信号出力ポート６を介してビデオカメラ２０に出力される。
ビデオカメラ２０の撮像素子に例えば半導体のＭＯＳを使用することで、有効画素中において画像を取り込む画素範囲をこの制御信号Ｃにより任意に設定することができる。
【００２１】
具体的には、取り込む画素範囲の左上角の座標と、取り込む画素範囲の幅と高さを設定する。
この設定により、画像全体の画素データを取り込むことなく、任意の範囲の画像データのみを取り込んで処理することができるので、データ転送時間を短縮し、対象物認識のための演算処理量を減らすことができる。
【００２２】
動作制御部５は、全体制御部４により決定された各部の動作に対応して、この画像位置検出装置１が搭載されたペットロボット１０の各部駆動モータ２６を駆動して動作を実行させたり、発音部２７を駆動してスピーカ２３から発音させたりするものである。
【００２３】
具体的には、頭部１２を支持する２軸（左右回転方向・上下方向）の関節を駆動させ、ビデオカメラ２０を、認識した対象物５１の方向に向けるように頭部１２を動かす。
この動作により、全体制御部４で求めた対象物５１の中心位置５１Ｃを画像範囲の中心に位置させることができる。
【００２４】
次に、画像の中の対象物の認識方法について図３〜図５を用いて詳述する。
図３は、画像の取り込みを説明する図である。図３（ａ）は、この実施例の画像認識装置１における初期状態での取り込み画像の一例である。枠の範囲が全体画像５０であり、斜線部範囲が認識すべき対象物５１の範囲である。
【００２５】
まず、全体画像５０における対象物５１を認識する。
この認識方法は周知の方法で行うことができる。例えば特開平８−１３８０２８号公報に記載された方法である。
この全体画像５０を得るために、ビデオカメラ２０はフルフレームサイズ（最大フレーム）で撮像するように全体制御部４によって制御されており、全画素データが転送送出される。
【００２６】
次に、基準座標（ｘ０，ｙ０）をこの全体画像５０の左上の角にとる。そうすると、当図の右方向がｘの増加（＋）方向となり、図の下方向がｙの増加（＋）方向となる。
対象物５１の認識は上述したように種々の周知方法が適用できる。一般的な色により行う場合は、以下のような動作に好適である。
【００２７】
この画像位置検出装置１を搭載した装置がペットロボット１０の場合は、興味を示す物や嫌悪するもの等の対象物があらかじめ設定されており、この対象物を追いかけたり、対象物から逃げたりするように設定されるのが通常である。
例えば、黄色のボールを好むように設定された場合、このペットロボット１０の制御プログラムは、ビデオカメラ２０が入力した画像の中から黄色の範囲をボールとして識別し、これを追いかける動作を実行するように構成されている。
【００２８】
ところで、このボールが移動する場合、ロボット本体がこれを追いかけて動くことでカメラだ撮像する映像も動いてしまう。
従来、上述のように、ビデオカメラはフルフレームの画像データをＣＰＵに送出し、演算手段によりこの全画素データについて演算処理を行うことで黄色いボールを認識していた。
従って、送出する画像データ量が膨大で、認識の為の演算量も膨大であった。
【００２９】
本実施例は、最初に取り込む画像は全体画像（フルフレーム）５０であるものの、一度その全体画像５０から対象物５１を認識した後は、所定の範囲を限定して設定し、この限定した画像範囲のみの演算処理を行い、対象物５１の移動にも自律的に追従できるものである。以下に詳細を説明する。
【００３０】
まず、全体画像５０から周知の方法により対象物５１を認識し、その中心位置５１Ｃの座標を（Ｘ１，Ｙ１）とする。
ここで、全体画像５０から対象物５１を認識できなかった場合は、対象物が全体画像５０の範囲外にあると判断し、ペットロボット１０全体を旋回させたり、頭部１２を動かした後、再度画像を取り込んで対象物５１を認識する動作を行う。
【００３１】
対象物５１を認識した場合、その中心座標５１Ｃと、画面上での大きさ（画素領域の面積や外形形状）とを求める。
求めた中心座標５１Ｃと大きさとに基づき、次に取り込む画像範囲（フレームサイズ）を決定する。
【００３２】
この決定方法について図３（ｂ），図３（ｃ）を用いて詳述する。
図３（ｂ）は、図３（ａ）において、次に取り込む第２フレーム５０Ａを限定した範囲として設定した図である。
対象物５１の中心位置５１Ｃを中心にとり、その対象物５１を包含する領域を第２フレーム５０Ａとする。
例えば、第２フレーム５０Ａの幅と高さを、それぞれ対象物５１の幅ｗ，高さｈの２倍に設定する。取り込むフレームサイズは、検出した対象物の縦あるいは横の２倍に限定されるものではなく適宜設定可能である。
【００３３】
この場合、第２フレーム５０Ａにおける左上角５０Ａ１の座標（Ｘ２，Ｙ２）は（Ｘ１−ｗ，Ｙ１−ｈ）となる。
一方、第２フレーム５０Ａの右下角５０Ａ２の座標（Ｘ２ａ，Ｙ２ａ）は（Ｘ１＋２ｗ，Ｙ２＋２ｈ）となる。
この第２フレーム５０Ａの情報を制御信号Ｃとしてビデオカメラ２０に送出し、取り込む第２フレーム５０Ａのサイズを設定する。
【００３４】
この第２フレーム５０Ａにおいて、対象物５１の中心５１Ｃの、第２フレーム５０Ａの左上角５０Ａ１〔座標（Ｘ４，Ｙ４）〕を原点（０，０）とした相対座標（Ｘ５，Ｙ５）を、全体画像５０の絶対座標に変換する（図３（ｃ）参照）。
具体的には、中心５１ＣのＸ座標をＸ２＋Ｘ５とし、Ｙ座標をＹ２＋Ｙ５とする。
【００３５】
上述した方法により、取り込むフレームサイズ５０Ａを、対象物５１の大きさに応じて最適なサイズに限定（小さく）できるので、画像データの転送時間や演算処理時間が短縮できる。
【００３６】
次に、対象物が移動している場合の画像取り込み方法（第１の方法）について図４を用いて説明する。
ここで説明するのは、上述の第２フレーム５０Ａを取り込んで認識した対象物５１の中心位置５１Ｃａが、その１つ前に取り込んだフレーム（この場合は全体画像５０）において認識した中心位置５０Ｃに対して異なっていた場合であり、次の３つの場合が該当する。
即ち、実際に対象物５１が移動していた場合、対象物５１が静止していてビデオカメラ２０が移動した場合、あるいは対象物５１、ビデオカメラ２０の双方が移動した場合である。
【００３７】
図４に示すように、対象物５１の中心５１Ｃが図の矢印のように移動すると、第２フレーム５０Ａにおける対象物５１の中心５１Ｃａの座標は、第２フレームの左上角５０Ａ１の絶対座標（Ｘ２，Ｙ２）を基準として相対座標（Ｘ１０，Ｙ１０）となる。
そこで、その次に取り込む第３フレーム５０Ｂの中心を、対象物５１の中心５１Ｃａと合致するように設定すればよい。
【００３８】
また、このように第３フレームの中心と対象物の中心とを合致させなくても、フレームの取り込み時間間隔から対象物５１の移動速度を求め、対象物５１がフレーム内に入るように第３フレーム５０Ｂの中心位置を設定してもよい。
従って、次の取り込みタイミングにおいて、対象物５１の移動量よりも大きく設定したフレームであればよいので、あらかじめ、対象物５１の移動速度が速い場合にはフレームを大きめに設定するようにプログラムしておくのがよい。
【００３９】
次に、対象物が移動している場合の、別の画像取り込み方法について図５を用いて説明する。
図５に示すように、対象物５１の中心５１Ｃ〔絶対座標（Ｘ１，Ｙ１）〕が図の実線矢印のように移動すると、第２フレーム５０Ａ内の対象物５１の中心５１Ｃａの位置座標は、第２フレームの左上角５０Ａ１の絶対座標（Ｘ２，Ｙ２）を基準として相対座標（Ｘ１０，Ｙ１０）となる。
そして、ここまでに対象物５１が移動した量は、Ｘ方向，Ｙ方向それぞれ、
Ｘ方向：Ｘ２＋Ｘ１０−Ｘ１，Ｙ方向：Ｙ２＋Ｙ１０−Ｙ１ である。
【００４０】
ここで、画像を取り込む時間間隔（サンプリング時間間隔）をほぼ一定にし、微少時間内での対象物５１の移動速度がほぼ等速であるとすると、次のサンプリング時に対象物５１の中心は、図の破線矢印のように移動し、中心位置５１Ｃｂに到達していると予測される。
すると、この中心位置５１Ｃｂの座標（Ｘ１１，Ｙ１１）は、
Ｘ１１＝Ｘ１＋２（Ｘ２＋Ｘ１０−Ｘ１）
Ｙ１１＝Ｙ１＋２（Ｙ２＋Ｙ１０−Ｙ１） となる。
【００４１】
この中心位置５１Ｃｂを、次のサンプリングのためのフレームの中心として設定すると、図５の一点鎖線で示した範囲がそのサンプリングフレーム（第３フレーム）５０Ｂとなる。
この方法は、対象物５１の移動速度が速い場合に対象物５１をより確実に捕捉できる方法である。
以上詳述したように、全体制御部４は、画像データを演算処理して対象物５１の位置を求める位置検出手段４Ａと、この対象物５１の位置に基づいてこれを包含する画像範囲５０Ａを設定する画像範囲設定手段４Ｂと、設定した画像範囲を次の取り込み範囲とするように撮像装置２０を制御する制御信号Ｃを送出する制御信号送出手段５０Ｃとを有して構成されているものであり、ＣＰＵ２８に格納されている。
【００４２】
本実施例における画像位置検出方法全体の動作フローチャートを図６に示し、以下にその詳細をステップ毎に説明する。繰り返し動作における符号は（ ）を付して示している。また、図６では対象物をターゲットと表記している。
【００４３】
（ＳＴＥＰ１）ビデオカメラ２０の画像取り込み範囲を最大フレーム５０に設定する。
（ＳＴＥＰ２）画像をＣＰＵ２８に取り込む。
（ＳＴＥＰ３）ＳＴＥＰ２で取り込んだ画像から対象物５１を識別する。
（ＳＴＥＰ４）対象物５１を識別できたか否かを判定する。
（ＳＴＥＰ５）対象物５１を識別できなかった場合、頭部１２を動かして（対象物を探す動作）画像取り込み範囲を変更する。その後、再度最大フレーム５０で画像を取り込み、識別を実行する。
（ＳＴＥＰ６）対象物５１を識別できた場合、中心座標５１Ｃ（５１Ｃａ，５１Ｃｂ，…）を決定する。
（ＳＴＥＰ７）次にサンプリングするフレーム５０Ａ（５０Ｂ，５０Ｃ，…）の位置とサイズを上述した第１の方法あるいは第２の方法により決定する。
（ＳＴＥＰ８）ＳＥＴＰ７で決定したフレームを取り込み範囲とする制御信号Ｃを送出する。
（ＳＴＥＰ９）対象物５１を追跡する動作（歩く、首を振る等）を行う場合にはこれを実行する。
（ＳＴＥＰ９）動作終了か否かを判定する。動作継続の場合はＳＴＥＰ３へ戻り、動作を繰り返す。
【００４４】
さて、本発明の実施例は、上述した構成に限定されるものではなく、本発明の要旨を逸脱しない範囲において例えば下記のように変更が可能である。
【００４５】
上述したように、取り込むフレームサイズは、検出した対象物の縦あるいは横の２倍に限定されるものではない。このサイズは、使用するビデオカメラやＣＰＵの能力及びこの装置を搭載するロボット等の装置の動作能力等に応じて適宜設定可能である。
【００４６】
もちろん、取り込み毎にサイズの設定を変えてもよい。
例えば、対象物が遠方にあって画像上の領域が小さくなる場合は、取り込みフレームサイズも非常に小さくなり、ロボット本体の振動などで対象物をこの小さい取り込みフレーム内に捕捉できなくなる可能性がある。
従って、取り込みフレームサイズの下限を設定し、必要以上にフレームサイズが小さくならないようにするとよい。
【００４７】
対象物の大きさが時間的に変化する場合、例えば時間経過と共に大きくなる場合には、その大きさの変化率を求め、次ぎの取り込みフレームサイズをその変化率に応じた最適なサイズ（大きいサイズ）に設定するとよい。
もちろん、対象物が時間と共に小さくなるように変化する場合も同様に、フレームサイズをその変化率に応じた最適なサイズ（小さいサイズ）に設定すればよい。
【００４８】
対象物を変更する場合には、最初にフルフレームの取り込み動作を実行するが、同一対象物を捕捉追跡する場合でも、フルフレームの取り込み動作を適宜実施することが好ましい。
対象物の形状や大きさが急激に変化した場合は、対象物全体をフレーム内に捕捉することができなくなる場合があり、認識する中心位置の精度が低下する。
このような場合に、フルフレームの取り込み動作を実行すれば、改めて対象物の中心位置を精度よく認識できて更新されるので、ロボットの動作もより精度良く実行することができる。
【００４９】
【発明の効果】
以上詳述したように、本願発明によれば、画像範囲を限定して演算処理を少なくしても、安定して対象物の中心位置を捕捉でき、観察者が不要で、対象物が移動しても容易に捕捉が可能になるという効果を得る。
【図面の簡単な説明】
【図１】本発明の画像位置検出装置の一実施例を組み込んだペット型自律ロボットを示す斜視図である。
【図２】本発明の画像位置検出装置の一実施例を示すブロック図である。
【図３】本発明の画像位置検出装置の実施例における認識方法を説明する図である。
【図４】本発明の画像位置検出装置の実施例における認識方法を説明する別の図である。
【図５】本発明の画像位置検出装置の実施例における他の認識方法を説明する図である。
【図６】本発明の画像位置検出方法の実施例の動作を示すフローチャートである。
【符号の説明】
１ 画像位置検出装置
２ 画像入力ポート
３ データ処理部
４ 全体制御部（画像処理手段）
４Ａ 位置検出手段
４Ｂ 画像範囲設定手段
４Ｃ 制御信号送出手段
５ 動作制御部
６ 制御信号出力ポート
１０ ロボット
１１ 胴体部
１２ 頭部
１３ 脚部
２０ ビデオカメラ（画像信号入力装置）
２１ 赤外線受光部
２２ マイクロフォン
２３ スピーカ
２４ 躾ボタン
２５ タッチセンサ
２６ 駆動モータ
２７ 発音部
２８ ＣＰＵ
５０ 全体画像（フルフレーム），第１フレーム
５０Ａ 第２フレーム
５０Ａ１ 左上角
５０Ａ２ 右下角
５０Ｂ 第３のフレーム
５１ 対象物
５１Ｃ，５１Ｃａ，５１Ｃｂ 中心位置
Ｃ 制御信号
ｈ 高さ
ｗ 幅

Claims (2)

1. 撮像された特定の対象物を含む画像のデータを演算処理して、前記画像上の前記対象物の位置を検出する画像処理ステップを有する画像位置検出方法において、
   前記画像処理ステップは、
   前記画像データを演算処理して前記対象物の位置を求める位置検出ステップと、
   前記対象物の位置に基づいて前記対象物を包含する画像範囲を設定する画像範囲設定ステップと、
   前記画像範囲を取り込み範囲とするように前記撮像装置を制御する制御信号を送出する制御信号送出ステップとを有していることを特徴とする画像位置検出方法。
2. 撮像された特定の対象物を含む画像のデータを演算処理して、前記画像上の前記対象物の位置を検出する画像処理手段を備えた画像位置検出装置において、
   前記画像処理手段は、
   前記画像データを演算処理して前記対象物の位置を求める位置検出手段と、
   前記対象物の位置に基づいて前記対象物を包含する画像範囲を設定する画像範囲設定手段と、
   前記画像範囲を取り込み範囲とするように前記撮像装置を制御する制御信号を送出する制御信号送出手段とを有していることを特徴とする画像位置検出装置。

Images