JP2023133343A - ロボット、方向制御方法及びプログラム - Google Patents

Abstract

【課題】負荷を抑えつつも、画像全体から検知を行う。【解決手段】画像処理装置１２０は、取得部１３０と、顔検出部１４０と、変化検出部１５０とを備える。取得部１３０は、撮像部１０５によって連続して撮像された画像を取得する。顔検出部１４０は、取得された画像の中央領域から所定の対象（人物の顔）を検出する検出処理（顔検出処理）を実行する。変化検出部１５０は、取得された画像の中央領域の周りの周辺領域における経時的な変化を検出する。【選択図】図３

Description

本発明は、画像処理装置、ロボット、画像処理方法及びプログラムに関する。

撮像された画像から人物の顔を検出する顔検出処理が知られている。特許文献１には、顔検出処理の負荷を抑えるために、撮像された画像の中央領域のみを対象に顔検出処理を行う方法が記載されている。

特開２００９－２０１６３号公報

特許文献１に記載の方法では、画像の中央領域の周りの周辺領域に対しては顔検出処理が実行されない。そのため、特許文献１に記載の方法では、画像の範囲外から周辺領域に人物が入ってきたような場合には、その旨を検知することができない。

本発明は上記実情に鑑みてなされたものであり、負荷を抑えつつも、画像全体から検知を行うことができる画像処理装置、ロボット、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明に係る画像処理装置は、
連続して撮像された画像を取得する取得手段と、
前記取得された画像の中央領域から所定の対象を検出する第１検出処理を実行する対象検出手段と、
前記取得された画像の前記中央領域以外の他の領域における経時的な変化を、前記第１検出処理よりも負荷が小さい第２検出処理を実行することにより検出する変化検出手段と、
を備えることを特徴とする。

本発明によれば、負荷を抑えつつも、画像全体から検知を行うことが可能となる。

本発明の実施形態に係るロボットの外観を示す図である。 実施形態に係るロボットのハードウェア構成を示すブロック図である。 実施形態に係るロボットの機能的な構成を示すブロック図である。 実施形態に係るロボットによって実行されるロボット制御処理の流れを示すフローチャートである。 実施形態に係るロボットによって実行されるロボット制御処理の具体例を説明するための図である（その１）。 実施形態に係るロボットによって実行されるロボット制御処理の具体例を説明するための図である（その２）。 実施形態に係るロボットによって実行されるロボット制御処理の具体例を説明するための図である（その３）。 実施形態に係るロボットによって実行されるロボット制御処理の具体例を説明するための図である（その４）。 実施形態に係るロボットによって実行されるロボット制御処理の具体例を説明するための図である（その５）。 実施形態に係るロボットによって実行されるロボット制御処理の具体例を説明するための図である（その６）。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。

図１に、本発明の実施形態１に係るロボット１００の外観を示す。ロボット１００は、主に家庭や展示場等で使用され、ユーザとコミュニケーションすることが可能なコミュニケーションロボットである。ロボット１００は、予め規定された動作プログラムに従って自律的に動作する。

図１に示すように、ロボット１００は、外観的には略人型の立体的な形状を有する。ロボット１００は、例えばプラスチック等の硬質合成樹脂を主たる材料として作製されている。ロボット１００は、頭部１０１と、胴体部１０２と、手部１０３と、足部１０４と、を備える。

頭部１０１、手部１０３及び足部１０４は、ロボット１００に内蔵された駆動部材によって動かすことができる部位である。例えば、頭部１０１は、首に設けられた首の関節によって、ピッチ、ロール及びヨーの３方向に回転可能に胴体部１０２に取り付けられている。また、頭部１０１には、ロボット１００の前方を撮像する撮像部１０５が設けられている。

図２に、ロボット１００のハードウェア構成を示す。図２に示すように、ロボット１００は、撮像部１０５と、制御部１０６と、記憶部１０７と、バッテリ１０８と、駆動ドライバ１０９と、可動部１１０と、無線通信部１１１と、表示部１１２と、音声入力部１１３と、音声出力部１１４と、を備える。

制御部１０６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備える。ＣＰＵは、例えばマイクロプロセッサ等であって、様々な処理や演算を実行する中央演算処理部である。制御部１０６において、ＣＰＵが、ＲＯＭに記憶されている制御プログラムを読み出して、ＲＡＭをワークメモリとして用いながら、自装置（ロボット１００）全体の動作を制御する。

また、制御部１０６は、例えばＧＰＵ（Graphics Processing Unit）等のような画像処理用のプロセッサと、各種のバッファメモリと、を含む。制御部１０６は、画像処理用のプロセッサにより、周知の画像認識の手法を用いて、撮像部１０５により撮像された画像の中央領域から人の顔を検出する顔検出処理や、画像の中央領域以外の他の領域（以下、周辺領域）の経時的な変化を検出する処理を実行する。

記憶部１０７は、フラッシュメモリ、ハードディスク等の不揮発性メモリである。記憶部１０７は、ＯＳ（Operating System）及びアプリケーションプログラムを含む、制御部１０６が各種処理を行うために使用するプログラム及びデータを記憶する。例えば、記憶部１０７は、撮像部１０５が撮像した画像から、中央領域と周辺領域とを特定するためのデータを記憶する。例えば、中央領域を撮像した画像の中心から、画像全体の４０パーセントを占める長方形の領域、周辺領域を当該画像における中央領域以外の領域として定義すればよい。なお、中央領域、周辺領域をどのように定義するかは任意であり、上述した例とは異なる割合で中央流域、周辺領域を定義してもよいし、画像中央の円形や楕円形等の領域を中央領域としてもよい。また、記憶部１０７は、制御部１０６が各種処理を行うことにより生成又は取得するデータを記憶する。

バッテリ１０８は、電気エネルギーを蓄電し、ロボット１００の各部に電力を供給する蓄電池である。バッテリ１０８は、ロボット１００が充電ステーションに帰還した場合に、充電ステーションによって充電される。

駆動ドライバ１０９は、ロボット１００の可動部１１０を駆動するモータ、アクチュエータ等の駆動部材と、これらの駆動部材を駆動する駆動回路と、を備える。可動部１１０とは、可動する部位であって、具体的には頭部１０１、手部１０３及び足部１０４である。制御部１０６は、動作プログラムに基づいて、駆動回路に制御信号を送信する。駆動回路は、制御部１０６から送信された制御信号に従って、駆動部材に駆動用のパルス信号を供給する。駆動部材は、駆動回路から供給されたパルス信号に従って、可動部１１０を駆動する。

ロボット１００は、駆動ドライバ１０９が可動部１１０を駆動することによって、様々に動作することができる。例えば、ロボット１００は、足部１０４を動かすことによって、前方又は後方に移動することができ、自装置の向きを変えることができる。また、駆動ドライバ１０９が頭部１０１を駆動することにより、頭部１０１に設置されている撮像部１０５の撮像方向を変化させることができる。

撮像部１０５は、いわゆるカメラであって頭部１０１に設置されている。撮像部１０５は、頭部１０１が向いている方向を撮像する。撮像部１０５は、所定の時間毎（例えば、１／６０秒毎）に撮像を行っている。撮像部１０５は、撮像手段として機能する。

無線通信部１１１は、外部の機器と無線で通信するためのインタフェースを備える。無線通信部１１１は、制御部１０６の制御の下、例えばＷｉ－Ｆｉ（Wireless Fidelity）等の無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）等の通信規格に従って、ロボット１００を充電するための充電ステーション、クラウドサーバ等の外部の機器と無線通信をする。無線通信部１１１は、通信手段として機能する。

表示部１１２は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、ＬＥＤ（Light Emitting Diode）等の表示デバイスである。表示部１１２は、図示しない表示駆動回路による制御のもと、状況に応じて様々な画像を表示する。表示部１１２は、表示手段として機能する。

音声入力部１１３は、頭部１０１に設置されており、ユーザから発せられた音声、周囲の環境音等を検知（取得）し、制御部１０６に出力する。ロボット１００は、図示しないが、音声入力部１１３として頭部１０１を囲むように複数のマイクロフォンを備えており、四方で発生した音を効率良く検知することができる。音声入力部１１３は、音声取得手段として機能する。

音声出力部１１４は、スピーカと音声出力インタフェースとを備え、制御部１０６によって生成された音声データを音声に変換して外部に出力する。スピーカは、頭部１０１に設置されている。音声出力部１１４は、動物の鳴き声及び人間の言葉を含む様々な音声を出力する。例えば、ロボット１００は、音声入力部１１３でコミュニケーション対象の音声を収集し、コミュニケーション対象の発話内容に対応する音声を音声出力部１１４から出力する。これにより、コミュニケーション対象と簡単な会話をすることができる。

次に、図３を参照して、本発明に関するロボット１００の機能的な構成について説明する。図３に示すように、ロボット１００は、機能的に、取得部１３０と、顔検出部１４０と、変化検出部１５０と、判別部１６０と、撮像方向制御部１７０と、を備える。これら各部は、制御部１０６において、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに読み出して、読み出されたプログラムを実行して制御することにより機能する。なお、上述した取得部１３０、顔検出部１４０、変化検出部１５０及び撮像方向制御部１７０は、ロボット１００に含まれる画像処理装置１２０の機能に相当する。

取得部１３０は、撮像部１０５が連続して撮像した画像を取得する。取得部１３０は、取得手段として機能する

顔検出部１４０は、公知の手法を用いて、取得部１３０が取得した画像から人物の顔を検出する顔検出処理を実行する。この際、顔検出部１４０は、取得した画像の中央領域のみを対象に顔検出処理を実行する。例えば、顔検出部１４０は、人物の顔のテンプレートとなるデータや顔の特徴を示すデータを記憶部１０７に格納しておき、これらのデータを参照して、中央領域から人間の顔を検出すればよい。顔検出部１４０は、所定の対象を検出する対象検出手段として機能する。顔検出部１４０が実行する顔検出処理は、本発明の第１検出処理の一例である。

変化検出部１５０は、取得部１３０が取得した画像の中央領域の周りの周辺領域（即ち、中央領域以外の領域）における経時的な変化を検出する。変化検出部１５０は、変化検出手段として機能する。なお、変化検出部１５０は変化のみを検出し、検出した変化が具体的に何であるかまでは特定しない。そのため、変化検出部１５０が行う処理は、顔検出部１４０が行う顔検出処理よりも負荷が小さい。変化検出部１５０が実行する処理は、本発明の第２検出処理の一例である。

例えば、変化検出部１５０は、取得部１３０が取得した画像の周辺領域内の特徴点に基づいて、周辺領域における経時的な変化を検出する。具体的には、変化検出部１５０は、まず、撮像部１０５が連続的に撮像した複数の画像それぞれについて、周辺領域から特徴点を検出する。そして、変化検出部１５０は、検出した特徴点の画像間での移動量（移動ベクトル）を求め、閾値以上の移動量であれば、最新の画像における当該特徴点の位置を、変化のあった部分として検出する。

若しくは、変化検出部１５０は、連続して撮像された画像間における周辺領域の差分に基づいて、周辺領域における経時的な変化を検出してもよい。具体的には、変化検出部１５０は、撮像部１０５が連続的に撮像した複数の画像の周辺領域について、画素毎に画素値の差分を算出する。そして、変化検出部１５０は、算出した差分が閾値以上の画素があれば、その画素の部分を変化のあった部分として検出する。

なお、上述した変化検出部１５０による変化の検出の手法は一例であり、他の手法によって画像の周辺領域から変化を検出してもよい。

判別部１６０は、所定の条件が成立しているか否かを判別する。判別部１６０は、判別手段として機能する。

撮像方向制御部１７０は、駆動ドライバ１０９を制御して頭部１０１を駆動することで、頭部１０１に設けられた撮像部１０５の撮像方向を変化させる。例えば、撮像方向制御部１７０は、判別部１６０が所定の条件が成立していると判別している場合において、変化検出部１５０により、画像の周辺領域における経時的な変化が検出されたときに、当該変化があった部分が撮像部１０５の撮像範囲の中央に位置するように、撮像部１０５の撮像方向を制御する。撮像方向制御部１７０は、制御手段として機能する。なお、頭部１０１に撮像部１０５を移動可能に取り付けた場合、撮像方向制御部１７０は、撮像部１０５を移動させることで撮像方向を変化させてもよい。

以上のように構成されるロボット１００において実行される処理の流れについて、図４に示すフローチャートを参照して、説明する。

図４に示すロボット制御処理は、ロボット１００の電源が投入され、且つ、バッテリ１０８が充電されることによって、ロボット１００が正常に動作可能な状態になると開始される。

ロボット制御処理が開始されると、まず、制御部１０６は、取得部１３０として機能し、撮像部１０５が連続して撮像した最新の画像を取得する（ステップＳ１０）。

続いて、制御部１０６は、顔検出部１４０として機能し、取得した画像の中央領域から人物の顔を検出する顔検出処理を実行する（ステップＳ２０）。

顔検出処理で顔が検出できた場合（ステップＳ３０；Ｙｅｓ）、制御部１０６は、判別部１６０として機能し、所定の条件が成立しているか否かを判別する（ステップＳ４０）。

なお、ここでは様々な条件を、ステップＳ４０の「所定の条件」として採用可能である。例えば、制御部１０６は、自装置（ロボット１００）が検出できた顔の人物とコミュニケーションしていない場合に、所定の条件が成立していると判別してもよい。

若しくは、制御部１０６は、公知の手法を用いて、視線方向等から検出した顔が自装置を向いているか否かを判別する。そして、顔が自装置を向いていない場合に、所定の条件が成立していると判別してもよい。

若しくは、制御部１０６は、顔検出処理で検出している顔の大きさが所定の閾値よりも小さい場合に、所定の条件が成立していると判別してもよい。また、制御部１０６は、音声入力部１１３が予め定めた期間、当該顔の人物から音声を継続して受信していない場合に、所定の条件が成立していると判別してもよい。

若しくは、所定頻度以上ロボット１００とコミュニケーションした人物の顔や、ユーザから設定された顔を「お気に入り」として登録しておく機能をロボット１００に内蔵させる。そして、制御部１０６は、顔検出処理で検出した顔が「お気に入り」として登録されていない場合に、所定の条件が成立していると判別してもよい。

所定の条件が成立していないと判別された場合（ステップＳ４０；Ｎｏ）、制御部１０６は、撮像方向制御部１７０として機能し、当該顔が撮像部１０５の撮像範囲の中央に位置するように、駆動ドライバ１０９を制御する（ステップＳ５０）。駆動ドライバ１０９は、制御部１０６からの指示に従って頭部１０１を駆動する。これにより、撮像範囲の中央に検出した顔が位置するように、頭部１０１に設置された撮像部１０５の向きが調整される。なお、制御部１０６は、足部１０４を駆動させることにより、撮像部１０５の位置や向きを調整してもよい。そして処理は、ステップＳ１０に戻る。

一方、顔検出処理で顔が検出できなかった場合（ステップＳ３０；Ｎｏ）、若しくは、顔は検出できたが所定の条件が成立していると判別された場合（ステップＳ３０；Ｙｅｓ、ステップＳ４０；Ｙｅｓ）、制御部１０６は、変化検出部１５０として機能し、取得した画像の周辺領域における経時的な変化の有無を検出する（ステップＳ６０）。

例えば、制御部１０６は、今回のステップＳ１０で取得した最新の画像の周辺領域と、それより１つ前のステップＳ１０で取得した画像（前回取得した画像）の周辺領域とを比較して、変化の有無を検出すればよい。なお、制御部１０６は、撮像部１０５が連続して撮像したより多くの画像を用いて、周辺領域の変化を検出してもよい。

ステップＳ６０で変化を検出した場合（ステップＳ７０；Ｙｅｓ）、制御部１０６は、撮像方向制御部１７０として機能し、検出した変化があった部分が撮像部１０５の撮像範囲の中央に位置するように、駆動ドライバ１０９を制御する（ステップＳ８０）。駆動ドライバ１０９は、制御部１０６からの指示に従って頭部１０１を駆動する。これにより、撮像範囲の中央に検出した変化があった部分が位置するように、頭部１０１に設置された撮像部１０５の向きが調整される。そして、処理はステップＳ１０に戻る。

一方、ステップＳ６０で変化を検出しなかった場合（ステップＳ７０；Ｎｏ）、処理はステップＳ１０に戻る。

続いて、例を挙げて、上述したロボット制御処理について説明する。

図５Ａに示すように、ロボット１００の正面に人物Ｐａが位置する場合を考える。この場合、撮像部１０５が撮像する画像の中央領域で顔検出処理が実行され（ステップＳ２０）、図５Ｂに示すそのときに撮像された画像から、人物Ｐａの顔が検出される（ステップＳ３０；Ｙｅｓ）。そして、この人物Ｐａの顔は、ロボットを向いているため所定条件が成立していないと判別され（ステップＳ４０；Ｎｏ）、撮像範囲の中央に顔が位置するように撮像部１０５の撮像方向が調整される（ステップＳ５０）。

そして、その後、図６Ａに示すように、図面における右側から別の人物Ｐｂが人物Ｐａに接近するとともに、人物Ｐａは横を向いてロボットから視線を外した場合を考える。

この場合、図６Ｂに示すように、人物Ｐｂの顔は撮像部１０５が撮像する画像の周辺領域に位置しており、中央領域には位置しない。そのため、顔検出処理の対象外となり、人物Ｐｂの顔は検出されない。

一方、現在顔検出処理で検出している人物Ｐａの顔がロボットを向かなくなったため所定条件が成立していると判別され（ステップＳ４０；Ｙｅｓ）、周辺領域の変化の有無が判別され（ステップＳ６０）、人物Ｐｂが周辺領域に新たに入ってきたことが変化として検出される（ステップＳ７０；Ｙｅｓ）。そのため、図７Ａに示すように、変化として検出された人物Ｐｂの方向（図面における右方向）に撮像部１０５の撮像方向が制御される（ステップＳ８０）。これにより、図７Ｂに示すように、人物Ｐｂが画像の中心となる。

以上説明したように、本実施形態に係るロボット１００及び画像処理装置１２０は、比較的負荷が大きい顔検出処理（第１検出処理）については、画像の中央領域のみを対象に実行する一方、画像の中央領域以外の他の領域については、顔検出処理よりは負荷が小さい経時的な変化の検出処理（第２検出処理）のみを実行する。そのため、負荷を抑えつつも、画像全体から検知を行うことが可能となる。

また、本実施形態に係るロボット１００は、撮像部１０５を備え、画像の周辺領域で経時的な変化が検出された場合、当該変化があった部分が撮像範囲の中央に位置するように、撮像部１０５の撮像方向を制御する。これにより、ロボット１００は、画角内に入ってきたあらゆる動きに連動して動作することが可能となる。例えば、ロボット１００は、周囲で揺れるカーテンを変化として検出し、それに反応するなどの動物的な動作を実行することが可能となる。

また、本実施形態に係るロボット１００は、顔検出処理で顔を検出している間は、当該顔が自装置を向いてない等のような、所定条件が成立している場合に限って、周辺領域の変化に反応する制御が可能となる。そのため、ロボット１００が検出している顔の人物と会話をしている際に、画像の周辺領域の変化に応答して会話を阻害するような動作をしてしまうことを防ぐことができる。

（変形例）
なお、本発明は、上記実施形態に限定されず、本発明の要旨を逸脱しない部分での種々の修正は勿論可能である。

例えば、上記実施形態において、ロボット１００及び画像処理装置１２０は、人物の顔を検出する顔検出処理を実行したが、顔検出処理に替えて、動物等のような人物の顔以外の所定の対象を検出する検出処理を実行してもよい。

また、ロボット制御処理において、顔検出処理で顔を検出している間であっても、周辺領域で変化が検出されれば、無条件で当該変化部分に撮像方向を変化させてもよい。この場合は、ロボット１００は、常に周囲の変化に敏感に反応するようになり、より動物的な動きをすることが可能となる。また、ロボット制御処理において、顔検出処理で顔を検出している間は、常に、当該顔が画像の中央になるように撮像部１０５の向きを調整する制御を行ってもよい。

また、ロボット制御処理において、周辺領域に変化が検出された場合、制御部１０６は、変化部分が撮像部１０５の撮像範囲の中央に位置するように撮像方向を制御する処理（ステップＳ８０）を行ったが、これに限らず、周辺領域で変化が検出された場合に様々な所定の処理を実行してもよい。例えば、周辺領域で変化が検出された場合に、制御部１０６は、撮像部１０５の画角（撮像範囲）を広げる、又は、狭める（例えばそのときの周辺領域内の被写体が撮像範囲から外れるように狭める）ような制御を実行して、撮像部１０５の撮影を制御したり、撮像画像から周辺領域（その全体又はその変化部分のみ）をトリミング（切り出し）して拡大する、又は、撮像画像から中央領域をトリミングして拡大して、撮像画像に所定の画像処理を実行したりしてもよい。また、ロボット制御処理において、顔検出処理で顔を検出できていない場合や所定の条件が成立していない場合に、中央領域をトリミングする画像処理を行って周辺領域を削除する画像処理を行ってもよい。

また、撮像部１０５が撮像した画像のうち、どの領域を中央領域、周辺領域とするかは任意であり、ユーザが適宜設定できるようにしてもよい。例えば、頭部１０１（撮像部１０５）が水平方向（ヨー方向）にのみしか駆動しない場合は、画像の左右の領域のみを周辺領域としてもよい。

また、本発明の「ロボット」は、図１に示すようなユーザとのコミュニケーションを目的とするロボットに限定されない。例えば、監視カメラ等の撮像装置と、コンピュータと、駆動機構とを備え、コンピュータで撮像装置が撮像した画像の中央領域から人物の顔を検出し、撮像画像の周辺領域における経時的な変化を検出し、変化を検出した際には駆動機構を制御して当該変化が撮像範囲の中央に来るように撮像装置の撮像方向を制御するセキュリティロボット、セキュリティシステム、監視システム等も、本発明の「ロボット」に含まれる。

なお、本発明に係る機能を実現するための構成を予め備えた画像処理装置又はロボットとして提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係る画像処理装置又はロボットとして機能させることもできる。すなわち、上記実施形態で例示した画像処理装置１２０又はロボット１００による各機能構成を実現させるためのプログラムを、既存の情報処理装置等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る画像処理装置又はロボットとして機能させることができる。

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
連続して撮像された画像を取得する取得手段と、
前記取得された画像の中央領域から所定の対象を検出する第１検出処理を実行する対象検出手段と、
前記取得された画像の前記中央領域以外の他の領域における経時的な変化を、前記第１検出処理よりも負荷が小さい第２検出処理を実行することにより検出する変化検出手段と、
を備えることを特徴とする画像処理装置。

（付記２）
前記変化検出手段は、前記第２検出処理の実行により、前記他の領域内の特徴点に基づいて、前記他の領域における経時的な変化を検出する、
ことを特徴とする、付記１に記載の画像処理装置。

（付記３）
前記変化検出手段は、前記第２検出処理の実行により、前記連続して撮像された画像間における前記他の領域の差分に基づいて、前記他の領域における経時的な変化を検出する、
ことを特徴とする、付記１に記載の画像処理装置。

（付記４）
前記所定の対象は、人物の顔である、
ことを特徴とする、付記１から３のいずれか１つに記載の画像処理装置。

（付記５）
前記取得手段は、撮像手段により連続して撮像された画像を取得し、
前記対象検出手段による検出結果、及び、前記変化検出手段による検出結果の少なくとも一方に応じて、所定の処理を実行する制御手段をさらに備える、
ことを特徴とする、付記１から４のいずれか１つに記載の画像処理装置。

（付記６）
付記５に記載の画像処理装置と、
前記撮像手段と、
を備えるロボット。

（付記７）
前記撮像手段は、前記取得手段が取得する画像を所定の撮像範囲で撮像可能に構成され、
前記制御手段は、前記変化検出手段により前記他の領域における経時的な変化が検出されたときに、当該変化があった部分が前記撮像範囲の中央に位置するように、前記撮像手段の撮像方向を制御する、
ことを特徴とする付記６に記載のロボット。

（付記８）
所定の条件が成立しているか否かを判別する判別手段をさらに備え、
前記制御手段は、前記第１検出処理で前記所定の対象を検出している間は、前記判別手段により前記所定の条件が成立していると判別された場合にのみ、前記撮像方向を制御可能である、
ことを特徴とする付記７に記載のロボット。

（付記９）
自装置はコミュニケーションすることが可能であり、
前記判別手段は、前記自装置が前記所定の対象に対応する対象物とコミュニケーションしていない場合に前記所定の条件が成立していると判別する、
ことを特徴とする付記８に記載のロボット。

（付記１０）
前記判別手段は、前記所定の対象が自装置を向いていない場合に前記所定の条件が成立していると判別する、
ことを特徴とする付記８に記載のロボット。

（付記１１）
前記判別手段は、前記所定の対象の大きさが所定の閾値以下である場合に前記所定の条件が成立していると判別する、
ことを特徴とする付記８に記載のロボット。

（付記１２）
音声取得手段をさらに備え、
前記判別手段は、前記音声取得手段が前記所定の対象から予め定めた期間、音声を継続して取得していない場合に前記所定の条件が成立していると判別する、
ことを特徴とする付記８に記載のロボット。

（付記１３）
撮像された画像の中央領域から所定の対象を検出する第１検出処理を実行し、
前記画像の前記中央領域以外の他の領域における経時的な変化を、前記第１検出処理よりも負荷が小さい第２検出処理を実行することにより検出する、
画像処理方法。

（付記１４）
コンピュータを、
連続して撮像された画像を取得する取得手段、
前記取得された画像の中央領域から所定の対象を検出する第１検出処理を実行する対象検出手段、
前記取得された画像の前記中央領域以外の他の領域における経時的な変化を、前記第１検出処理よりも負荷が小さい第２検出処理を実行することにより検出する変化検出手段、
として機能させるプログラム。

１００…ロボット、１０１…頭部、１０２…胴体部、１０３…手部、１０４…足部、１０５…撮像部、１０６…制御部、１０７…記憶部、１０８…バッテリ、１０９…駆動ドライバ、１１０…可動部、１１１…無線通信部、１１２…表示部、１１３…音声入力部、１１４…音声出力部、１２０…画像処理装置、１３０…取得部、１４０…顔検出部、１５０…変化検出部、１６０…判別部、１７０…撮像方向制御部

本発明は、ロボット、方向制御方法及びプログラムに関する。

本発明は上記実情に鑑みてなされたものであり、負荷を抑えつつも、画像全体から検知を行うことができるロボット、方向制御方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明に係るロボットは、頭部の向きが前記頭部に設けられた撮像部による撮像方向に設定されたロボットであって、前記撮像部による撮像により連続的に取得される画像のそれぞれを、領域内に当該画像の中央が含まれる中央領域と領域内に前記中央領域の周辺が含まれる周辺領域とに分割し、前記中央領域を対象にして人物の顔を検出する第１検出処理により前記人物の顔が非検出とされた場合に、前記第１検出処理に代えて、前記周辺領域を対象にして画像間での画像変化を検出する第２検出処理を開始し、前記第２検出処理により画像間での画像変化が検出された場合に当該画像変化が検出された位置を第１位置として特定する画像処理手段と、前記画像処理手段により前記第１位置が特定された場合に、前記第１位置が画像の中央となるように前記頭部の向きを変化させる駆動制御手段と、を備えることを特徴とする。
また、本発明に係る方向制御方法は、頭部の向きが前記頭部に設けられた撮像部による撮像方向に設定されたロボットが実行する方向制御方法であって、前記撮像部による撮像により連続的に取得される画像のそれぞれを、領域内に当該画像の中央が含まれる中央領域と領域内に前記中央領域の周辺が含まれる周辺領域とに分割し、前記中央領域を対象にして人物の顔を検出する第１検出処理により前記人物の顔が非検出とされた場合に、前記第１検出処理に代えて、前記周辺領域を対象にして画像間での画像変化を検出する第２検出処理を開始し、前記第２検出処理により画像間での画像変化が検出された場合に当該画像変化が検出された位置を第１位置として特定する画像処理ステップと、前記画像処理ステップにより前記第１位置が特定された場合に、前記第１位置が画像の中央となるように前記頭部の向きを変化させる駆動制御ステップと、を有することを特徴とする。
また、本発明に係るプログラムは、頭部の向きが前記頭部に設けられた撮像部による撮像方向に設定されたロボットのコンピュータを、前記撮像部による撮像により連続的に取得される画像のそれぞれを、領域内に当該画像の中央が含まれる中央領域と領域内に前記中央領域の周辺が含まれる周辺領域とに分割し、前記中央領域を対象にして人物の顔を検出する第１検出処理により前記人物の顔が非検出とされた場合に、前記第１検出処理に代えて、前記周辺領域を対象にして画像間での画像変化を検出する第２検出処理を開始し、前記第２検出処理により画像間での画像変化が検出された場合に当該画像変化が検出された位置を第１位置として特定する画像処理手段、前記画像処理手段により前記第１位置が特定された場合に、前記第１位置が画像の中央となるように前記頭部の向きを変化させる駆動制御手段、として機能させることを特徴とする。

Claims (14)

1. 連続して撮像された画像を取得する取得手段と、
   前記取得された画像の中央領域から所定の対象を検出する第１検出処理を実行する対象検出手段と、
   前記取得された画像の前記中央領域以外の他の領域における経時的な変化を、前記第１検出処理よりも負荷が小さい第２検出処理を実行することにより検出する変化検出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記変化検出手段は、前記第２検出処理の実行により、前記他の領域内の特徴点に基づいて、前記他の領域における経時的な変化を検出する、
   ことを特徴とする、請求項１に記載の画像処理装置。
3. 前記変化検出手段は、前記第２検出処理の実行により、前記連続して撮像された画像間における前記他の領域の差分に基づいて、前記他の領域における経時的な変化を検出する、
   ことを特徴とする、請求項１に記載の画像処理装置。
4. 前記所定の対象は、人物の顔である、
   ことを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記取得手段は、撮像手段により連続して撮像された画像を取得し、
   前記対象検出手段による検出結果、及び、前記変化検出手段による検出結果の少なくとも一方に応じて、所定の処理を実行する制御手段をさらに備える、
   ことを特徴とする、請求項１から４のいずれか１項に記載の画像処理装置。
6. 請求項５に記載の画像処理装置と、
   前記撮像手段と、
   を備えるロボット。
7. 前記撮像手段は、前記取得手段が取得する画像を所定の撮像範囲で撮像可能に構成され、
   前記制御手段は、前記変化検出手段により前記他の領域における経時的な変化が検出されたときに、当該変化があった部分が前記撮像範囲の中央に位置するように、前記撮像手段の撮像方向を制御する、
   ことを特徴とする請求項６に記載のロボット。
8. 所定の条件が成立しているか否かを判別する判別手段をさらに備え、
   前記制御手段は、前記第１検出処理で前記所定の対象を検出している間は、前記判別手段により前記所定の条件が成立していると判別された場合にのみ、前記撮像方向を制御可能である、
   ことを特徴とする請求項７に記載のロボット。
9. 自装置はコミュニケーションすることが可能であり、
   前記判別手段は、前記自装置が前記所定の対象に対応する対象物とコミュニケーションしていない場合に前記所定の条件が成立していると判別する、
   ことを特徴とする請求項８に記載のロボット。
10. 前記判別手段は、前記所定の対象が自装置を向いていない場合に前記所定の条件が成立していると判別する、
    ことを特徴とする請求項８に記載のロボット。
11. 前記判別手段は、前記所定の対象の大きさが所定の閾値以下である場合に前記所定の条件が成立していると判別する、
    ことを特徴とする請求項８に記載のロボット。
12. 音声取得手段をさらに備え、
    前記判別手段は、前記音声取得手段が前記所定の対象から予め定めた期間、音声を継続して取得していない場合に前記所定の条件が成立していると判別する、
    ことを特徴とする請求項８に記載のロボット。
13. 撮像された画像の中央領域から所定の対象を検出する第１検出処理を実行し、
    前記画像の前記中央領域以外の他の領域における経時的な変化を、前記第１検出処理よりも負荷が小さい第２検出処理を実行することにより検出する、
    画像処理方法。
14. コンピュータを、
    連続して撮像された画像を取得する取得手段、
    前記取得された画像の中央領域から所定の対象を検出する第１検出処理を実行する対象検出手段、
    前記取得された画像の前記中央領域以外の他の領域における経時的な変化を、前記第１検出処理よりも負荷が小さい第２検出処理を実行することにより検出する変化検出手段、
    として機能させるプログラム。