以下、本発明の実施形態について、図面を参照しつつ、詳細に説明する。
先ず、図1には、本発明の一実施形態としての捜し物ロボット10が、全体外観において示されている。
本実施形態の捜し物ロボット10は、胴部12に対して、各2本の前脚部14,14及び後脚部16,16と、頭部18と、尾部20が設けられて、全体として猫型の外観形状を有することでペット型ロボットとされている。各構造部分は樹脂や金属などの硬質材で形成されており、必要に応じて、外表面を着色したり、布等の軟質材で覆ったり、植毛等することによって、適宜の意匠や肌触りなどが付与され得る。
また、胴部12や頭部18は、中空構造とされたり空洞部や内部空所が形成されることにより、捜し物処理を実行するための後述する各種の機器が装備され得るようになっている。
なお、捜し物ロボット10の外観形状や具体的構造は限定されるものでない。例えば、本実施形態の猫型に代えて同じ四足動物である犬等の外観を採用することが可能であることは勿論、疑似的なペット等の動物の外観を有しない単純なボックス形状等であっても良いし、或いは二足歩行する人型の外観を備えていても良い。
また、本実施形態では、胴部12に対して頭部18と尾部20が固定的に取り付けられているが、胴部12に対して頭部18及び/又は尾部20を可動とし、電動モータと駆動制御手段とにより、首を動かすようにして頭部18を上下や左右、回動させたり、尾を振るようにして尾部20を動かせたりしても良い。特に頭部18を、例えば略鉛直軸回りの所定角度範囲で回動可能とすれば、後述するように、頭部18に装着した撮像手段による撮像範囲を、胴部12の移動なしで広い範囲に亘って変化させることが可能になる。その結果、より効率的に撮像画像などを取得することができる。
各2本の前脚部14,14及び後脚部16,16は、それぞれ、第一脚部14a,16aと、第二脚部14b,16bと、足部14c,16cとを有している。第一脚部14a,16aは、それぞれ、胴部12に対して一軸回りの回動作動で屈曲可能に取り付けられて第一関節部22を構成している。第一脚部14a,16aと第二脚部14b,16bとは、互いに一軸回りの回動作動で屈曲可能に連結されて第二関節部24を構成している。更に、第二脚部14b,16bと足部14c,16cとは、互いに一軸回りの回動作動で屈曲可能に連結されて第三関節部26を構成している。
このように外観的に四足動物を模した機械的構造を備えた本実施形態の捜し物ロボット10は、図2及び図3に示す物理的構成と機能的構成を備えている。
先ず、四足動物に類似した移動手段が構成されている。具体的には、各2本の前脚部14,14及び後脚部16,16における各第一〜三の関節部22,24,26には、それぞれ関節を屈曲作動させるアクチュエータとしての電動モータ30,32,34が装備されている。そして、これら各電動モータ30,32,34に対して、バッテリー36からの給電がパワーコントローラ38で制御されることにより、捜し物ロボット10が四足歩行するようになっている。
なお、パワーコントローラ38は、中央演算処理装置(CPU)40において、予め記憶手段42に記憶された移動制御プログラムに従って、各電動モータ30,32,34への給電制御を実行するようになっている。具体的には、例えば所定条件下で前進歩行の指令がCPU40からパワーコントローラ38へ出力されると、4本の脚部14,14,16,16において1つずつ順次に脚を持ち上げて前方へ送り出す作動を繰り返すことで、捜し物ロボット10を前方へ移動させるように、各脚の電動モータ30,32,34への給電制御が実行される。また、前方へ送り出す脚の歩幅を4本の脚部間で相互に異ならせることで、左右に曲がった歩行を実現したり、持ち上げた遊脚を後方へ送り出す作動を繰り返すことで後退の歩行を実現するように、パワーコントローラ38による電動モータ30,32,34の作動制御が実行されることとなる。
この際、例えば前方歩行に際して、前方に送り出す作動をする遊脚の電動モータの負荷(消費電力)が大きくなった場合には、何らかの障害物が前方に存在すると推定し、所定量の後退作動の実行後に右又は左への旋回歩行を実行するように移動制御プログラムによる歩行制御を行なわせることができる。或いは、遊脚を上方へ持ち上がる高さをより高くするように電動モータを追加作動させてから前方へ送り出すことで、前方の障害物を乗り越えたり、前方の障害物の上に乗り上げたりするように、歩行制御を行なわせることなども可能である。
また、前後の各脚部14,14,16,16の第一関節部22の回動軸をボールジョイントなどを用いて傾動可能にすると共に、傾動駆動用の電動モータを採用することで、各脚部14,16の送り出し方向を斜め前方や斜め後方に変更することも可能である。これにより、例えば実質的に移動を伴わないで方向転換する作動も可能になる。
次に、このような4本の脚部14,14,16,16と、複数の電動モータ30,32,34、および電動モータ30へのバッテリー36からの給電を制御して歩行作動させるパワーコントローラ38を含んで構成された移動手段44を備えた捜し物ロボット10は、捜し物作動を実行するための機構を備えている。
先ず、捜し物を検索したり、検索の結果を報知したりするのに利用される外部付加機器45として、CCDカメラなどの撮像手段46と、スピーカーなどの発音手段48と、音声入力装置としてのマイク手段50が、装備されており、適宜にインターフェースを介して、CPU40との間で電気信号としてのデータの入出力を実行可能とされている。なお、動物を模した本実施形態では、撮像手段46が眼の位置に略配置されていると共に、発音手段48が口の位置に略配置されており、マイク手段50が耳の位置に略配置されている。それら各配置位置には、必要に応じて外部への開口穴や窓等が設けられる。
また、本実施形態では、捜し物の検索結果を外部に報知する検索結果報知手段の一例として、モニタ手段52が、例えば胴部12の表面に露出可能な状態で、捜し物ロボット10自体に装備されている。なお、モニタ手段として、上述の撮像手段46が装備された一方の眼とは異なる方の眼において、映像を投射するプロジェクタ装置を装備させても良い。モニタ手段52には、捜し物の検索結果を、例えば所在や位置を示す画像として表示したり、所在や位置を特定する文言で表示したりすることができる。
尤も、検索結果報知手段は、例示の如きモニタ手段の他、捜し物の検索結果としての捜し物の所在位置を音声で報知する構成を採用することも可能である。例えば「リビングルームのテーブルの上」とか「ダイニングルームの椅子の上」というように、音声の合成及び発音用プログラムを用いて発音手段48から報知させることも可能である。
さらに、このような外部付加機器との間で信号を送受信して、捜し物の検索や検索結果の報知などを実行する作動を制御する制御手段54と、かかる作動の実行に際して用いられる各種データを保存する記憶手段42とを、捜し物ロボット10は、備えている。なお、制御手段54は、マイクロプロセッサからなるCPU40の他、必要に応じてGPU(画像処理ユニット)等が追加されたり、MCU(マイクロコントローラ)などが採用され得る。また、記憶手段42は、一般に読み書き可能な半導体メモリが好適に採用されるが、電子データを記憶する各種記憶装置が適宜に採用可能である。
本実施形態の記憶手段42は、作動プログラム記憶手段60を有している。この作動プログラム記憶手段60は、歩行移動や捜し物検索などの作動を実行するために各種外部付加機器の制御処理を制御手段54に実行させるためのプログラムを記憶している。また、記憶手段42は、検索情報記憶手段62を有している。この検索情報記憶手段62は、捜し物ロボット10のユーザーが、捜し物(検索対象物)を記憶させておくものであり、本実施形態では、検索対象物の画像データを記憶するようになっている。また、記憶手段42は、撮像画像情報記憶手段64を有している。この撮像画像情報記憶手段64は、捜し物ロボット10が捜し物の検索作動を行なう際に撮像手段46で撮像した画像データを記憶するようになっている。また、記憶手段42は、検索結果記憶手段66を有している。この検索結果記憶手段66は、捜し物ロボット10が捜し物の検索作動を行なった結果、取得した検索対象物の位置情報やタイムデータなどを記憶するようになっている。また、記憶手段42は、携行人記憶手段68を有している。この携行人記憶手段68は、捜し物ロボット10が、検索情報記憶手段62に記憶された検索対象物を携行した人を検知し、当該人が当該検索対象物を手放して携行を中止した際に、それらの少なくとも一方の時点において、当該人(個人)の識別情報やタイムデータなどを記憶するようになっている。
さらに、本実施形態の制御手段54は、CPU40等が作動プログラム記憶手段60に記憶されたプログラムに従って作動することにより、以下の如き各機能を有する各種手段を構成し得るようになっている。即ち、制御手段54は、撮像手段46で取得した撮像画像を、検索情報記憶手段62に記憶された捜し物の画像データとマッチングによる画像処理することで、目的とする捜し物(検索対象物)を検出する検索手段80を有している。更に、かかる検索手段80は、検索情報記憶手段62に記憶された検索対象物を携行した人を検知する携行検出手段82と、当該人が検索対象物の携行を中止したことを検知して、携行を中止した位置を取得する携行中止位置検出手段84を有している。また、制御手段54は、人の存在を検知する人認識手段90を有しており、かかる人認識手段90は、更に、個人を識別して特定する個人特定手段92を有している。なお、人の存在の検知は、赤外線の検出などで行なうことも可能であるが、好適には、撮像手段46で取得した撮像画像について、予め記憶した人の画像データとの静的なマッチング処理を行なうことで、或いは人の動きの特徴との動的なマッチング処理を行なうことで、人の存在を検知するようにされる。また、個人の識別は、例えば撮像手段46で取得した撮像画像について、予め記憶した各個人の画像データとのマッチング処理を行なうことで実行することができる。
更にまた、本実施形態の制御手段54は、人追従制御手段94を有している。かかる人追従制御手段94は、人認識手段90で人の存在が検知されると共に、携行検出手段82によって当該人が予め登録された検索対象物を携行していることが検知された際に、当該人を撮像手段による画像内に捉え続けるように移動手段44を作動制御することで、当該人を追従して移動する制御を実行する。
また、本実施形態の制御手段54は、巡回移動制御手段96を有している。かかる巡回移動制御手段96は、予め設定された時刻に達した際や予め設定された時間が経過した際、或いは外部から巡回を指令する信号が入力された際などに、移動手段44を制御して、捜し物ロボット10を住宅内の所定エリアを巡回移動させるようになっている。また、かかる巡回移動に際しては、検索手段80により、予め登録された検索対象物の検索を継続的に実行することができる。そして、巡回中に検索対象物を検出した場合には、当該検索対象物とその位置情報およびタイムデータを、検索結果記憶手段66へ入力して記憶することも可能である。
以下、本実施形態の捜し物ロボット10におけるより具体的な捜し物の作動例を、フローチャートを参照しつつ説明する。
捜し物の検索作動を行なわせるには、先ず、検索対象物を識別する検索情報を検索情報記憶手段62に記憶させる。図4には、かかる記憶処理作動100の一例が示されている。なお、検索対象物としては、外観上で識別できるものであれば良く、図5に例示されているテレビなどの各種リモコン装置102(A)や眼鏡104(B)の他、腕時計、携帯端末、鍵付きキーホルダー、補聴器、ネックレス、指輪などが何れも対象とされ得る。そして、少なくとも一つの検索対象物が記憶されることとなり、複数種類の検索対象物を、例えば名前で区別して、検索情報記憶手段62に記憶させることができる。
図4において、例えば外部からのボタン操作などによる処理開始の指令信号が入力されることで、検索対象物の登録処理がステップS01において開始されると、ステップS02で撮像カメラ(撮像手段46)が作動を開始する。そして、ステップS03で検索対象物の名前の入力が行なわれる。かかる名前の入力は、音声によりマイク手段50を通じて入力することも可能であるし、モニタ手段52をタッチ画面として文字入力するようにしても良い。
名前が入力されると続くステップS04で、撮像カメラの前にかざした検索対象物が撮像カメラによって検出されて画像データが取得される。
かかる画像データの取得前或いは取得後において、ステップS03で入力された検索対象物の名前について、既に検索情報記憶手段62に記憶されたものがあるか否かを、ステップS05で判定する。そして、未登録の新規な検索対象物である場合には、ステップS05でNOと判定されて、続くステップS06において、当該検索対象物の撮像画像のデータが、入力された名前と関連付けされて、検索情報記憶手段62に登録されて記憶情報に追加される。
一方、検索情報記憶手段62に記憶されたものに同じ名前がある、既登録の検索対象物の場合には、ステップS05でYESと判定されて、続くステップS07において、当該名前の検索対象物に関する撮像画像の追加データとして処理するか否かを判定する。そして、外部からの音声やタッチパネルなどによる指示入力により、ステップS07において撮像画像の追加が選択されると、ステップS06に進んで、当該検索対象物の撮像画像のデータが、既に登録済みの名前と関連付けされて、2つ目以降の追加記憶情報として、検索情報記憶手段62に登録される。
そして、ステップS06において撮像画像のデータを検索情報記憶手段62に登録した後、および、ステップS07において撮像画像を既登録の名前の追加画像として登録しないと判定された場合には、ステップS08に進み、検索対象物の登録処理を終了するか否かが判定される。そして、外部からの音声やタッチパネルなどによる指示入力により、登録処理の終了が選択されると、記憶処理作動100を終了する。一方、登録処理を終了しない場合には、ステップS03に戻って、ステップS03〜S08の処理を繰り返すことにより、未登録の名前の新たな検索対象物の画像の登録処理や、既登録の名前の検索対象物の画像の追加処理を実行するようにされる。
なお、既登録の名前の検索対象物の画像の追加処理によれば、例えば図5の(A−1)と(A−2)や、(B−1)と(B−2)に示されるように、リモコン装置102(A)や眼鏡104(B)について、異なる視点から撮像された撮像画像を複数登録しておくことができる。これにより、パターンマッチングによる画像処理で検索対象物を検索する精度の向上が図られ得る。
このようにして検索情報記憶手段62に検索対象物の検索情報としての画像データが登録されると、かかる画像データを用いたパターンマッチング処理によって、検索対象物を検索することができる。例えば、図6には、撮像手段46で取得される画像データによるリアルタイムの検索手段80を構成する検索処理作動110の一例が示されている。
図6に示されているように、ステップM01における捜し物ロボット10の作動状態下において、例えば外部からの音声入力やタッチパネル、ボタン操作などによる検索処理開始の検索指令信号が入力されると、検索対象物の検索処理がステップM02において開始されて、ステップM03で撮像カメラ(撮像手段46)が作動を開始する。そして、ステップM04で撮像カメラによる撮像画像のデータを取得すると、ステップM05において、当該画像データを一時記憶のバッファに記憶させる。なお、連続的に取得される撮像画像のデータを順次に高速で処理し続けるために、バッファとしては、CPU又はMPU内に備えたメモリを利用することが望ましい。
続くステップM06において、バッファに記憶された撮像画像の撮像画像情報としての画像データと、検索情報記憶手段62に検索対象物の検索情報として記憶された検索画像情報としての画像データとのマッチング処理により、撮像画像中における検索対象物の有無の検索処理が実行される。
かかる検索処理の結果、撮像画像中に検索対象物が発見されなければ、次のステップM07において、マッチング画像無し(NO)と判定され、ステップM08で、移動手段44の作動による捜し物ロボット10の所定量の歩行移動が行なわれた後に、前記ステップM04〜M07が繰り返し実行される。なお、捜し物ロボット10が首を左右に振る作動を実行可能な場合には、ステップM08における歩行移動に代えて又は加えて首振り運動を採用しても良く、異なる撮像画像を取得できる環境に変化すれば良い。
一方、検索処理の結果、撮像画像中に検索対象物が発見されたら、マッチング画像有り(YES)と判定され、ステップM09で、バッファに記憶した当該撮像画像をタイムデータと関連付けて検索結果記憶手段66に記憶する。本実施形態では、検索手段80によって取得される撮像画像自体が、特定の場所を特定の方向から撮像手段46によって撮像した撮像画像情報であり、そこに検索対象物が存在するものと判定されていることから、当該撮像画像そのものが検索対象物の位置情報を含むこととなる。
また、かかる検索対象物を含む撮像画像は、検索結果記憶手段66に記憶されると共に、ステップM10で、モニタ手段52に表示されて外部から視認可能とされる。これにより、捜し物ロボット10のユーザーは、モニタ手段52の画像を見ることで、捜し物の場所を認識することができるのであり、当該表示場所を集中的に探すことで、捜し物を効率的に探し出すことが可能になる。このようにして、リアルタイムの検索処理作動110が実行されて、終了する。
なお、捜し物ロボット10における捜し物の検索作動は、上述の如きリアルタイムに移動しつつ実行される他、捜し物の対象である検索対象物の画像データが検索情報記憶手段62に記憶されていることから、適宜に歩行移動して撮像画像とのマッチング処理を行なった結果を検索結果記憶手段66に記憶させておくことも可能である。このような事前の検索結果の情報を巧く利用することで、例えば具体的な検索対象物を指定して捜し物の指示を受けた場合に、事前の検索結果を速やかに報知することも可能になる。また、前述の如きリアルタイムでの捜し物の検索処理では、捜し物を検知できなかった場合に、事前の検索作動で検知された結果を報知することで、現在に近い過去の段階で、当該捜し物が存在していた場所をユーザーに知らしめて、ユーザーに思い起こさせるきっかけを与えることもできる。これにより、例えば捜し物を置いた上に新聞などが重ね置かれた場合にも、事前の検索作動の検知結果から、新聞で覆われた状態の捜し物について検索情報をユーザーに与えることも可能になる。
そのような事前の検索作動の一例が、図7に示されている。図7に示された巡回移動による検索作動を利用した捜し物の検索処理は、事前の巡回作動による撮像画像を蓄積記憶する画像データ取得処理作動120と、具体的な捜し物の指令を受けた際に予め蓄積された画像データを利用して検索処理を行なって検索結果を報知する検索処理作動122との、二つの処理作動から構成されている。
すなわち、図7(I)に示されているように、ステップN01で巡回による撮像画像の取得が実行されると、先ず、ステップN02において、例えば予め設定された時刻に達することなどによって自動的に巡回移動検索の指令信号が発せられたり、外部からの音声やタッチパネル等による入力で適時に巡回移動検索の指令信号が発せられると、続くステップN03において、移動手段44の作動での歩行移動による住宅内の所定エリアでの巡回作動が開始されると共に、撮像カメラ(撮像手段46)による画像データの取得が開始される。
そして、撮像カメラで取得される画像データは、逐次に、撮像画像情報記憶手段64に記憶されて蓄積される。なお、撮像画像情報記憶手段64に記憶される画像データは、歩行移動に際して所定距離ごとに取得したり、所定時間ごとに取得したりして、適宜に画像データ数が調節され得る。また、撮像画像情報記憶手段64の記憶画像データは、所定の時間の経過によって消去したり、所定の容量に達したら上書きすることにより、画像データの保存を調節するようにしても良い。
上述の如き画像データの撮像画像情報記憶手段64への記憶処理がステップN04で実行されたら、次のステップN05で、巡回移動による撮像画像の蓄積記憶の作動がタイムアップして終了したか否か判定され、所定時間の作動の間、ステップN02〜N05の処理を繰り返して、多数の画像データを撮像画像情報記憶手段64へ記憶させた後に、巡回による撮像画像の取得を終了する。なお、かかる処理作動の終了は、所定時間の経過による他、所定距離の歩行移動によって終了させるようにしても良い。
このような画像データ取得処理作動120が少なくとも一回実施された後、検索処理作動122が実行される。なお、画像データ取得処理作動120は、検索処理作動122が実行されなくても、所定時間をおいて繰り返し実行されて、各実行ごとに画像データが撮像画像情報記憶手段64に記憶され得る。
検索処理作動122は、図7(II)に示されるように、ステップP01で記憶された撮像画像データによる捜し物の検索処理が実行されると、ステップP02において、例えば外部からの音声やタッチパネル等による入力により、検索対象物を具体的に特定した検索指令信号が入力されたことを契機として、捜し物の検索処理が開始される。
先ず、ステップP03において、撮像画像情報記憶手段64から一つの撮像画像のデータを読み出してバッファに記憶する。
続くステップP04において、バッファに記憶された撮像画像の画像データと、検索情報記憶手段62に記憶された画像データのうちで検索指令信号で指定された特定の名前の検索対象物の画像データとのマッチング処理により、撮像画像中における検索対象物の有無の検索処理が実行される。
かかる検索処理の結果、撮像画像中に検索対象物が発見されたら、次のステップP05において、マッチング画像有り(YES)と判定され、ステップP06で、バッファに記憶した当該撮像画像をタイムデータと関連付けて検索結果記憶手段66に記憶すると共に、かかる検索対象物を含む撮像画像は、ステップP07で、モニタ手段52に表示されて外部から視認可能とされた後、検索処理作動122を終了する。これにより、捜し物ロボット10のユーザーは、モニタ手段52の画像を見ることで、捜し物の場所を認識することができる。
一方、ステップP04での検索処理の結果、撮像画像中に検索対象物が発見されなければ、ステップP05で、マッチング画像無し(NO)と判定され、ステップP08に移行する。かかるステップP08において、撮像画像情報記憶手段64に記憶された全ての撮像画像の画像データとのマッチングが完了したか否かが判定され、未だマッチング処理がされていない画像データが撮像画像情報記憶手段64に残っていたら、ステップP09に進んで次の一枚の画像データを撮像画像情報記憶手段64から取得して、バッファに記憶された画像データを当該次の一枚の画像データに置換することで、ステップP03〜P05によるマッチング処理を繰り返して実行する。
そして、繰り返されるステップP05において何れの画像データでも検索対象物が検索されず、ステップP08において全ての撮像画像データに対するマッチング処理が完了したと判定された場合には、検索対象物を探し出す有力な情報が得られなかったものとして、検索処理作動122を終了する。
このように、事前に取得して撮像画像情報記憶手段64に記憶蓄積された画像情報を利用して検索対象物の検索処理を実行することで、具体的な捜し物の指令を受けた際に、捜し物ロボット10が探し回るための移動をすることなく、単なる画像処理によって捜し物の所在について情報を与えることが可能になり、捜し物の補助作動が速やかに実行可能となる。
ところで、事前に取得した撮像画像を利用した検索処理の態様としては、上述の図7に例示されたものの他、例えば図8に例示される処理態様も採用可能である。
図8に示された巡回移動による検索作動を利用した捜し物の検索処理は、事前の巡回作動による撮像画像による事前検索処理作動130と、具体的な捜し物の指令を受けた際に予め蓄積された事前検索結果を利用して検索結果を報知する検索報知処理作動132との、二つの処理作動から構成されている。
すなわち、図8(I)に示されているように、ステップQ01で巡回による検索結果情報の取得が実行されると、先ず、ステップQ02において、例えば予め設定された時刻に達することなどによって自動的に巡回移動検索の指令信号が発せられたり、外部からの音声やタッチパネル等による入力で適時に巡回移動検索の指令信号が発せられると、続くステップQ03において、移動手段44の作動での歩行移動による住宅内の所定エリアでの巡回作動が開始されると共に、撮像カメラ(撮像手段46)による画像データの取得が開始される。
そして、撮像カメラで画像データが取得されると、ステップQ04において、当該画像データを一時記憶のバッファに記憶させる。続くステップQ05において、バッファに記憶された撮像画像の画像データと、検索情報記憶手段62に検索対象物の検索情報として記憶された画像データとのマッチング処理により、撮像画像中における検索対象物の有無の検索処理が実行される。
かかる検索処理の結果、撮像画像中に検索対象物が発見されたら、ステップQ06でマッチング画像有り(YES)と判定され、ステップQ07で、バッファに記憶した当該撮像画像をタイムデータと関連付けて検索結果記憶手段66に記憶する。なお、撮像画像は、対象とされた検索対象物とも関連付けて、例えば当該検索対象物の名前と共に、検索結果記憶手段66に記憶する。その後、ステップQ08に進む。
一方、撮像画像中に検索対象物が発見されなければ、ステップQ06において、マッチング画像無し(NO)と判定され、ステップQ07を経ることなく、ステップQ08へ進む。
ステップQ08では、検索情報記憶手段62に記憶された複数種類の検索対象物(例えば、眼鏡とテレビリモコン)の全てについて、検索処理の実行が完了されたか否かが判定される。そして、未だ検索されていない検索対象物がある場合には、ステップQ09で、マッチング処理させる検索対象物の画像データを、次の検索対象物のものに移行してから、ステップQ05〜Q08の検索処理の実行を繰り返す。
ステップQ08において、全ての種類の検索対象物について検索処理が実行されたと判定されたら、ステップQ10に進み、巡回移動による撮像と検索の作動がタイムアップ等で終了したか否か判定される。タイムアップ前なら、巡回作動による歩行移動しながらの撮像画像の取得を行いつつ、ステップQ04〜Q10の処理を繰り返して、逐次に撮像されて取得される多数の画像データを用いた検索対象物の検索処理作動を行なって、検索結果情報を検索結果記憶手段66へ記憶蓄積させる処理を、タイムアップに至るまで継続して実行する。
このような事前検索処理作動130が少なくとも一回実施された後、検索報知処理作動132が実行される。なお、事前検索処理作動130は、検索報知処理作動132が実行されなくても、所定時間をおいて繰り返し実行されて、各実行ごとに検索結果が検索結果記憶手段64に記憶され得る。
検索報知処理作動132は、図8(II)に示されるように、ステップR01で記憶された撮像画像データによる捜し物の検索処理が実行されると、ステップR02において、例えば外部からの音声やタッチパネル等による入力により、検索対象物を具体的に特定した検索指令信号が入力されたことを契機として、捜し物の検索結果の報知処理が開始される。
すなわち、ステップR03において、指定された検索対象物について、検索結果記憶手段66の記憶情報のなかから、マッチングした撮像画像を選択して抽出する。
そして、ステップR04において、マッチングした撮像画像の存否が判定され、マッチングした撮像画像があった場合には、ステップR05に進んで、かかるマッチングした撮像画像を、それと関連付けられたタイムデータと共に、モニタ手段52に表示して、終了する。なお、マッチングした撮像画像が見つからなかった場合には、ステップR05を経ることなく、終了する。かかる終了に際しては、マッチングした撮像画像が見つからなかった旨を、モニタ手段52に表示しても良い。
このような図8に示す検索処理作動では、撮像画像を用いて各検索対象物の検索作動までが予め処理完了され得ることから、捜し物を具体的に特定した検索指令信号が入力されてから検索結果を報知するまでの検索報知処理作動132が、前述の図7に示す検索処理作動よりも一層簡略化されてより速やかに実行可能とされ得る。
なお、図7に示す検索処理作動と図8に示す検索処理作動との中間的な検索処理作動も採用可能である。即ち、図7(I)に示す画像データ取得処理作動120を行なって多数の撮像画像を撮像画像情報記憶手段64へ記憶蓄積した後に、かかる撮像画像情報記憶手段64に記憶された画像データを対象として、図8(I)のステップQ04〜Q08の如き検索処理を、各画像データに対して順次に実行し、かかる検索処理で得られたマッチングした撮像画像の情報を検索結果記憶手段66に記憶させておく。そして、捜し物を具体的に特定した検索指令信号が入力された場合には、かかる検索結果記憶手段66の記憶情報を用いて、図8(II)に示す処理を実行することで、検索することが可能である。このような検索処理作動によれば、歩行移動しつつ、逐次に取得される撮像画像と検索対象物の画像情報とのマッチング処理を行なう必要がなくなり、歩行移動しつつの撮像画像の取得の後、記憶蓄積された撮像画像を用いた画像データのマッチング処理による検索作動を行なわせることができることから、CPUの負荷を分散させたり、高性能なCPUでなくとも多くの撮像画像を対象とした検索処理の実行が可能になったりする。
また、本実施形態の捜し物ロボット10は、人認識手段90と人追従制御手段94を備えており、それらを利用することで、検索対象物の検出情報をより効率的に取得して記憶させておくことも可能になる。かかる検索対象物を携行する人を認識することで、検索対象物を効率的に検索する処理の一例が、図9〜10に示されている。
すなわち、図9中、ステップT01において、人の携行検索処理作動140が実行されると、先ず、ステップT02において、人の存否を判定する。そして、人の存在が確認された場合には、ステップT03に進み、撮像カメラ(撮像手段46)による画像データの取得が開始される。
なお、人の存否は、例えばマイク手段50で取得される音声信号の有無や、別途の赤外線受光素子による赤外線の動きの有無などで判定することができる。その他、例えば撮像手段46で取得された撮像画像を対象として、人認識手段90で当該画像中における人の存否を判定することも可能である。撮像画像で人の存否を認識する場合には、ステップT02に先立ってステップT03が実行されて、撮像カメラによる撮像が開始されるようにする。
そして、ステップT04において撮像カメラから画像データが取得されると、ステップT05に進み、当該画像データを一時記憶のバッファに記憶させる。続くステップT06において、バッファに記憶された撮像画像の画像データと、検索情報記憶手段62に検索対象物の検索情報として記憶された画像データとのマッチング処理により、撮像画像中において、検索対象物が、画像認識された人によって携行されているか否かを、画像処理によって判定する。かかる判定は、例えば画像認識された「人」と「検索対象物」との相対的な位置関係によって行なうことができる。
かかる判定の結果、検索対象物の人による携行が認められなかった場合には、ステップT07からNOに進んで、ステップT02〜T07を繰り返し実行することで、検索対象物の人による携行を常時確認する処理を継続する。
一方、かかる判定の結果、例えば図10に示されているように、検索対象物の一つであるリモコン装置102が人の手で把持されていると認定されたり、携行対象物の一つである眼鏡104が人の顔部分に装着されていると認定されたりすることにより、検索対象物が人142によって携行されていると判定された場合には、ステップT07からYESに進む。このようにして、携行検出手段82が構成されている。かかるステップT08では、人追従制御手段94として、当該人142の移動に追従するように、捜し物ロボット10が移動制御される。
なお、捜し物ロボット10における人の追従作動は、例えば人追従制御手段94により、撮像手段46で取得される撮像画面の中に対象となる人の存在が維持されるように、当該人の撮像画面内での移動方向に従って移動手段44を作動制御せしめることによって実行され得る。
また、かかる人の追従作動と共に連続的な撮像作動が実行されることとなり、それと並行して、ステップT09において、検索対象物102,104の人142による携行が継続しているか否かが、連続的に判定される。
そして、かかるステップT09において、人142が検索対象物102,104を手放したり、外したりすることで、人による携行が中止されたと判定された場合には、ステップT10に進み、当該時点において撮像手段46で撮像されて取得された撮像画像のデータを取得し、かかるデータをタイムデータと関連付けて、検索結果記憶手段66へ記憶する。このようにして、携行中止位置検出手段84が構成されている。
このようにして人による携行の中止が検出された際の撮像画像のデータは、該当する検索対象物102,104の検索を指定する検索指令信号が入力された際に、モニタ手段52に表示するようにされる。これにより、当該検索対象物102,104を置いた近しい時の場所や日時を、ユーザーに思い起こさせて、当該検索対象物102,104を探す有力な手がかりを与えることが可能になる。
特に、捜し物の位置は人の携行によって変化することから、人認識手段90や人追従制御手段94などで、検索対象物を携行する人に着目して撮像することで、検索対象物の場所を効率的に検出し、その検索用の情報を記憶させておくことが可能になる。
なお、人認識手段90において、個人を識別して特定する個人特定手段92を併せて採用することも可能である。個人特定手段92は、例えば人の外観上の特徴から、個人を特定する画像処理によって実現され得る。個人を特定して、上述の携行検出手段82または携行中止位置検出手段84の如き人の携行による検索対象物の移動を検出して記憶させると共に、個人識別情報としての個人を特定する情報もタイムデータと関連付けて記憶させ、検索結果として併せて報知することで、特定の人に対して、検索対象物を移動させたことを一層容易に思い起こさせることも可能になる。このようにして、携行人記憶手段68が構成されている。
ところで、本発明の捜し物ロボット10では、上述の如き構成に対して更に付加的構成を採用することも可能である。例えば、GPS(グローバル ポジショニング システム)の受信装置を装備させることで、絶対的に位置座標を取得し、かかる位置座標を利用して、移動手段44の制御を実行したり、検索対象物の検索結果としての位置情報をより具体的に報知したりすることも可能である。
また、図11に例示されているように、住宅150の中において、天井や壁などに固定的に設置されたカメラなどの固定撮像手段152を、付加的に備えていても良い。特に高所に設置される固定撮像手段152による撮像画像のデータを、捜し物ロボット10に装備される撮像手段46と併せて採用し、得られた撮像画像を用いて検索対象物の検索処理を実行することにより、撮像画像における死角を減少させて捜し物の検出効率をあげることができる。なお、住宅内における同じエリア内で或いは区分された異なるエリア内で、複数台の捜し物ロボット10を同時に利用することも可能であり、その場合には、複数台の捜し物ロボット10における情報を、無線送受信などによって共有化させたり、捜し物検索の作動のロードを分担処理させることなども可能である。
また、図11に示されているように、住宅の複数箇所に特定の電磁波などを発する基準位置発信手段154を装備すると共に、捜し物ロボット10に対して受信手段156を装備させることにより、複数の基準位置発信手段154からの相対的な位置関係をもって、捜し物ロボット10の具体的な位置を特定可能にすることも可能である。このような位置検出手段としての位置特定手段を採用すれば、捜し物ロボット10の移動制御をより効率的に実施することも可能になる。また、捜し物ロボット10を基準として検出された検索対象物の位置情報を、一層的確に報知させることも可能になる。前述のGPSは住宅内、特に鉄筋コンクリートなどの住宅内では、受信電波の状況が充分に安定して確保しがたいことから、図11の如き位置特定手段による位置制御が有利な場合もある。
さらに、前述の実施形態では、画像データに基づく検索処理が採用されていたが、それに代えて又は加えて、IDタグによる検索処理を採用することも可能である。例えば図12に例示されているように、検索対象物102に対して、それぞれ特定可能な無線IDタグとしてのIDタグ160を付しておく一方、捜し物ロボット10において、該IDタグ160と無線通信を行なうIDタグ検知手段162を装備させる。そして、捜し物ロボット10により、IDタグ検知手段162で検出されたIDタグ160の検出情報を、予めIDタグ情報記憶手段164に記憶された対応付け情報を用いて検索することで、目的とする検索対象物の存否や位置を検出することができる。なお、ブルートゥース(登録商標)などの無線を利用してIDタグ160を検索する際には、IDタグ160の見通しが悪いことなどで検知エリアが狭い状況でも、捜し物ロボット10が移動することから検出が可能となる。また、IDタグ160の検知可否を、捜し物ロボット10の複数位置で確認したり、捜し物ロボット10の特定方向への移動に伴うIDタグ160の検知状況の変化を検知して、それらの情報を総合的に考慮する演算処理を実行することでIDタグ160の位置を絞り込むことも可能となる。
また、このようにして検出された検索結果は、IDタグ160で特定される検索対象物の種別や位置、タイムデータなどと併せて、検索結果記憶手段66に記憶させておくことで、前述の実施形態と同様に、具体的な検索対象物を特定した捜し物の検索指令信号が入力された場合には、検索結果記憶手段66の記憶情報を利用して、該当する検索対象物の位置情報を報知することが可能となる。IDタグを用いれば、例えば新聞などで覆われた状態の捜し物も検索することが可能になる。また、本発明では、かかるIDタグとしてGPS受信ユニットを備えたものを採用することも可能であり、それによって、例えばGPSユニットで取得した位置情報に基づいて、アクティブ型IDタグがID情報と共に無線信号として捜し物ロボット10が備えるリーダーへ送信することも可能になる。
更にまた、図2に例示されるように、捜し物ロボット10において、無線送受信手段170を装備させることもできる。かかる無線送受信手段170によれば、例えばモニタ手段52に代えて、外部のテレビ受像機に検索結果を表示させることも可能であるし、また、内蔵型の記憶手段42に代えて又は加えて外部に固定設置されたより大容量の記憶手段を採用することも可能である。なお、このような無線送受信手段170を採用することにより、前述の固定撮像手段152による撮像画像のデータを適宜に捜し物ロボット10へ送信させて、捜し物ロボット10の撮像手段46で取得されたデータと併せて処理することも容易となる。
また、図2に例示されるように、捜し物ロボット10において、レーザーなどを利用した距離検出手段172を装備させることもできる。かかる距離検出手段172によれば、例えば画像認識された検索対象物までの距離を距離検出手段172で測定し、測定結果としての距離を外部に報知することで、ユーザーによる捜し物をより効率的に補助することが可能になる。
その他、捜し物ロボット10は、4足や2足による歩行型の移動手段の他、回転式のタイヤなどによる移動手段や、クローラタイプの移動手段なども適宜に採用可能である。各種の移動手段は、捜し物ロボット10が移動する環境を考慮して、例えば段差の有無や階段の有無、障害物の程度などを考慮して、適宜に採用され得る。
また、本発明において採用される撮像手段や作動プログラムを含む制御手段は、特に限定されるものでなく、汎用的なものも実用レベルで採用できる。因みに、捜し物ロボット10に装備できる程度のカメラサイズで、画像データのパターンマッチングの処理の高速な実行機能を備えた処理システムが、現在の技術でも実現可能であることは、例えば既に市販されているコグネックス社(Cognex Corporation)の商品名である「インサイト マイクロ 8000シリーズ」(In−Sight Micro 8400等) を考慮すれば理解されるところである。
更にまた、画像処理分野において近年に実用化が進んでいるディープラーニングの処理技法を用いた人工知能の分野でのマッチング処理、例えば大域特徴と局所特徴の学習による画像の認識処理なども採用することが可能であり、それによって、より的確な検索対象物の検出作動が実現可能となる。
また、本発明において外部からの各種指令信号等を入力、受信するに際しては、タッチスイッチ等を用いる他、マイク手段50から入力される音声を公知の言語認識ソフト等を用いてCPU40により処理することで、外部入力を音声で認識させることも可能である。このように、本発明では、マイク手段50や音声認識ソフトで作動するCPU40等を含んで指令受信手段および音声認識手段が構成されて、利用され得る。
さらに、具体的な検索処理は前述の実施形態に限定されるものでなく、各種の検索処理が採用され得る。例えば、記憶蓄積された撮像画像を用いた画像データのマッチング処理による検索作動を実行するに際しても、異なる日時で略同じ位置から撮像された画像を比較処理して、相違するピクセルだけを抽出することで、例えばベッドやソファー、テレビなどの略定位置に置かれた物の画像情報を除外し、動かされたリモコン装置や新たに置かれた眼鏡などの捜し物の対象とされる可能性が高い物を効率的に認識させることも可能である。そして、そのように異なる時刻で取得された撮像画像間で変化した部分を画像としてユーザーに外部表示させるだけで、捜し物の検索情報を提示することも可能であるし、更にかかる変化した部分から画像のマッチング処理によって特定の捜し物(検索対象物)の存在を確認させるようにすることも可能である。
また、本発明においては、捜し物ロボット10に関するユーザーへのサービスを、会員制度をもって提供することも可能であり、それによって継続した保守や管理の他、一層充実した利便性を提供することもできる。具体的には、ソフトウェアやハードウェアの点検や修理を、会員制度をもって、定期的に又は必要に応じて提供するサービスを実施することが可能である。
具体的には、例えば使用してきた愛着のある捜し物ロボット10について、引っ越しや住宅立て替えなどに対応して、適合した移動手段となるようにハードウェアの一部を交換するサービスの他、使用期間に応じて次第に成長して大型化するようにハードウェアの一部又は全部を交換するサービスを提供することも可能である。また、使用してきた愛着のある捜し物ロボット10について、外観を維持しつつ制御系のCPUなどのハードウェアを交換して処理速度の向上を図ったり、ソフトウェアを変更して必要な機能を適宜に追加又は削除することで、環境等の変化に対応した都度のオリジナル化を実現することも可能である。
或いは、会員制度をもってクラウドシステム等による記憶手段の提供を利用可能とし、例えば前述の無線送受信手段170を介して、インターネット上のサーバーシステムなどに常時接続することなども可能である。これにより、例えば移動する捜し物ロボット10で得られる撮像画像を、連続的に一週間や一ヶ月などの比較的に長期間に亘って外部の記憶手段に記憶させておくことも可能になり、外部の記憶手段に記憶した画像データを適宜に利用して、捜し物の探知を実行等させることも可能となる。
なお、会員制の管理システムとしては、捜し物ロボット10のユーザー毎について、個人を特定できる氏名や住所などの情報を含む単なる会員登録だけでサービスを提供することも可能であるが、定期的又は一時的な会員料金の支払いを条件としてサービスを提供するようにしても良い。会員料金の支払いおよびサービス提供の管理システムは、例えば本出願人が特開2010−205294号公報などで提示したコンタクトレンズを提供するための会員制度であって、定期的な会員料金の支払いを要件として会員サービスを提供する管理システムなどを利用することも可能である。
その他、一々列挙はしないが、本発明は、当業者の知識に基づいて種々なる変更,修正,改良等を加えた態様において実施され得るものであり、また、そのような実施態様が、本発明の趣旨を逸脱しない限り、何れも、本発明の範囲内に含まれるものであることは、言うまでもない。