JP2016080471A - 画像認識処理装置及びプログラム - Google Patents

Abstract

【課題】必要に応じた領域に応じて、ドットの形状又は輝度を変更することにより、より適切な画像認識が行うことが可能な画像認識処理装置を提供すること。【解決手段】一の領域には第１のドットが、他の領域には第１のドットとは形状又は輝度が異なる第２のドットが配置された領域を有するドットパターンを生成し、ドットパターンに基づいてドットを投影する。ドットパターンを含む画像を撮影し、撮影された画像からドットを抽出し、各ドットの距離情報を算出する。そして、ドット毎の距離情報をまとめた距離マップを生成する。【選択図】図４

Description

画像認識処理装置及びプログラムに関する。

従来から、投影装置により観測対象上に投影される、周期パターンからなる投影パターンを撮影装置により撮影し、投影パターンを含む入力画像から画像認識を行うデプスマップ等の技術が知られている。

例えば、投影装置により観測対象上に投影される、周期パターンからなる投影パターンを撮影装置により撮影し、投影パターンを含む入力画像から形状復元を行う画像処理方法において、投影装置より投影された投影パターンを撮影装置により撮影された入力画像から検出するステップと、検出された投影パターンの相対位相を検出するステップと、検出された投影パターンの絶対位相を、基準位置からの相対的な位相と、基準位置の絶対的な位相との和により表すと、複数の投影パターンの絶対位相により計算した奥行きが一致するという第１条件が検出された投影パターンの各画素について成立することに基づき基準位置の絶対的な位相を計算するステップとを備える発明が開示されている（例えば、特許文献１参照）。

特開２０１３−２４６５５号公報

デプスマップの構築においては、投影する先が平面の形状であれば問題無いが例えば斜面にドットを投影した場合、奥に投影されたドットほど変形が大きく輝度が下がってしまう。これにより、意図していたドット間距離が得られなくなり、ドット追跡が困難になってしまうという問題が生じていた。

従来はこれらの画像処理はゲーム機や、室内の装置で利用されることが多かった。しかし、近年は、ロボットや自動車といった多くの技術分野に利用されることになった。ゲーム機等の決められた環境で利用される場合と異なり、このように様々な環境で利用される場合には、より適切な画像認識が必要である。しかし、斜面等の様々な環境で用いられると、輝度の低下により適切に画像認識が出来ないという問題点が生じていた。

上述した課題を解決するために、本発明は、必要に応じた領域に応じて、ドットの形状又は輝度を変更することにより、より適切な画像認識が行うことが可能な画像認識処理装置を提供することを目的とする。

上述した課題に鑑み、本発明の画像認識処理装置は、
一の領域には第１のドットが、他の領域には第１のドットとは形状又は輝度が異なる第２のドットが配置された領域を有するドットパターンを生成するドットパターン生成部と、
前記ドットパターンに基づいてドットを投影するドットパターン投影部と、
前記ドットパターンを含む画像を撮影する撮影部と、
撮影された画像からドットを抽出し、各ドットの距離情報を算出する距離情報算出部と、
前記ドット毎の距離情報をまとめた距離マップを生成する距離マップ生成部と、
を備えることを特徴とする。

本発明の効果としては、一の領域には第１のドットが、他の領域には第１のドットとは形状又は輝度が異なる第２のドットが配置された領域を有するドットパターンを生成し、ドットパターンに基づいて投影されたドットを撮影することで、各ドットの距離情報を算出し、距離マップを生成する距離マップ生成する画像認識処理装置を提供することができる。

したがって、撮影する画像に応じたドットパターンが生成されることから、例えば奥行きがある画像を認識する場合には、奥行きに応じたドットを配置して投影することにより、適切なドットを撮影することが可能となり、画像認識を適切に行うことが出来る用になる。

第１実施形態における外観図である。 第１実施形態における機能構成を説明するための図である。 第１実施形態における動作について説明するための図である。 第１実施形態における処理の流れを説明するフロー図である。 第１実施形態における処理の流れを説明するフロー図である。 第１実施形態におけるドットパターンを説明するための図である。 第１実施形態における動作例を説明するための図である。 第２実施形態における処理の流れを説明するフロー図である。 第２実施形態におけるドットパターンを説明するための図である。 第３実施形態における処理の流れを説明するフロー図である。 第３実施形態におけるドットパターンを説明するための図である。 第４実施形態におけるドットパターンを説明するフロー図である。 第５実施形態における処理の流れを説明するフロー図である。 第５実施形態における動作例を説明するための図である。 第６実施形態における処理の流れを説明するフロー図である。

以下、図面を参照して本発明を実施するための最良の形態について説明する。なお、説明の都合上、実施形態を例に取って説明するが、表示操作が可能な装置であれば、何れの装置であっても適用可能なことは勿論である。

［１．第１実施形態］
本発明の画像認識処理装置を適用した実施形態について説明する。なお、本実施形態では、画像認識処理装置を、自律移動装置に適用した場合の例について説明する。

［１．１ 全体構成］
図１は、自律移動装置１を模式的に示した図である。自律移動装置１は、移動手段として、タイヤを有しており、前後左右に移動することが可能である。また、前面には画像認識手段としてＣＣＤ（Charge Coupled Device）等の手段が備えられており、自律移動装置１の前面について、各種画像解析、認識等を行うことができる。これにより、例えば障害物の有無等の認識を行うことが出来る。

［１．２ 機能構成］
続いて、図２を用いて、自律移動装置１の機能構成について説明する。自律移動装置１は、制御部１００と、投影部１１０と、撮影部１２０と、画像処理部１３０と、位置情報取得部１４０と、記憶部１５０と、移動制御部１６０とを備えて構成されている。

制御部１００は、自律移動装置１の全体を制御するための機能部である。制御部１００は、記憶部１５０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、例えばＣＰＵ（Central Process Unit）等により構成されている。

投影部１１０、撮影部１２０、画像処理部１３０は、画像を認識するために用いられる機能部である。

ここで、画像認識する仕組みについて、図３を用いて説明する。図３（ａ）は画像を認識している状態を示している図であり、図３（ｂ）は、画像を認識するためのドットパターンを模式的に示している図である。

すなわち、投影部１１０から、ドットパターンを投影する。ここで、投影部１１０から投影されるドットパターンは、不可視光線を用いることとするが、可視光線で行っても良い。

ドットパターンを対象物に向かって照射した後、その状態を撮影部１２０で撮影する。ここで、撮影部１２０としては、例えば、ＣＣＤ等を利用したカメラで構成されている。撮影された画像には、投影したドットパターンが写っていることとなる。

ここで、ドットパターンは、対象物の形状にしたがって、変化する。具体的には、各ドットパターンの輝度が変化することにより、各ドットパターンの変化を画像処理部１３０で判定することが可能となる。

判定されたドットパターンから、３Ｄ形状、距離情報を取得することが可能となる。すなわち、輝度が高いほど近くにあり、輝度が低いほど遠くにある。また、形状が変化すると、輝度が落ちることから、やはり遠くにあると認識することが可能となる。

位置情報取得部１４０は、現在の自律移動装置１の位置情報を取得するための手段である。例えば、ＧＰＳの受信装置を用いることで位置情報を取得しても良いし、無線により位置情報を管理しても良い。また、移動センサにより、現在自律移動装置１が移動した位置を判定することができる構成としてもよい。

記憶部１５０は、自律移動装置１の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部１５０は、例えば、半導体メモリや、ＨＤＤ（Hard Disk Drive）等により構成されている。

移動制御部１６０は、自律移動装置１の移動を制御する機能部である。例えば、モータ等の駆動装置を制御することにより、自律移動装置１の移動（前後左右の移動／停止）を制御する。

［１．３ 処理の流れ］
続いて、本実施形態における処理の流れについて説明する。図４は、ドットパターンから障害物や、路面形状等を認識するため処理を説明するためのフローである。

まず、ドットパターンとして、斜面ドットパターンを生成する（ステップＳ１０２）。ここで、斜面ドットパターンについては、後述する。

次に、生成されたドットパターンを投影し（ステップＳ１０４）、ドットパターンを含む画像を撮影する（ステップＳ１０６）。画像処理部１３０により、撮影された画像からドットを抽出し、各ドットにおける距離情報を算出する（ステップＳ１１０）。そして、算出された距離情報から、距離マップを作成する（ステップＳ１１２）。

ここで、距離情報は、ドット（パターン）の輝度によって算出する。すなわち、基準となる輝度を予め記憶しており、その基準となる輝度と、対象のドットの輝度とを比較することにより距離を算出することができる。

ステップＳ１０２において斜面ドットパターンが生成される処理ついて、図５を用いて説明する。

まず、初期設定、遠方領域設定が行われる（ステップＳ１５２）。初期設定としては、各種変数等を初期値にしたり、ドット配置をクリアしたりする処理である。本実施形態の場合、変数ｎの初期値を「１」とする。また、今まで使用しているドットパターンがあれば一度クリアにする。

また、併せて遠方領域を設定する。遠方領域は、認識する画像エリアの中でどの領域が遠方のエリアであるかを設定するものである。例えば、認識する画像エリアの中で上半分を遠方エリアとして設定する。

続いて、ドット位置を決定する（ステップＳ１５４）。決定されたドット位置が、遠方領域であれば、変形ドットが配置される（ステップＳ１５６；Ｙｅｓ→ステップＳ１６０）。また、遠方領域以外である場合には、通常のドットが配置される（ステップＳ１５６；Ｎｏ→ステップＳ１５８）。

このあと、ｎに１加算し（ステップＳ１６２）、ｎが総ドット数を超えるまで処理を繰り返す（ステップＳ１６４；Ｎｏ→ステップＳ１５４）。また、ｎが総ドット数を超えた場合には（ステップＳ１６４；Ｙｅｓ）、本処理を終了する。

［１．４ 動作例］
続いて、本実施形態における動作を説明する。図６は、領域Ｒ１００が遠方領域として設定されている場合のドットパターンを模式的に示した図である。領域Ｒ１００に含まれるドットは、縦方向に圧縮された（すなわち、横の楕円形）のドットの形状をしている。当該ドットパターンにて実際にドットを照射し、認識した場合の一例が図７である。

図７の場合は、奥行きがある場合の形状を認識している。すなわち、図６において設定された遠方領域の部分は、奥行きがあるため、本来であればドットが縦方向に間延びしてしまう領域である。これにより、ドットの明るさが暗くなってしまうという問題点も生じてしまう。

本実施形態では、遠方領域に含まれるドットは、照射するときから縦方向に圧縮されている。したがって、実際に照射された点は、縦方向に間延びした場合であっても、本来の円形に近い状態で照射される。したがって、正しい形状にて照射を行うことができ、ドット（形状）を正確に認識することが可能となる。

なお、本実施形態では、奥行きがある場合（例えば斜面等）を想定しているため、縦方向に圧縮されたドットパターンを配置しているが、例えば照射する形状によっては、横方向に圧縮させたとしても良い。この場合、例えば円柱の形状を認識する場合には、適切な照射を行うことができる。

［２．第２実施形態］
つづいて、第２実施形態について説明する。第２実施形態はドットの形状を変化させず、大きさを変化させた実施形態である。なお、第１実施形態と機能構成は同一であるため、その説明を省略する。

図８は第２実施形態における処理フローである。図８の処理フローは、第２実施形態置ける斜面ドットパターンの作成処理であり、図５のステップＳ１６０を、ステップＳ２５２に置き換えた処理である。

すなわち、遠方領域に配置されるドットを、変形ドットではなく小さいドットを配置する（ステップＳ２５２）。すなわち、図９に示すように、遠方領域Ｒ２００に配置されるドットを小さいドットを配置する。ドットの大きさが小さい場合、通常のドットと比較すると輝度が向上することになる。

この状態で、斜面等の奥行きがあるところに照射された場合、遠方領域のドットは間延びして照射されることになるが、もともと輝度が大きくなっていることから、適切な輝度となる。したがって、ドットが間延びしたとしても、ドットの判別がしやすくなるといった効果が得られることとなる。

［３．第３実施形態］
つづいて、第３実施形態ついて説明する。第３実施形態はドットの形状を変化させず、輝度を変化させた実施形態である。なお、第１実施形態と機能構成は同一であるため、その説明を省略する。

図１０は第３実施形態における処理フローである。図１０の処理フローは、第３実施形態置ける斜面ドットパターンの作成処理であり、図５のステップＳ１６０を、ステップＳ３５２に置き換えた処理である。

すなわち、遠方領域に配置されるドットを、変形ドットではなく輝度を上げたドットを配置する（ステップＳ３５２）。すなわち、図１１に示すように、遠方領域Ｒ３００に配置されるドットの輝度を、通常のドットと比較して大きく照射する。

この状態で、斜面等の奥行きがあるところに照射された場合、遠方領域のドットは間延びして照射されることになるが、もともと輝度が大きくなっていることから、適切な輝度となる。したがって、ドットが間延びしたとしても、ドットの判別がしやすくなるといった効果が得られることとなる。

［４．第４実施形態］
つづいて、第４実施形態について説明する。第４実施形態は複数の遠方領域を設定する場合について説明する。

例えば、図１２（ａ）に示すように、遠方領域Ｒ４００、遠方領域Ｒ４１０を設定する。そして、領域毎に斜面ドットパターンを作成する。これにより、認識する形状に応じて適切なドットを照射することができる。

ここで、各遠方領域には、任意の斜面ドットパターンを作成すれば良い。例えば、図１２（ａ）では、遠方領域Ｒ４００に第１実施形態が、遠方領域Ｒ４１０に第２実施形態の斜面ドットパターンが適用されている。

また、領域を複数設定することにより、領域毎にドットの変形割合、輝度の大きさを変更しても良い。

図１２（ｂ）は、遠方領域Ｒ４２０、Ｒ４３０、Ｒ４４０と設定されている。遠方と想定される領域の方に、より変形の割合が大きなドットが配置されている。すなわち、斜面の場合、領域Ｒ４２０の方が遠くなっている箇所にはより変形されたドットが配置され、領域Ｒ４３０、Ｒ４４０と近づくにつれて変形の割合が小さくなっている。

このように、複数の遠方領域を設定することにより、より適切なドットパターンを照射することが可能となる。

［５．第５実施形態］
つづいて、第５実施形態について説明する。第５実施形態は、斜面ドットパターンと、標準ドットパターンとを、位置情報に基づいて、例えば前方に斜面があるか否かによって切り替える処理である。第５実施形態は、第１実施形態の機能構成と同一であるため、その説明を省略する。

図１３は、第５実施形態における処理フローである。図１３の処理フローは、図４で示した第１実施形態の処理フローを置き換えたものである。なお、第１実施形態の処理フローと同一の処理については同一の符号を付すことにより、その説明を省略する。

ここで、第５実施形態においては、例えば、自律移動装置１は、移動する箇所の地図情報を記憶している。すなわち、地図情報に基づいて、自律移動装置１は定期的に巡回・移動を行っている。

このような場合、例えば、位置情報を検出する（ステップＳ４０２）。位置情報は、位置情報取得部１４０より取得し、現在どの位置にいるか検出する。検出された位置情報から、移動中の前方に斜面がある場合には（ステップＳ４０４；Ｙｅｓ）、斜面ドットパターンを選択する（ステップＳ４０６）。他方、前方が斜面で無ければ、標準ドットパターンを選択する（ステップＳ４０８）。

例えば、図１４に示すように、平面を移動中の場合は、標準ドットパターンが選択されている。ここで、位置情報により前方に斜面があると判定された場合には、斜面ドットパターンが選択されることとなる。

このように、本実施形態によれば、位置情報に基づいて複数のドットパターンを切り替えることが可能となる。なお、上述した実施形態では、斜面があるか否かによりドットパターンを切り替えているが、それ以外にも、単純に位置情報に併せて切り替える事としても良い。

例えば、位置（情報）と、使用するドットパターンを予め登録しておく。そして、登録された位置に自律移動装置１が近づいた場合に、使用するドットパターンが切り替わることとなる。これにより、例えば斜面だけでなく、障害物（電柱や、自動販売機、車止めといった固定物）や、建物の形状等に応じて、ドットパターンを切り替えることが可能となる。

［６．第６実施形態］
つづいて、第６実施形態について説明する。第６実施形態は、予め形状をプレスキャンを実行してから実行し、ドットパターンを設定する方式である。第６実施形態は、第１実施形態の機能構成と同一であるため、その説明を省略する。

図１５は、第６実施形態における処理フローである。図１５の処理フローは、図４で示した第１実施形態の処理フローを置き換えたものである。なお、第１実施形態の処理フローと同一の処理については同一の符号を付すことにより、その説明を省略する。

まずは、形状プレスキャンを実行する（ステップＳ５０２）。形状プレスキャンは、まず自律移動装置１の前方の形状を予め認識する処理である。例えば、予めレーダー波を出力可能な形状認識部を設け、レーダー波により、大方の形状を認識する事としても良い。また、標準ドットパターンによりまずは画像認識をすることにより、前方の形状を簡易的に認識することとしてもよい。

この形状プレスキャンにより、遠方状態となる領域がある場合には（ステップＳ５０４；Ｙｅｓ）、形状に基づく遠方状態のドットパターンを設定する（ステップＳ５０６）。他方、形状プレスキャンから遠方状態を認識出来なかった場合には、標準ドットパターンを設定する（ステップＳ５０４；Ｎｏ→ステップＳ５０８）。

このように、本実施形態によれば、予めプレスキャンを実行することにより、より適切な遠方状態を設定することができる。この遠方状態には、上述した実施形態のように複数設定しても良いし、複数のドット形状、輝度を用いても良い。

［７．第７実施形態］
つづいて、第７実施形態について説明する。第７実施形態は、領域毎に配置するドット数を変更する場合について説明する。

例えば、第１実施形態においては、遠方領域が設定されており（図６の遠方領域Ｒ１００）、当該領域のドットが変形されて配置されている。

ここで、変形することにより、隣接するドットと間隔が近くなりすぎる場合が想定される。この問題は、配置するドットが多ければ多い程生じる問題である。したがって、遠方領域Ｒ１００のドット配置を、標準のドットパターンで配置されるドット数より少ない配置する。

これにより、ドットの形状が変形されたとしても、他のドットと干渉することなくドットパターンが生成されることとなる。

［８．変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭやＨＤＤの記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。

ここで、プログラムを格納する記録媒体としては、半導体媒体（例えば、ＲＯＭや、不揮発性のメモリカード等）、光記録媒体・光磁気記録媒体（例えば、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、ＭＤ（Mini Disc）、ＣＤ（Compact Disc）、ＢＤ等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等の何れであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。

また、上述した実施形態における各装置の一部又は全部を典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現してもよい。各装置の各機能ブロックは個別にチップ化してもよいし、一部又は全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路又は汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能であることは勿論である。

１ 自律移動装置
１００ 制御部
１１０ 投影部
１２０ 撮影部
１３０ 画像処理部
１４０ 位置情報取得部
１５０ 記憶部
１６０ 移動制御部

Claims (7)

1. 一の領域には第１のドットが、他の領域には第１のドットとは形状又は輝度が異なる第２のドットが配置された領域を有するドットパターンを生成するドットパターン生成部と、
   前記ドットパターンに基づいてドットを投影するドットパターン投影部と、
   前記ドットパターンを含む画像を撮影する撮影部と、
   撮影された画像からドットを抽出し、各ドットの距離情報を算出する距離情報算出部と、
   前記ドット毎の距離情報をまとめた距離マップを生成する距離マップ生成部と、
   を備えることを特徴とする画像認識処理装置。
2. 前記ドットパターン生成部は、第２のドットとして、第１のドットと比較して、楕円形に変形したドットを配置することを特徴とする請求項１に記載の画像認識処理装置。
3. 前記ドットパターン生成部は、第２のドットとして、第１のドットと比較して、小さいドットを配置することを特徴とする請求項１に記載の画像認識処理装置。
4. 前記ドットパターン生成部は、第２のドットとして、第１のドットと比較して輝度の大きいドットを配置することを特徴とする請求項１に記載の画像認識処理装置。
5. 前記ドットパターン生成部は、複数の領域を有しており、
   他の領域に配置されるドットは、領域毎に一の領域と形状又は輝度が異なるドットが配置されることを特徴とする請求項１から４の何れか一項に記載の画像認識処理装置。
6. 第１のドットのみが配置された標準ドットパターンを更に有しており、
   前記ドットパターン生成部により生成されたドットパターンと、前記標準ドットパターンとを切り替える制御を行う切替制御部を更に有することを特徴とする請求項１から５の何れか一項に記載の画像認識処理装置。
7. 一の領域には第１のドットが、他の領域には第１のドットとは形状又は輝度が異なる第２のドットが配置された領域を有するドットパターンを生成するドットパターン生成ステップと、
   前記ドットパターンに基づいてドットを投影するドットパターン投影ステップと、
   前記ドットパターンを含む画像を撮影する撮影ステップと、
   撮影された画像からドットを抽出し、各ドットの距離情報を算出する距離情報算出ステップと、
   前記ドット毎の距離情報をまとめた距離マップを生成する距離マップ生成ステップと、
   をコンピュータに実行させるためのプログラム。

Images