JP6993282B2 - 情報端末装置、プログラム及び方法 - Google Patents

Description

本発明は、端末間において情報取得を効率的に実現することが可能な情報端末装置、プログラム及び方法に関する。

端末間で位置情報やユーザ情報等の情報を取得したり共有したりする従来技術の例として、特許文献１や２の技術がある。特許文献１では、ユーザが保持する端末が、所定の範囲内に存在する他の端末と通信を行うことで、同じ場を共有している他のユーザを認識する手法が開示されている。特許文献２では、移動可能な対象に関する情報を共有する手法が開示されている。

特開2016-225742号公報 特開2017-72874号公報

しかしながら、以上のような従来技術は、端末間での情報の共有や取得を必ずしも効率的に実現できないという課題があった。

特許文献１では、端末を介して場を共有する他ユーザを認識できても、他ユーザの位置（他の端末の位置）が特定できないという問題がある。特に、自端末以外に複数の端末が所定範囲内に存在する場合は、存在を検知できても対応関係（複数端末のどれがどのユーザに該当するかの対応関係）が不明であるという問題がある。特許文献２では、車両周囲に存在する対象に関するテキスト情報を車両内のマイクから取得される音声情報から抽出し、識別された対象とその対象に関するテキスト情報とを対応づけた対象情報を出力することで、上記問題の一部を解決できる。しかし、抽出可能なテキスト情報は車両内マイクで取得される発話内容に依存するため、対象を特定できるキーワードが発声されなければ解決できないという問題がある。

上記従来技術の課題に鑑み、本発明は、端末間において情報取得を効率的に実現することが可能な情報端末装置、プログラム及び方法を提供することを目的とする。

上記目的を達成するため、本発明は、情報端末装置であって、フィールドの撮像を行って画像を得る撮像部と、自身の位置情報を取得する測位部と、１つ以上の他端末からそれぞれ得られる他端末に紐づいた対象の位置情報と、前記自身の位置情報と、に基づき、認識されうる他端末に紐づいた対象を特定する特定部と、前記画像より、前記特定された他端末に紐づいた対象を、当該他端末から得られる当該他端末の対象に紐づいた対象の対象情報を用いて認識する認識部と、を備えることを特徴とする。また、当該情報端末装置に対応するプログラムであることを特徴とする。さらに、複数の端末によって実行される方法であって、各端末においてフィールドの撮像を行って画像を得ると共に自身に紐づいた対象の位置情報を取得するステップと、各端末が前記取得した自身に紐づいた対象の位置情報と、自身に紐づいた対象を認識するための対象情報と、を他端末と共有するステップと、各端末が前記共有された位置情報に基づいて、自身で前記撮像した画像に含まれうる他端末に紐づいた対象を特定し、当該特定された他端末に紐づいた対象を当該画像から前記共有された対象情報に基づいて認識するステップと、を備えることを特徴とする。

本発明によれば、端末間で位置情報及び対象情報を共有し、自端末において撮像した画像から当該共有された位置情報及び対象情報に基づいて対象を認識することにより、効率的に情報（対象の認識結果）を得ることができる。

一実施形態に係る情報共有システムの構成図である。 一実施形態に係る情報端末装置の機能ブロック図である。 一実施形態に係る情報端末装置の動作のフローチャートである。 図３のステップS2における情報更新のための情報の送受信の構成の各実施形態を示す図である。 共有情報を表形式で示したものである。 特定部の第一及び第二実施形態を模式的に示す図である。 認識部において画像内の認識範囲を限定する模式例を示す図である。 対象が特定されるが遮蔽によって認識されない状況の模式例を示す図である。 提示部で生成する提示情報の模式例を２つ示す図である。

図１は、一実施形態に係る情報共有システムの構成図である。情報共有システム100は、市街地あるいは屋内といったようなフィールド（実世界）F内で移動しうる複数の情報端末装置10-1,10-2,10-3を備えて構成されている。図１では当該複数の例として３つの情報端末装置10-1,10-2,10-3が示されているが、当該複数の具体的な値は任意のものでよい。情報端末装置10-1,10-2,10-3の各々は、例えば人物等である対象OB1,OB2,OB3にそれぞれ携帯され、当該対象と共に移動可能となっている。

図１では、情報端末装置10-1,10-2,10-3はヘッドマウントディスプレイ（HMD）と共に構成された装置であり、これと共に移動する対象としては当該HMDを装着した人物である場合を一例として模式的に示しているが、当該対象及び情報端末装置は共に移動しうる任意のものであってよい。例えば対象は移動しうるロボットや車両等であってもよく、当該ロボットや車両等に情報端末装置10-1,10-2,10-3が備わっている、あるいは搭載されていることも可能である。（また、情報端末装置10-1,10-2,10-3それ自体が対象OB1,OB2,OB3に該当するものであってもよい。）

図２を参照してその詳細を後述するように、複数の情報端末装置10-1,10-2,10-3の各々の機能構成は互いに共通であり、情報共有システム100内において共通の動作を各々が取ることにより、自端末の立場から見た際の他端末の位置を画像上において認識すると共に、当該認識結果に基づいた拡張現実表示等の情報提示を行うことが可能である。例えば、情報端末装置10-1を自端末（自身や自分の端末）とする場合、人物OB1（当該自端末のユーザ）はHMDとしての情報端末装置10-1によって図１に画角として模式的に示される範囲R1を画像P1（不図示）として撮像し、当該範囲R1内にある他端末（他者や他人の端末）としての情報端末装置10-2,10-3に対応する人物OB2,OB3の検出を当該撮像した画像P1において試み、検出結果に応じた拡張現実表示等を自端末としての情報端末装置10-1において実施することができる。同様に、自端末としての情報端末装置10-2では範囲R2を撮像して画像P2（不図示）を取得し、他端末10-3,10-1に対応する人物OB3,OB1の検出を試みて当該検出結果に応じた拡張現実表示等を実施できる。同様に、自端末としての情報端末装置10-3では範囲R3を撮像して画像P3（不図示）を取得し、他端末10-1,10-2に対応する人物OB1,OB2の検出を試みて当該検出結果に応じた拡張現実表示等を実施できる。

以上のように、図１の情報端末装置10-1,10-2,10-3の各々は自端末で撮像した画像より他端末に対応する対象（他人）の検出（認識）を試み、検出結果に応じた拡張現実表示等を実現できる。当該実現のため、情報端末装置10-1,10-2,10-3の各々は相互に通信して情報を授受し、リアルタイムでの情報共有が可能なように構成されている。（共有する情報の詳細は図２～図４等を参照して後述する。）当該相互の通信を実現する一実施形態として、図１に双方向矢印線L12,L23,L13で模式的に示されるように、情報端末装置10-1,10-2,10-3はアドホック通信を行うことができる。例えば線L12はアドホック通信における情報端末装置10-1,10-2間での通信を表しており、その他の線L23,L13も同様に装置10-2,10-3間と装置10-1,10-3間の通信を表している。

また、別の一実施形態では情報端末装置10-1,10-2,10-3の各々は相互に直接には通信しないものの、検出による拡張現実表示等を可能とするためのリアルタイムでの情報共有を実現するために、情報共有システム100がオプション構成としての情報共有装置20をさらに備えていてもよい。すなわち、図１に双方向矢印線L1N,L2N,L3Nとしてそれぞれ示すように、ネットワークN上にあるサーバとしての情報共有装置20と情報端末装置10-1,10-2,10-3のそれぞれとが通信可能となっていてもよい。こうして、情報共有装置20では情報端末装置10-1,10-2,10-3の各々から得られる情報を集計して、情報端末装置10-1,10-2,10-3のそれぞれへと当該集計された情報を送信することで、各装置10-1,10-2,10-3における情報共有が可能となる。

図２は、一実施形態に係る「情報端末装置10」の機能ブロック図である。ここで、「情報端末装置10」とは、図１で説明したような情報共有システム100を構成している複数の情報端末装置10-1,10-2,10-3等のうちの任意の１つを表すものとする。換言すれば、複数の情報端末装置10-1,10-2,10-3等の機能構成は全て共通であり、図２に情報端末装置10として示されるような機能構成を有するものとする。図示する通り、情報端末装置10は、撮像部1、測位部2、設定部3、特定部4、認識部5、提示部6、送信部7及び受信部8を備える。

図３は、一実施形態に係る情報端末装置10の動作のフローチャートである。なお、図３のフローチャートに示す動作は、情報端末装置10が各時刻t=1,2,3…において図１で説明したようなフィールドF内の撮像を行い時刻tの画像P(t)を得て、当該画像P(t)から他端末の対象を認識し、認識結果に応じた提示情報D(t)を出力することを繰り返すものである。

ここで、当該図３の動作を可能とするための情報端末装置10における事前設定の処理（従って、当該事前設定の処理は図３には含まれていない）を担うのが設定部3である。設定部3は、自端末としての情報端末装置10の対象情報及び付加情報の設定を、ユーザ入力等を受け付けることによって取得し、当該設定された自端末の対象情報及び付加情報を送信部7へと出力する。

このように設定部3で事前設定を行っておく前提のもと、以下、図３のフローの各ステップを説明しながら、図２の情報端末装置10の各部の機能概要を説明することとする。当該フローの説明においては変数「t=1,2,3,…」を、時刻を表すものとして用い、現時刻を時刻tとして説明することとする。

ステップS1では、現時刻tの画像P(t)及び位置情報pos(t)をそれぞれ撮像部1及び測位部2が取得したうえで、ステップS2へと進む。

ここで、撮像部1はフィールドF（図１参照）の撮像を行い画像P(t)を得て、図２中に線L5及びL6として示されるように認識部5及び提示部6へと当該画像P(t)を出力する。実施形態によっては提示部6への画像P(t)の出力は省略されてもよい。またここで、測位部2は自端末としての情報端末装置10の位置情報pos(t)（認識部5において後述するように当該位置pos(t)は自端末に紐づいた対象の位置でもある）を取得して、当該位置情報pos(t)を特定部4及び送信部7へと出力する。一実施形態では測位部2は位置情報pos(t)に加えてさらに、現時刻tの情報端末装置10の方位情報d(t)（詳細を後述するように、より正確には撮像部1の撮像する向きとしての方位情報d(t)）も取得するようにしてもよい。

ステップS2では、現時刻tの自端末情報及び他端末情報を、送信部7及び受信部8によって最新のものへと更新したうえで、ステップS3へと進む。当該更新とは、図１で説明した情報共有システム100内での情報共有を現時刻tにおける最新のものとして実現するものである。

具体的にステップS2では、ステップS1で測位部2から得た自端末の位置情報pos(t)と、設定部3にて事前設定として取得されている自端末の対象情報及び付加情報と、を送信部7が他端末に通知すべく送信すると共に、同様の送信（自身の位置情報、対象情報及び付加情報の送信）を行っている他端末からの情報を受信部8において受信することにより、当該更新を行う。

図４は、ステップS2における情報更新のための情報の送受信の構成の各実施形態を示す図であり、[1]は図１で説明したアドホック通信の場合の構成を、[2]は図１で説明したサーバとしての情報共有装置20を利用する場合の構成を、それぞれ示している。

図４にて[1]では、アドホック通信における任意の2端末間での情報送受信が示されており、線L1で示すように第一情報端末装置10-1の第一送信部7-1から第二情報端末装置10-2の第二受信部8-2へと、第一情報端末装置10-1の位置情報、対象情報及び付加情報が送信されると共に、同様にして線L2で示すように第二情報端末装置10-2の第二送信部7-2から第一情報端末装置10-1の第一受信部8-1へと、第二情報端末装置10-2の位置情報、対象情報及び付加情報が送信される。こうして任意の2端末としての第一情報端末装置10-1及び第二情報端末装置10-2の間で情報（位置情報、対象情報及び付加情報）が共有されることとなる。

なお、明らかなように第一情報端末装置10-1及び第二情報端末装置10-2は共に図２の情報端末装置10の構成を有しており、第一送信部7-1及び第二送信部7-2は図２の送信部7を端末区別を設けて示したものであり、第一受信部8-1及び第二受信部8-2は図２の受信部8を端末区別を設けて示したものである。

また、図４にて[2]はサーバとしての情報共有装置20を用いる場合の例であり、情報端末装置20は情報共有を実現するための構成として共有受信集計部21及び共有送信部22を備える。図示されるように、各々の情報端末装置10において送信部7から共有受信集計部21へと自端末の情報（位置情報、対象情報及び付加情報）を送信することにより、共有受信集計部21では情報共有システム100内の全ての情報端末装置10の情報を集計し、共有送信部22へと出力する。共有送信部22では当該集計された情報を各々の情報端末装置10の受信部8へと送信することにより、各々の情報端末装置10において情報共有システム100内の全端末の情報を取得することが可能となる。ここで、共有送信部22から各々の情報端末装置10の受信部8へと当該集計された情報を送信するに際しては、全ての情報（全端末の情報）を送信するのではなく、位置情報を参照することによって当該情報端末装置10の近傍に存在すると判定される他の情報端末装置10に関する情報のみを送信するようにしてもよい。当該送信する情報を限定することにより情報共有の負荷を低減することが可能である。なお、当該近傍の判定に関しては、後述する特定部4によって対応する対象が特定される他の情報端末装置10は少なくとも近傍として含むような判定を行うように、（すなわち、特定部4により特定されるべき対象が近傍から除外されないように、）距離の閾値などを予め設定しておけばよい。

以上、ステップS2では図４に示すような各実施形態によって、情報端末装置10の各々において、自身及びその他の全ての他端末に関する当該時刻tでの情報SH(t)を共有することが可能となる。図５は、当該共有される情報SH(t)を表形式で示したものである。ここでは、情報端末装置10を区別する端末ID（識別子）をID-k(k=1,2, …, N)としており、示される通り、情報SH(t)を参照することでID-kで指定される任意の端末に関してその位置情報pos(k,t)、対象情報obj(k)及び付加情報pr(k)を知ることができる。なお、各端末には予め対象情報obj(k)の対象が予め紐づけられているので、端末IDは同時に対象IDでもある。

ここで、一実施形態では図５に示されるように、識別子ID-kで指定される任意の端末に関して、その対象情報obj(k)及び付加情報pr(k)は時刻tに依存しない（時刻tが変わっても変化しない）ものとして、設定部3において予め設定しておくことができる。当該時刻tに依存しない場合、対象情報obj(k)及び付加情報pr(k)はある時刻t0において一度、送信部7から他端末へと送信して共有されるようにすることで、その後の時刻t1（t1>t0）では送信部7からの送信を省略するようにしてよい。また、別の一実施形態では図５に示されるものとは異なり、対象情報「obj(k,t)」及び付加情報「pr(k,t)」として、ID-kで指定される端末において現時刻tに依存する情報を設定部3に予め設定しておき、ステップS1で常に送信部7から他端末へと送信するようにしてもよい。

なお、位置情報の変数表記に関して、説明上の文脈に応じて次のように使い分けるものとする。（１）pos(t)と表記される場合は、当該文脈における自端末の時刻tの位置情報を意味するものとする。（２）例えば図５に示されるようにpos(k,t)と表記される場合は、当該文脈において自端末がいずれであるかは必ずしも定まっておらず、識別子ID-kで指定される端末（情報端末装置10）における時刻tの位置情報を意味するものとする。

また、その他の情報の変数表記においても位置情報に関する上記（１）、（２）と同様の使い分けを行うものとする。例えば方位情報d(t)は自端末（文脈上明らか）の時刻tの位置情報であり、方位情報d(k,t)は識別子ID-kで指定される端末（情報端末装置10）における時刻tの方位情報を意味するものとする。

図３の各ステップの説明へと戻り、ステップS3では、特定部4、認識部5及び提示部6がこの順番で以下の各処理（１）～（３）を現時刻tにおいて行ってから、ステップS4へと進む。

（１）特定部4が、測位部2で得られる自端末の位置情報pos(t)と受信部8で得られる他端末の位置情報とに少なくとも基づき、画像P(t)より次の認識部5で認識される候補となる他端末の対象を特定して、当該特定結果を認識部5へと出力する。

（２）認識部5が、受信部8で得られる他端末の対象情報を認識のためのリファレンスとして用いて、特定部4によって候補として特定された他端末の対象（一般に複数となりうる）を、撮像部1で得た画像P(t)内から認識することを試み、認識結果を提示部6へと出力する。

（３）提示部6が、認識部5での認識結果において認識に成功したと判定された他端末の付加情報を受信部8から読み込み、現時刻tでの提示情報D(t)を生成する。当該生成の際、撮像部1で得た画像P(t)を用いて、他端末の対象に関する付加情報（ここでは画像形式）を画像P(t)に重畳したものとして提示情報D(t)を生成してもよい。

ステップS4では、時刻tを次の時刻t+1へと更新してからステップS1へ戻り、以上説明した処理を繰り返す。こうして、リアルタイムでの各時刻t=1,2,3,…に関してステップS1,S2,S3の処理がそれぞれ繰り返し実行されることにより、時刻tでの画像P(t)に撮像されている他端末の対象に応じた提示情報D(t)の生成を、情報端末装置10においてリアルタイムで継続することが可能となる。

なお、ステップS4での時刻tの次の時刻t+1への更新は、情報端末装置10による提示情報D(t)の生成の処理レートを定めるものとなるので、当該更新間隔は当該処理レートに対応する所定のものとして予め設定しておけばよい。例えば、提示情報D(t)を各時刻tの画像すなわち映像として出力する実施形態の場合であれば、更新間隔は当該映像のフレームレートとして設定しておけばよい。

以上、図３のフローの各ステップを説明しながら図２の情報端末装置10の各部の処理を概略的に説明した。以下さらに、当該各部の処理の詳細をステップS1,S3に関連するものに関して説明する。

＜撮像部1＞
撮像部1は、風景（フィールドF）を撮像して得られた現時刻tの画像P(t)を認識部5（及び実施形態によってはさらに提示部6）へ出力する。画像P(t)には他の端末を具備する等により他の端末と共に移動可能となっている対象（認識部5で認識されるべき対象）が含まれることがある。当該対象は任意のものであってよく、例えば、人物や自動車等であってよいが、図３のフローの前提事項として説明したように、対応する端末（情報端末装置10）の設定部3においてその対象情報を予め登録しておくものとする。撮像部1を実現するハードウェアとしては、携帯端末に標準装備されることの多いデジタルカメラを用いることができる。

＜測位部2＞
測位部2は、自端末（情報端末装置10）の場所を計測し位置情報pos(t)として特定部4へ出力する。場所の計測には、任意の既存手法を用いてよく、例えばGPS（全地球測位システム）や電波、音波等を用いた測位技術、あるいはSLAM（Simultaneous Localization and Mapping；自己位置推定と環境地図作成とを同時に行うことが可能）や慣性航法等による位置推定技術を利用できる。

ここで、取得される位置情報pos(t)の精度を向上させる一実施形態として、端末間（各々の情報端末装置10間）の相対座標を求めるための信号としての位置情報pos(t)を測位部2で取得するようにしてもよい。この場合、受信部8（アドホック通信の場合）や共有受信集計部21（サーバとしての情報共有装置20を用いる場合）において各端末からの相対座標を求めるための情報としての位置情報pos(t)を集計して、実際の相対座標としての位置情報pos(t)を算出するようにすればよい。相対座標を求めるための信号としては例えば、GPSの干渉測位に必要な搬送波等を利用でき、相対座標の算出も既存手法を用いればよい。

一実施形態にて測位部2ではさらに、後述の処理対象を限定するため、位置情報pos(t)のみではなく、撮像部1が撮像する範囲を限定できるように撮像部1の向き（カメラ方向）を表す方位情報d(t)も取得するようにしてもよい。

一実施形態にて測位部2は、位置情報pos(t)及び方位情報d(t)のそれぞれに関して、変化があったと判定される場合のみ当該変化した値を出力するようにしてもよい。こうして、ステップS2における情報更新にかかるコストを省略することが可能となる。この場合、送信部7では、測位部2において位置情報pos(t)等に変化がないと判定されている間には、当該情報を送信しないようにしてもよいし、変化がない旨を表すフラグ情報（位置情報pos(t)等よりもデータ量が小さい等により送受信コストが低いフラグ情報）を送信するようにしてもよい。同様にして、受信部8においては、他端末や情報共有装置20から位置情報pos(k,t)等の新たな送信がない、または当該フラグ情報が送信されている間は他端末の位置情報pos(k,t)等が変化していないものと判断して共有情報SH(t)における当該位置情報pos(k,t)の具体的な値を過去の値から書き換えることなく、当該共有情報SH(t)が最新のものとして更新されているものとして管理することができる。当該書き換えを省略することにより、共有情報SH(t)の管理更新の負荷を低減することが可能となる。

＜特定部4＞
特定部4では、受信部8で得られている共有情報SH(t)における各端末の位置情報pos(k,t)（及び実施形態によってはさらに方位情報d(k,t)）に基づき、自端末（自身の情報端末装置10）における撮像部1の撮像範囲に入りうることで次の認識部5によって認識されうる他端末の対象を特定し、当該特定結果を認識部5へと出力する。

第一実施形態では、各端末の位置情報pos(k,t)のみを用いて、認識部5によって認識されうる他端末の対象を決定してよい。例えば、自端末と他端末との位置情報を比較して、距離が所定値以下となるような他端末を特定するようにしてよい。また、第二実施形態ではさらに、各端末の位置情報pos(k,t)及び自端末の方位情報d(t)に基づき、自端末の位置pos(t)から（撮像部1のカメラによって）当該方位情報d(t)の方を見ることによって定まる所定の撮像範囲内に位置している他端末を特定するようにしてよい。

図６は、当該第一実施形態及び第二実施形態を模式的に説明するための図である。[1]では第一実施形態が示され、識別子ID-1,ID-2,ID-3で指定される３つの端末同士はそのフィールドF内での位置pos(1,t), pos(2,t), pos(3,t)が互いに近いと判定されるものであるため、それぞれが認識しうる他端末であるものとして特定される。例えば、識別子ID-1の端末では識別子ID-2及びID-3の２つの他端末を認識しうる他端末として特定する。（ここで、その他の例えば識別子ID-4の他端末（図６にてその位置情報は不図示）は距離が遠いため、認識しうる他端末ではないものと判定される。）

また、図６の[2]では第二実施形態が示され、[1]の場合の距離に加えてさらに方位に基づく特定がなされる例となっている。ここで、識別子ID-1,ID-2,ID-3で指定される３つの端末におけるカメラ方向を考慮した所定の撮像範囲が範囲R(1,t),R(2,t),R(3,t)として示されている。当該範囲は撮像部1を構成するカメラの画角などを考慮して所定範囲として各端末において設定しておけばよく、図６では模式例として平面的な範囲内における三角形状の範囲として示されているが、空間範囲としても同様に例えば錐体（四角錐）の範囲として定めておくことができる。[2]の第二実施形態の例では、識別子ID-1の端末は第一実施形態と同様に識別子ID-2及びID-3の２つの他端末が認識しうるものとして特定されるが、識別子ID-2の端末は識別子ID-3の端末のみが認識しうるものとなり、識別子ID-3の端末では認識しうる他端末は存在しないという結果となる。

特定部4では以上のようにして、次の認識部5で画像P(t)から認識する対象を情報共有システム100内の全ての他端末における対象の中から予め絞り込むことにより、情報端末装置10の処理負荷を低減することに寄与する。

＜認識部5（及びこれが用いる対象情報に関して）＞
認識部5では、特定部4が上記のように特定した他端末（識別子ID-kで識別される他端末とする）に対応する対象の対象情報obj(k)を受信部8の共有情報SH(t)から読み込み、当該対象情報を認識処理のためのリファレンス情報として利用することにより、撮像部1で得た撮像画像P(t)から対象を認識し、認識結果を提示部6へと出力する。ここで、特定された他端末が複数あれば、対応する複数の対象のそれぞれについて認識部5では認識を試みる。

認識部5における認識処理に関しては任意の既存手法を利用してよく、以下のような各実施形態が可能である。

一実施形態では、対象情報obj(k)を設定部3において予め対象の特徴量（リファレンス特徴量）として与えておくことにより、認識部5では画像P(t)から特徴量を抽出して、リファレンス特徴量と一致すると判定される場合に認識に成功したとの結果を得るようにしてよい。ここで、画像より抽出する特徴量として例えば既存手法のSIFT特徴量などを用いてよい。

一実施形態では、対象情報obj(k)を設定部3において予め対象のカテゴリとして与えておくことにより、既存手法である深層学習による画像認識によって認識部5は認識処理を行うようにしてよい。例えば、「人」や「自動車」あるいはその車種等、端末（情報端末装置10）を具備した対象をカテゴリで表現して与えておく。この場合、対象情報が事前知識として与えられるため探索空間が限定され高精度な認識が可能になるメリットがある。例えば、「人」というカテゴリが与えられている場合、「人」か「人以外」の2クラス識別問題になるため、膨大なカテゴリからの識別（事前知識を与えない場合の識別）と比較して高精度化が期待できる。

当該カテゴリとして対象情報obj(k)を与えておく実施形態ではさらに、上記のような固定的なカテゴリのみではなく可変的な状態を表す情報としてのカテゴリをも含めて対象情報を与えておくことにより、同様に該当する状態の対象に探索空間を限定することができる。ここで、状態の例としては、測位部2での位置情報pos(t)から推定される速度や方位d(t)、画像P(t)から推定される対象状態や自己動作等を利用でき、設定部3においては当該時刻tに応じて変化する状態も含んだ対象情報obj(k,t)（ここでは自端末が識別子ID-kで識別されるものとする）を取得したうえで送信部7から送信することにより、共有情報SH(t)において当該可変状態をも含む対象情報obj(k,t)を情報共有システム100内で共有するようにすればよい。例えば、固定カテゴリの「30代男性」以外に可変状態としての「歩行中か否か」及び「当該歩行（移動）の向き」を対象情報obj(k,t)に含めることによって、自端末から見て「歩行中の右向きの30代男性」か「歩行中の右向きの30代男性以外」といった2クラス識別問題になり膨大なカテゴリからの識別と比較して高精度化が期待できる。

上記の可変状態のその他の例として、情報端末装置10に各種センサが搭載されている場合、センサ値を可変状態に含める（設定部3において対象情報obj(k,t)を構成するカテゴリとして取得するようにする）ことで、探索空間をさらに限定することができる。例えば、情報端末装置10が車載装置である場合に、ライトを点灯しているか否か等の状態を対象情報に含めることで、探索空間が更に限定され高精度な認識が可能になるメリットがある。

以上、認識部5の認識処理の各実施形態（特徴量を用いるものとカテゴリを用いるもの）を説明した。当該認識処理の高速化に関して以下のような実施形態が可能である。

一実施形態では、測位部2で得る位置情報pos(t)の精度が十分に確保されている前提で、高速化のため自他の測位情報から相対座標を算出し、画像P(t)において認識処理の適用範囲を限定しても良い。

図７は当該限定する模式例を示す図であり、[1]では自端末が識別子ID-1で識別されるものであり画像P(t)を取得しており、特定部4にて認識候補として特定された識別子ID-k（k≠1）の他端末の対象が撮像されている状況を表している。[1]に示すように、識別子ID-kの対象の位置情報pos(k,t)と自端末の位置情報pos(1,t)（撮像部1のカメラ位置に相当）とは共に、世界座標系(x,y,z)での値として共有情報SH(t)内に与えられているので、自端末の位置pos(1,t)を基準とした他端末の対象の位置pos(k,t)を相対位置として得ることができる。さらに、対象の当該相対的な位置pos(k,t)（(x,y,z)で表現したもの）を、撮像部1のカメラに関して既知のキャリブレーション情報に基づいて、対応する自端末の画像P(t)の画像座標(u,v)へと変換することが可能である。換言すれば、世界座標系(x,y,z)で与えられている他端末の対象の位置pos(k,t)を、自端末の画像P(t)の画像座標(u,v)へと投影することが可能である。そしてさらに[2]に示すように、当該投影された対象の位置pos(k,t)の画像P(t)内での近傍範囲RP(k,t)に限定して、当該対象の認識処理を実施することができる。近傍範囲RP(k,t)への認識処理の限定により、画像P(t)全体を認識対象とする場合よりも処理の高速化を図ることが可能である。

また、認識部5で画像P(t)内から複数の対象を認識する場合の実施形態として次が可能である。認識部5では、特定部4から候補として得られた対象のそれぞれにつき、原則的には画像P(t)内で最もマッチする（例えば特徴量を用いる認識であれば特徴量同士の距離が最も小さい）対象を認識結果とすればよい。（なお、最もマッチするもののマッチ度合い（特徴量の場合の距離など）が閾値判定で小さい場合には、認識できなかったという結果を得る。）しかしながらこの場合、特定部4から候補として得られた２つ以上の対象が、画像P(t)内の１つの対象に該当するものとして、認識結果が重複してしまう場合もありうる。当該重複を解消するためには、最もマッチするもの以外も含む上位所定数の認識結果も候補として残したうえで、共有情報SH(t)における位置情報を参照することにより各対象の画像上の位置(u,v)（位置pos(t)を投影したものとしての画像上の位置、「投影位置」とする）を図７の説明と同様にして求めたうえで、当該投影位置(u,v)_[投影]と、画像P(t)上の認識結果としての位置(u,v)_[認識]と、の間の距離の総和（Σ|(u,v)_[投影]- (u,v)_[認識]|）が最小となるような組み合わせを選択するようにすればよい。

なお、上記距離の総和が最小となる組み合わせを選択する実施形態は、最もマッチする対象が重複する場合に限らず、常に適用するようにしてもよい。こうして、画像P(t)上の認識処理による複数の対象の認識において、空間的な位置の整合も考慮した最適な認識結果を得るようにすることができる。

＜提示部6（及びこれが用いる付加情報に関して）＞
提示部6では、以上の認識部5で画像P(t)内から認識に成功した対象（当該対象の識別子をID-kとする）に関して、対応する付加情報pr(k)を受信部8の共有情報SH(t)から読み込み、当該対象に関して認識された画像P(t)内の位置(u,v)に対応する位置に付加情報pr(k)を重畳して表示したものとして、提示情報D(t)を生成する。ここで、認識に成功した対象が複数あれば、それぞれの付加情報pr(k)を用いて提示情報D(t)を生成する。提示部6は当該生成した提示情報D(t)を表示するためのディスプレイとして構成されていてもよい。

付加情報pr(k)に関しては、用途に応じて当該対象に重畳させたい任意の情報として予め用意しておき、設定部3において設定しておけばよい。例えば、開示したいコメントや属性情報等（例えば対象が人物であれば名前、所属組織など）を利用でき、開示範囲を端末ごとに任意に設定できるようになっていてもよい。

一実施形態ではさらに、認識部5では認識されなかったが特定部4では候補として特定された対象（当該対象の識別子をID-kとする）に関しても、対応する付加情報pr(k)を受信部8の共有情報SH(t)から読み込み、当該対象が存在することが想定される画像P(t)内の位置(u,v)に対応する位置に付加情報pr(k)を重畳して表示したものとして、提示情報D(t)を生成するようにしてもよい。ここで、当該対象が存在することが想定される画像P(t)内の位置(u,v)は、受信部8での共有情報SH(t)における位置pos(k,t)（世界座標系(x,y,z)の位置）を画像P(t)へと投影した位置とすればよい。投影に関しては図７で説明したのと同様である。当該特定されたが認識されなかった対象に関しては、付加情報pr(k)を重畳する態様を、特定され且つ認識された場合とは異なるものとしてよい。当該異なるものとするため、付加情報pr(k)は設定部3において予め、認識された場合の内容と認識されなかった場合の内容とを区別して用意しておけばよい。

なお、特定されたが認識されなかった対象は、遮蔽物によって遮蔽されている等の状況にあることが想定されるものである。図８に特定されるが遮蔽によって認識されない状況の模式例を示す。ここでは、図６の[2]に示すのと同じ状況にさらに壁などの遮蔽物Wが追加で存在している場合の例が示されている。図６の[2]では、識別子ID-1の端末からは範囲R(1,t)内にある識別子ID-2,ID-3の２つの他端末の対象が認識されうる状況にあり、図８もこれと同様の状況にあるが、図８では遮蔽物Wによって識別子ID-2の対象が遮蔽され画像P(t)に撮像されないため、実際には認識不可能となっている。

図９は、提示部6が生成する提示情報D(t)の模式例を２つ示す図である。[1]の画像P(t)は図６の[2]の識別子ID-1の端末が撮像した画像の例であり、識別子ID-2,ID-3の２つの他端末の対象OB2,OB3の両方が撮像されている。この場合、画像P(t)に付加情報pr(2)及びpr(3)（当該付加情報は人物である対象OB2,OB3の名前表示として構成されている）を重畳したものとして、[2]に示すような提示情報D(t)を生成することができる。一方、[3]の画像P(t)は図８の識別子ID-1の端末が撮像した画像の例であり、識別子ID-2,ID-3の２つの他端末の対象OB2,OB3のうち対象OB2が壁などの遮蔽物Wにより遮蔽され、撮像されていない。この場合、[4]に示すような提示情報D(t)を生成することができ、対象OB3に関しては[2]と同様の態様の付加情報pr(3)が重畳されるが、範囲R(1,t)内にあることで特定されたが認識されなかった対象OB2に関しては、[2]とは別の態様での付加情報pr(2)が重畳されている。ここでは、人物である対象OB2の名前と、その人物画像とが、画像上において透過されて表示されるものとして、付加情報pr(2)が構成されている。

図９の[4]に示すように、特定されたが認識されなかった対象に関する付加情報を認識された場合とは異なる態様で表示して提示情報D(t)を生成することにより、用途として例えば壁の裏側に人物や車両等の対象が存在する場合の注意喚起を促すことが可能となる。

一実施形態では、付加情報pr(k,t)を時刻tに依存する情報、例えば対象状態に応じた情報として設定部3において取得して、当該付加情報pr(k,t)を重畳して提示情報D(t)を得るようにしてもよい。例えば、位置情報pos(k,t)から推定される移動方向と方位d(k)との不一致度合や、画像P(t)から認識した対象から他端末が脇見や歩きスマホ等の状態にある旨を推定し、自端末において当該対象に注意喚起を促す情報を重畳しても良い。

以上、本発明によれば、位置情報pos(k,t)と対象情報obj(k)とを共有情報SH(t)においてリアルタイム共有することで、高速高精度な認識を実現すると共に、認識結果に応じた対象の関連情報を提示することが可能となる。以下、本発明の説明上の補足を述べる。

（１）情報端末装置10においては提示部6を省略し、認識部5での認識結果を出力として採用してもよい。

（２）以上の説明では提示部6は画像P(t)に各付加情報pr(k)を重畳して提示情報D(t)を生成するものとしたが、提示部6を実現するディスプレイがシースルー型のものである場合、画像P(t)自体は表示せず、付加情報pr(k)のみを画像P(t)の対応位置に表示するようにすればよい。この場合、シースルー型ディスプレイ内の位置と撮像部1による画像P(t)内の位置とは予め対応関係を求めておき、当該対応関係に従って付加情報pr(k)を表示するようにすればよい。画像P(t)の撮像可能な範囲よりもシースルー型ディスプレイで見える範囲の方が狭い場合、画像P(t)内では特定及び認識されたがシースルー型ディスプレイからは見えない対象に関して、別途の警告表示などを設けたものとして提示情報D(t)を生成してもよい。

（３）拡張現実表示の用途に応じて好ましい実施形態として次も可能である。（３－１）情報端末装置10によりあたかも認識されたように見える提示情報D(t)を生成させるような他端末として仮想端末（仮想オブジェクト）が含まれていてもよい。この場合、仮想オブジェクト（仮想対象）に紐づいており認識部5により認識されるべき対象としての実端末は存在しないが、当該仮想オブジェクトの付加情報pr(k)及びその世界座標系における位置情報(x,y,z)のみを予めサーバとしての情報共有装置20等によって情報共有システム100内で共有しておき、自端末で撮像して得た画像P(t)内に当該仮想オブジェクトの位置(x,y,z)の投影位置(u,v)が存在する場合には、提示部6での追加的な実施形態として、当該仮想オブジェクトをその付加情報pr(t)によって投影位置(u,v)に対応する位置に表示したものとして提示情報D(t)を生成すればよい。（３－２）また、情報共有システム100を構成する情報端末装置10として、自身では必ずしも撮像を行わないが他端末からは認識され、付加情報pr(k)による提示情報D(t)を生成させる対象として設定されるもの（例えばランドマーク等）が存在していてもよい。

（４）測位部1で得られる位置情報pos(t)に関しては、自端末としての情報端末装置10の位置（すなわち測位部1を構成するハードウェアとしての測位センサの位置）であり、且つ同時に、自端末に紐づき自端末と共に移動するように構成されている対象の位置であるものとして取得することができる。実際には、測位センサの位置と自端末に紐づいた対象の位置とは異なる場合があるが、当該相違が提示部6における付加情報を重畳した表示に影響を与えない範囲にあると判定される限り、同じ位置であるものとして測位部1で取得した位置をそのまま、対象の位置であるものとして用いればよい。一方、当該相違が提示部6における付加情報を重畳した表示に影響を与える程度の大きさを有する場合（例えば、測位センサは情報端末装置10を搭載する車両の前方に取り付けられ、重畳表示を行うための対象は当該車両の後方に設置される等の状況において、当該車両がある程度の長さを有することでこれらの位置がある程度離れている場合）、測位部1で測位センサの位置として得た位置情報に当該相違分の所定の補正を施した位置情報を、自端末に紐づく対象の位置情報として、測位部1から出力するようにすればよい。

（５）情報端末装置10は、一般的な構成のコンピュータとして実現可能である。すなわち、CPU（中央演算装置）、当該CPUにワークエリアを提供する主記憶装置、ハードディスクやSSDその他で構成可能な補助記憶装置、キーボード、マウス、タッチパネルその他といったユーザからの入力を受け取る入力インタフェース、ネットワークに接続して通信を行うための通信インタフェース、表示を行うディスプレイ、カメラ及びこれらを接続するバスを備えるような、一般的なコンピュータによって情報端末装置10を構成することができる。さらに、情報端末装置10の各部の処理はそれぞれ、当該処理を実行させるプログラムを読み込んで実行するCPUによって実現することができるが、任意の一部の処理を別途の専用回路等において実現するようにしてもよい。

10…情報端末装置、1…撮像部、2…測位部、4…特定部、5…認識部、6…提示部

Claims (10)

1. フィールドの撮像を行って画像を得る撮像部と、
   自身の位置情報である前記撮像部のカメラ位置の情報と、前記撮像部のカメラの撮像方向と、を取得する測位部と、
   １つ以上の他端末からそれぞれ得られる他端末に紐づいた対象の位置情報と、前記カメラ位置と、に基づき、認識されうる他端末に紐づいた対象を特定する特定部と、
   前記画像より、前記特定された他端末に紐づいた対象を、当該他端末から得られる当該他端末に紐づいた対象の対象情報を用いて認識する認識部と、を備え、
   前記認識部では、前記カメラ位置と、前記カメラの撮像方向と、前記特定された他端末に紐づいた対象の位置情報と、に基づき、前記カメラ位置から前記撮像方向を向いて撮像された前記画像内において当該位置情報の投影位置を定めたうえで、当該投影位置を含む前記画像内の所定範囲に限定して、前記特定された他端末に紐づいた対象を認識することを特徴とする情報端末装置。
2. フィールドの撮像を行って画像を得る撮像部と、
   自身の位置情報を取得する測位部と、
   １つ以上の他端末からそれぞれ得られる他端末に紐づいた対象の位置情報と、前記自身の位置情報と、に基づき、認識されうる他端末に紐づいた対象を特定する特定部と、
   前記画像より、前記特定された他端末に紐づいた対象を、当該他端末から得られる当該他端末に紐づいた対象の対象情報を用いて認識する認識部と、を備え、
   前記対象情報は、前記認識部において２クラス識別問題として扱うことで前記認識することが可能な情報として、前記対象の種別に関するカテゴリとして与えられることを特徴とする情報端末装置。
3. 前記対象情報は、前記認識部において２クラス識別問題として扱うことで前記認識することが可能な情報としてさらに、前記対象の可変的な状態に関するカテゴリとして与えられることを特徴とする請求項２に記載の情報端末装置。
4. 前記対象の可変的な状態に関するカテゴリは、前記他端末においてセンサ値として検出可能な状態に関するカテゴリであって且つ、前記対象の視覚上の変化を伴うカテゴリを含むことを特徴とする請求項３に記載の情報端末装置。
5. フィールドの撮像を行って画像を得る撮像部と、
   自身の位置情報を取得する測位部と、
   １つ以上の他端末からそれぞれ得られる他端末に紐づいた対象の位置情報と、前記自身の位置情報と、に基づき、認識されうる他端末に紐づいた対象を特定する特定部と、
   前記画像より、前記特定された他端末に紐づいた対象を、当該他端末から得られる当該他端末に紐づいた対象の対象情報を用いて認識する認識部と、を備え、
   前記測位部ではさらに前記撮像部の撮像している方位情報を取得し、
   前記特定部ではさらに、前記方位情報において前記撮像部により撮像されうる範囲内に位置情報を有している他端末に紐づいた対象を、前記認識されうる他端末に紐づいた対象として特定し、
   さらに、前記認識された他端末に紐づいた対象に関して、当該他端末より得られる付加情報を表示する提示部を備え、
   前記提示部はさらに、前記特定部で前記撮像部により撮像されうる範囲内に位置情報を有しているものとして特定されたが前記認識部では認識されなかった他端末に紐づいた対象に関して、当該他端末より得られる付加情報を、認識された場合とは異なる態様で、当該他端末に紐づいた対象が遮蔽物によって遮蔽されていることを表現しながら表示することを特徴とする情報端末装置。
6. 前記特定部では前記自身の位置情報に対して近いと判定される位置情報を有している他端末に紐づいた対象を、前記認識されうる他端末に紐づいた対象として特定することを特徴とする請求項１ないし５のいずれかに記載の情報端末装置。
7. 前記測位部では前記自身の位置情報を自身に紐づいた対象の位置情報として取得し、
   前記情報端末装置はさらに、前記取得した自身に紐づいた対象の位置情報と、自身に紐づいた対象を認識するための対象情報と、を他端末へ向けて送信することを特徴とする請求項１ないし６のいずれかに記載の情報端末装置。
8. コンピュータを請求項１ないし７のいずれかに記載の情報端末装置として機能させることを特徴とするプログラム。
9. 複数の端末によって実行される方法であって、
   各端末においてフィールドの撮像を行って画像を得ると共に自身に紐づいた対象の位置情報を取得するステップと、
   各端末が前記取得した自身に紐づいた対象の位置情報と、自身に紐づいた対象を認識するための対象情報と、を他端末と共有するステップと、
   各端末が前記共有された位置情報に基づいて、自身で前記撮像した画像に含まれうる他端末に紐づいた対象を特定し、当該特定された他端末に紐づいた対象を当該画像から前記共有された対象情報に基づいて認識するステップと、を備え、
   前記自身に紐づいた対象を認識するための対象情報は、前記認識するステップにおいて２クラス識別問題として扱うことで前記認識することが可能な情報として、前記対象の種別に関するカテゴリとして与えられることを特徴とする方法。
10. 前記共有するステップではさらに、自身に紐づいた対象に対応する付加情報も他端末と
    共有し、
    各端末が前記認識された他端末に紐づいた対象に対応する付加情報を表示するステップをさらに備えることを特徴とする請求項９に記載の方法。

Images