JP2023063792A - 電子機器、情報処理システム、制御方法、およびプログラム - Google Patents

Abstract

【課題】特定の電子機器の撮影画像に探索物体が写っていない場合であっても、探索物体の位置を特定しやすくする技術を提供する。【解決手段】電子機器は、探索物体の情報を含む探索依頼情報を送信する依頼手段と、第２の装置が撮像により撮像画像を取得した際の前記第２の装置の位置を示す位置情報を取得する取得手段と、前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定手段とを有する。【選択図】図２

Description

本発明は、電子機器、情報処理システム、制御方法、およびプログラムに関する。

現実空間に存在する被写体を撮像した画像（撮像画像）に対して画像加工処理を施すことで、現実とは異なる感覚をユーザに知覚させる技術として、ＸＲ（Ｃｒｏｓｓ Ｒｅａｌｉｔｙ）の技術がある。また、ＸＲの技術を適用した画像を表示するための代表的なデバイスとして、人の頭部に装着するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）がある。

特許文献１では、ＨＭＤが搭載したカメラが取得した撮像画像を解析することにより、撮像画像に写った製品と類似の製品の情報を表示する技術が開示されている。特許文献２では、撮像画像に対して文字認識を行った結果（認識結果）に応じて表示を制御する技術が開示されている。

国際公開第２０１６／２１０３５４号 国際公開第２０１２／０５１０４０号

カメラ（電子機器）が取得する撮影画像を解析することにより、ユーザが探している物体（探索物体）の位置を特定することが可能である。しかし、特許文献１および特許文献２の技術を用いても、ユーザが身に着けているカメラが取得した撮像画像を解析や文字認識に用いているため、探索物体が当該カメラの撮像画像に写っていなければ、当該探索物体の位置を特定することができない。

そこで、本発明は、特定の電子機器の撮影画像に探索物体が写っていない場合であっても、探索物体の位置を特定しやすくする技術を提供することを目的とする。

本発明の１つの態様は、
第１の装置である電子機器であって、
探索物体の情報を含む探索依頼情報を送信する依頼手段と、
第２の装置が撮像により撮像画像を取得した際の前記第２の装置の位置を示す位置情報を取得する取得手段と、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定手段と、
を有することを特徴とする電子機器である。

本発明の１つの態様は、
探索物体の情報を含む探索依頼情報を第１の装置から取得する取得手段と、
第２の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定手段と、
前記判定手段が前記撮像画像に前記探索物体が写っていると判定した場合には、前記撮像画像を取得した際の前記第２の装置の位置を示す位置情報を前記第１の装置に送信する
送信手段と、
を有することを特徴とする電子機器である。

本発明の１つの態様は、
第１の装置と第２の装置とを有する情報処理システムであって、
探索物体の情報を含む探索依頼情報を前記第１の装置から送信する依頼手段と、
前記第２の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定手段と、
前記第２の装置が撮像により前記撮像画像を取得した際の前記第２の装置の位置を示す位置情報を取得する取得手段と、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定手段と、
を有することを特徴とする情報処理システムである。

本発明の１つの態様は、
第１の装置である電子機器の制御方法であって、
探索物体の情報を含む探索依頼情報を送信する依頼ステップと、
第２の装置が撮像により撮像画像を取得した際の前記第２の装置の位置を示す位置情報を取得する取得ステップと、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定ステップと、
を有することを特徴とする電子機器の制御方法である。

本発明の１つの態様は、
探索物体の情報を含む探索依頼情報を第１の装置から取得する取得ステップと、
第２の装置が撮像により取得した前記撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定ステップと、
前記判定ステップにおいて前記撮像画像に前記探索物体が写っていると判定された場合には、前記撮像画像を取得した際の前記第２の装置の位置を示す位置情報を前記第１の装置に送信する送信ステップと、
を有することを特徴とする電子機器の制御方法である。

本発明の１つの態様は、
第１の装置と第２の装置とを有する情報処理システムの制御方法であって、
探索物体の情報を含む探索依頼情報を前記第１の装置から送信する依頼ステップと、
前記第２の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定ステップと、
前記第２の装置が撮像により撮像画像を取得した際の前記第２の装置の位置を示す位置情報を取得する取得ステップと、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定ステップと、
を有することを特徴とする情報処理システムの制御方法である。

本発明によれば、特定の電子機器の撮影画像に探索物体が写っていない場合であっても、探索物体の位置を特定しやすくすることができる。

実施形態１に係る画像処理装置を説明する図である。 実施形態１に係る依頼者の画像処理装置の機能構成図である。 実施形態１に係る協力者の画像処理装置の機能構成図である。 実施形態１に係る設定情報を説明する図である。 実施形態１に係る依頼者の画像処理装置の処理のフローチャートである。 実施形態１に係るＸＲアイテムの一例を示す図である。 実施形態１に係る協力者の画像処理装置の処理のフローチャートである。 実施形態１に係るユーザ通知を説明する図である。 実施形態１に係るユーザ通知を説明する図である。 実施形態２に係る協力者の画像処理装置とサーバの機能構成図である。 実施形態２に係る解析結果の送信処理のフローチャートである。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。また、同一の構成については同じ符号を付して説明する。

＜実施形態１＞
図１Ａを用いて、実施形態１に係る画像処理装置１０１のハードウェア構成例について説明する。なお、画像処理装置１０１は、スマートフォン、タブレット端末、またはＨＭＤ（ヘッドマウントディスプレイ）などの電子機器（カメラデバイス）である。なお、実施形態１では、画像処理装置１０１は、ＨＭＤであるとして説明する。画像処理装置１０１は、構成要素として、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、撮像部１０５、表示部１０６、操作部１０７、通信部１０８を有する。各構成要素は、バス１０９を介して、互いに接続されている。

ＣＰＵ１０２は、画像処理装置１０１を統括的に制御する演算処理装置である。ＣＰＵ１０２は、ＲＯＭ１０３などに格納された各種プログラムを実行して様々な処理を行う。

ＲＯＭ１０３は、変更を必要としないプログラム（画像処理プログラムや初期データなど）やパラメータを格納する読み出し専用の不揮発性メモリ装置である。

ＲＡＭ１０４は、入力情報や画像処理における演算結果などを一時的に格納する。また、ＲＡＭ１０４は、ＣＰＵ１０２に作業領域を提供するメモリ装置である。

撮像部１０５は、現実空間を撮像した画像（撮像画像）を取得するカメラである。実施形態１では、撮像部１０５は、画像処理装置１０１であるＨＭＤを装着するユーザの視界であって、当該ユーザがＨＭＤを装着していないと仮定した場合の視界を撮像する。

表示部１０６は、液晶ディスプレイなどである。表示部１０６は、撮像画像、仮想オブジェクト、文字、または／およびアイテム（アイコン；コンテンツ）などを表示する。

操作部１０７は、電源ボタンまたはダイヤルなどの操作部材を含む操作ユニットである。

通信部１０８は、有線通信または無線通信（無線ＬＡＮまたはローカル５Ｇなど）によって、データの送受信を外部装置と行う。通信部１０８は、イーサネット、またはＩＥＥＥ９０２．１１などの通信規格に準拠したデバイスである。

なお、画像処理装置１０１は、撮像部１０５および表示部１０６を有していなくてもよい。例えば、画像処理装置１０１とは別に、撮像部１０５および表示部１０６を有するＨ
ＭＤが存在しており、画像処理装置１０１がＨＭＤ（撮像部１０５および表示部１０６）を制御するパーソナルコンピュータであってもよい。

以下、探索協力を依頼する（探索依頼を行う）画像処理装置１０１のユーザを「依頼者」と呼ぶ。探索協力を依頼される画像処理装置１０１のユーザを「協力者」と呼ぶ。図１Ｂに示すように、依頼者の画像処理装置１０１（画像処理装置１０１Ａ）と、協力者の画像処理装置１０１（画像処理装置１０１Ｂ）とは、ネットワークを介して互いに通信可能なように接続されている。なお、依頼者の画像処理装置１０１Ａと、協力者の画像処理装置１０１Ｂとを併せて、情報処理システムと捉えることもできる。

（依頼者の画像処理装置の機能構成）
図２は、本実施形態に係る「依頼者」の画像処理装置１０１Ａの機能構成を示すブロック図である。画像処理装置１０１Ａは、目標決定部２０１、探索依頼部２０３、画像取得部２０４、画像解析部２０６、結果取得部２０７、位置取得部２０８、特定部２１２を有する。これらの機能構成が行う処理は、ＣＰＵ１０２がプログラムを実行することにより実現できるので、ＣＰＵ１０２がこれらの機能構成を有するといえる。しかし、ＣＰＵ１０２がこれらの全ての処理を実現する必要はない。例えば、画像処理装置１０１は、１つ以上の処理を実現する専用の処理回路を備えてもよい。なお、本実施形態では、各構成要素は、任意の方法によって他の構成要素と情報の受け渡しをしてもよい。例えば、各構成要素は、取得した情報や生成した情報を一度ＲＡＭ１０４に保存することにより、他の構成要素がこれらの情報を取得可能な状態にしてもよい。つまり、本実施形態では、ＲＡＭ１０４を介して、構成要素間の情報の受け渡しを行ってもよい。また、各構成要素は、取得した情報や生成した情報を、ＲＡＭ１０４に保存することなく、他の構成要素に出力してもよい。

目標決定部２０１は、目標情報２０２を決定する。目標情報２０２は、依頼者が探索を希望する物体（探索物体）の情報である。目標情報２０２は、探索物体を探す（探索する）ためのキー（検索キー）である。探索物体は、例えば、商品、人物である。

探索依頼部２０３は、通信部１０８を介して、協力者の画像処理装置１０１Ｂに、目標情報２０２を含む探索依頼情報２１１を送信する。このことにより、探索依頼部２０３は、画像処理装置１０１Ｂに探索物体の探索依頼を行う（探索の協力を依頼する）。なお、探索依頼部２０３は、１つの画像処理装置１０１Ｂに探索物体の探索依頼を行ってもよいし、複数の画像処理装置１０１Ｂに探索物体の探索依頼を行ってもよい。

画像取得部２０４は、視界画像２０５を取得する。視界画像２０５は、画像処理装置１０１ＡであるＨＭＤを依頼者が装着していないと仮定した場合の依頼者の視界を撮像部１０５が撮像している撮像画像である。

画像解析部２０６は、視界画像２０５に写る被写体を解析した結果を、解析結果２１０（図３参照）としてＲＡＭ１０４に保存する。解析結果２１０は、視界画像２０５に写る被写体それぞれを識別する情報である。また、画像解析部２０６は、解析結果２１０および目標情報２０２に基づき、視界画像２０５に探索物体が写っているか否かを判定する。そして、画像解析部２０６は、視界画像２０５に探索物体が写っているか否かを示す探索結果２１３をＲＡＭ１０４に保存する。このため、画像解析部２０６は、画像を解析する解析部であるとともに、特定の被写体が画像に写っているかを判定する判定部でもある。

結果取得部２０７は、画像処理装置１０１Ｂから依頼結果２１４を取得してＲＡＭ１０４に保存する。依頼結果２１４は、画像処理装置１０１Ｂが探索依頼を受諾したか否かを示す情報、視界画像２０５に探索物体が写っているか否かを示す情報（画像処理装置１０
１Ｂが取得した探索結果２１３）、画像処理装置１０１Ｂの位置を示す位置情報２０９を含む。また、依頼結果２１４は、画像処理装置１０１Ｂの姿勢を示す姿勢情報を含んでいてもよい。なお、以下では、「位置」とは、緯度経度であってもよいし、緯度経度と高度の情報の組み合わせであってもよいし、例えば、施設内部といったある程度抽象的な概念であってもよい。このため、「位置情報」とは、ある程度の場所が特定できれば、任意の情報であってよい。

位置取得部２０８は、ＧＰＳまたは高度計などを用いて（ＧＰＳまたは高度計などと通信することにより）、画像処理装置１０１Ａ（依頼者）の現在の位置を示す情報である位置情報２０９を取得する。また、位置取得部２０８は、ジャイロセンサまたは加速度センサなどを用いて、画像処理装置１０１Ａの姿勢を示す情報である姿勢情報を取得可能であってもよい。

特定部２１２は、探索結果２１３と位置情報２０９、または依頼結果２１４に基づき、探索物体の位置を特定する。

（協力者の画像処理装置の機能構成）
図３は、本実施形態に係る「協力者」の画像処理装置１０１Ｂの機能構成を示すブロック図である。画像処理装置１０１Ｂは、機能構成として、依頼取得部３０１、依頼判定部３０２、ユーザ通知部３０３、依頼返答部３０４、画像取得部２０４、画像解析部２０６、位置取得部２０８を有する。これらの機能構成が行う処理は、ＣＰＵ１０２がプログラムを実行することにより実現できるので、ＣＰＵ１０２がこれらの機能構成を有するといえる。しかし、ＣＰＵ１０２がこれら全ての処理を実現する必要はない。例えば、画像処理装置１０１は、１つ以上の処理を実現する専用の処理回路を備えてもよい。なお、本実施形態では、各構成要素は、任意の方法によって他の構成要素と情報の受け渡しをしてもよい。例えば、各構成要素は、取得した情報や生成した情報を一度ＲＡＭ１０４に保存することにより、他の構成要素がこれらの情報を取得可能な状態にしてもよい。つまり、本実施形態では、ＲＡＭ１０４を介して、構成要素間の情報の受け渡しを行ってもよい。また、各構成要素は、取得した情報や生成した情報を、ＲＡＭ１０４に保存することなく、他の構成要素に出力してもよい。

依頼取得部３０１は、通信部１０８を介して、目標情報２０２を含む探索依頼情報２１１を画像処理装置１０１Ａから取得する。これにより、依頼取得部３０１は、画像処理装置１０１Ａから探索物体の探索依頼（探索協力の依頼）を受ける。

依頼判定部３０２は、探索依頼を受諾するか否か（拒否するか否か）を判定する。依頼判定部３０２は、探索依頼を受諾したか否かを示す情報を諾否情報３０５としてＲＡＭ１０４に保存する。

ユーザ通知部３０３は、探索物体に関する情報を協力者に通知する（例えば、目標情報２０２を表示部１０６に表示する）。

依頼返答部３０４は、依頼結果２１４を依頼者に送信する送信部である。依頼結果２１４には、画像処理装置１０１Ｂの位置情報２０９、探索結果２１３（画像処理装置１０１Ｂが取得した視界画像２０５に探索物体が写っていたか否かの情報）、諾否情報３０５が含まれる。依頼結果２１４は、探索結果２１３の代わりに、解析結果２１０を含んでいてもよい。

以下では、画像処理装置１０１Ａが有する構成または情報については、構成または情報に付された番号の末尾に「Ａ」の文字を付す。一方、画像処理装置１０１Ｂが有する構成
については、構成または情報に付された番号の末尾に「Ｂ」の文字を付す。例えば、画像処理装置１０１Ａが有する画像取得部２０４を、「画像取得部２０４Ａ」と表す。なお、目標情報２０２、探索依頼情報２１１および依頼結果２１４については、画像処理装置１０１Ａと画像処理装置１０１Ｂとで同一の情報を用いるため、末尾に文字は付さない。

（設定情報）
図４Ａおよび図４Ｂは、依頼者または協力者が、操作部１０７に対する操作によって設定可能な設定情報を説明する図である。図４Ａは、探索物体に関する情報を協力者に開示するか否かを示す開示設定情報を表す。図４Ｂは、探索物体に関する情報を表示するか否かを示す表示設定情報と、探索依頼を受諾するか否かを示す協力設定情報を示す。なお、開示設定情報はＲＡＭ１０４Ａに格納され、表示設定情報と協力設定情報とはＲＡＭ１０４Ｂに格納される。なお、探索物体に関する情報は、目標情報２０２であってもよいし、視界画像２０５Ｂにおける探索物体の位置を示す情報であってもよい。

依頼者は、開示設定情報を「開示」と「非開示」のいずれかに設定することにより、探索物体に関する情報を開示するか否かを設定することができる。協力者は、表示設定情報を「表示」と「非表示」のいずれかに設定することにより、探索物体に関する情報を表示部１０６Ｂに表示するか否かを設定することができる。さらに、協力者は、協力設定情報を「受諾」と「拒否」のいずれかに設定することにより、探索依頼を受諾するか否かを設定することができる。すなわち、依頼者と協力者は、セキュリティ、プライバシーの観点を鑑みて、情報の取り扱いの設定を変更可能である。また、協力者が探索依頼を受諾するように協力設定情報を設定していればインセンティブが付与されるなどによって、積極的な探索の協力が促されてもよい。

（依頼者側の処理）
図５のフローチャートを参照して、画像処理装置１０１Ａが、探索物体の位置を特定する処理（特定処理；特定方法；画像処理装置１０１Ａの制御方法）を説明する。なお、本フローチャートに係る制御プログラムをＣＰＵ１０２Ａが実行することにより、本フローチャートの処理が実現される。

ステップＳ５０１において、目標決定部２０１Ａは、探索物体を表す目標情報２０２を決定する。目標情報２０２は、例えば、ユーザが指定した文字列（キーワード）または画像の情報である。また、目標決定部２０１は、予め撮像部１０５が特定の被写体を撮像した画像の情報を目標情報２０２として決定してもよい。目標決定部２０１Ａは、スマートフォンなどの外部デバイスから入力された情報を目標情報２０２として決定してもよい。目標決定部２０１Ａは、依頼者の過去の行動履歴に基づき推定した文字列、または画像の情報を目標情報２０２として決定してもよい。例えば、依頼者が毎日、特定の時刻に倉庫の鍵を探すような行動をとっていれば、目標決定部２０１Ａは、当該特定の時刻に達すると、行動履歴に基づき、当該倉庫の鍵の画像を目標情報２０２として推定（決定）する。

また、目標決定部２０１Ａは、ユーザが指定した情報（文字列や画像）の代わりに、当該ユーザが指定した情報に紐づく（基づく）情報を目標情報２０２として決定してもよい。例えば、ユーザが倉庫の鍵の画像を指定した場合には、当該倉庫の鍵が通常時において特定の棚にしまわれているのであれば、特定の棚の画像を目標情報２０２として決定してもよい。この場合には、探索物体は、倉庫の鍵ではなく、特定の棚である。また、この場合には、例えば、ＲＡＭ１０４Ａに、倉庫の鍵の画像と、特定の棚の画像とが紐づけられて保存されている。

ステップＳ５０２において、画像取得部２０４Ａは、撮像部１０５Ａが依頼者の視界を撮像した視界画像２０５Ａを取得する。そして、画像解析部２０６Ａは、視界画像２０５
Ａを解析することにより、視界画像２０５Ａに写っている被写体を判定する。この解析には、既存の物体認識技術や文字認識技術を用いることができる。画像解析部２０６Ａは、視界画像２０５Ａに写っていると判定された被写体の情報を解析結果２１０Ａとして、ＲＡＭ１０４Ａに保存する。

ステップＳ５０３において、画像解析部２０６Ａは、目標情報２０２および解析結果２１０Ａに基づき、視界画像２０５Ａに探索物体が写っているか否かを判定する。例えば、画像解析部２０６Ａは、解析結果２１０Ａが示す複数の被写体に目標情報２０２が示す探索物体が含まれているかによって、視界画像２０５Ａに探索物体が写っているか否かを判定する。そして、画像解析部２０６Ａは、視界画像２０５Ａに探索物体が写っているか否かを示す探索結果２１３ＡをＲＡＭ１０４Ａに保存する。視界画像２０５Ａに探索物体が写っていると判定された場合には、画像処理装置１０１Ｂに探索を依頼する必要がなく、ステップＳ５０７に進む。視界画像２０５Ａに探索物体が写っていないと判定された場合には、ステップＳ５０４に進む。

なお、ステップＳ５０２において、画像解析部２０６Ａが、目標情報２０２に基づき視界画像２０５Ａを解析することによって、視界画像２０５Ａに探索物体が写っている否かを判定してもよい。この場合には、ステップＳ５０３の処理が行われず、視界画像２０５に探索物体が写っていると判定された場合にはステップＳ５０７に進み、視界画像２０５に探索物体が写っていないと判定された場合には、ステップＳ５０４に進む。

ステップＳ５０４において、探索依頼部２０３Ａは、依頼者と同一のネットワークに接続している画像処理装置１０１Ｂに対して探索依頼を行う。具体的には、探索依頼部２０３Ａは、目標情報２０２を含む探索依頼情報２１１を画像処理装置１０１Ｂに送信する。なお、実施形態１では、探索依頼情報２１１は開示設定情報（図４Ａ参照）を含む。

ステップＳ５０５において、結果取得部２０７Ａは、画像処理装置１０１Ｂから依頼結果２１４を受信する。結果取得部２０７Ａは、依頼結果２１４をＲＡＭ１０４に保存する。

ステップＳ５０６において、特定部２１２Ａは、依頼結果２１４（探索結果２１３Ｂ）に基づき、協力者の視界画像２０５Ｂに探索物体が写っているか否かを判定する。視界画像２０５Ｂに探索物体が写っていると判定された場合には、ステップＳ５０７に進む。視界画像２０５Ｂに探索物体が写っていないと判定された場合には、本フローチャートの処理が終了する。

ステップＳ５０７において、特定部２１２Ａは、探索物体の位置（位置座標）を特定する。特定部２１２Ａは、例えば、ステップＳ５０３にて視界画像２０５Ａに探索物体が写っていると判定されている場合には、位置情報２０９Ａと視界画像２０５Ａの全体における探索物体の座標とに基づき、探索物体の位置を特定する。なお、位置取得部２０８ＡがＲＡＭ１０４Ａに位置情報２０９Ａを保存しているため、特定部２１２Ａは、ＲＡＭ１０４Ａから位置情報２０９Ａを取得することができる。また、特定部２１２Ａは、例えば、視界画像２０５Ｂに探索物体が写っていることを依頼結果２１４（探索結果２１３Ｂ）が示していれば（ステップＳ５０６でＹＥＳの場合）、画像処理装置１０１Ｂの位置を探索物体の位置として特定する。特定部２１２Ａは、例えば、視界画像２０５Ｂに探索物体が写っていることを依頼結果２１４が示していれば、画像処理装置１０１Ｂの位置（位置情報）および姿勢（姿勢情報）に基づき、探索物体の位置（座標）を特定してもよい。具体的には、特定部２１２Ａは、画像処理装置１０１Ｂの姿勢に基づき撮像部１０５Ｂの光軸方向を判定して、画像処理装置１０１Ｂの位置から当該光軸方向の位置に探索物体が位置することを特定できる。

また、画像処理装置１０１Ａ，１００Ｂは、距離センサを有していてもよい。この場合には、特定部２１２Ａは、例えば、視界画像２０５Ｂに探索物体が写っていれば、画像処理装置１０１Ｂの位置（または、位置および姿勢）、および画像処理装置１０１Ｂと探索物体との距離に基づき、探索物体の位置を特定してもよい。これによれば、画像処理装置１０１Ｂの位置（または、位置および姿勢）のみに基づき探索物体の位置を特定する場合よりも、より精度よく探索物体の位置を特定することが可能になる。

なお、ステップＳ５０７において特定部２１２Ａは、画像処理装置１０１Ａの位置を示す位置情報２０９Ａと画像処理装置１０１Ｂの位置を示す位置情報２０９Ｂとを比較することで、依頼者から見た探索物体の相対的な位置を特定（算出）してもよい。この場合、例えば、ＣＰＵ１０２Ａは、図６が示すように、探索物体の相対的な位置に基づき、探索物体が存在する方向を表す誘導用のＸＲアイテム６０１を生成する。そして、ＣＰＵ１０２Ａは、ＸＲアイテム６０１を表示部１０６Ａに表示する。このことにより、画像処理装置１０１Ａは、依頼者を探索物体の位置まで誘導することができる。

なお、ＸＲアイテム６０１は、図６では、画像処理装置１０１Ａ（依頼者）の位置を基準として探索物体の位置を示すアイテムである。しかし、ＸＲアイテム６０１は、画像処理装置１０１Ａ（依頼者）の位置と、探索物体の位置とを含むマップ（画像処理装置１０１Ａの位置から探索物体の位置までのマップ）を表すアイテムであってもよい。この場合には、例えば、画像処理装置１０１Ａが有するマップ生成部が、特定された探索物体の位置に基づき、マップであるＸＲアイテムを生成する。例えば、図５のフローチャートに従って複数の商品の位置が特定されることによって、マップ生成部は、或る店舗または倉庫の複数の商品の位置を表すマップを生成することができる。

（協力者側の処理）
図７を用いて、画像処理装置１０１Ｂが探索結果を画像処理装置１０１Ａに送信する処理（画像処理装置１０１Ｂの制御方法）について説明する。なお、本フローチャートに係る制御プログラムをＣＰＵ１０２Ｂが実行することにより、本フローチャートの処理が実現される。

図７のフローチャートの処理は、依頼取得部３０１Ｂが、通信部１０８Ｂを介して、画像処理装置１０１Ａから探索依頼情報２１１を取得すると開始する。なお、依頼取得部３０１Ｂは、探索依頼情報２１１をＲＡＭ１０４Ｂに保存する。探索依頼情報２１１は、目標情報２０２と、開示設定情報（図４Ａ参照）を含む。

ステップＳ７０１において、依頼判定部３０２Ｂは、ＲＡＭ１０４Ｂから協力設定情報（図４Ｂ参照）を読み出して、探索依頼を受諾することを協力設定情報が示しているか否かを判定する。探索依頼を受諾することを協力設定情報が示していると判定された場合には、ステップＳ７０２に進む。探索依頼を拒否することを協力設定情報が示していると判定された場合には、ステップＳ７０６に進む。

ステップＳ７０２において、画像解析部２０６Ｂは、撮像部１０５Ｂが撮像した視界画像２０５Ｂの解析を行うことにより、解析結果２１０Ｂを取得する。ステップＳ７０２の処理は、ステップＳ５０２と同様であるので、説明は省略する。

ステップＳ７０３において、画像解析部２０６Ｂは、目標情報２０２および解析結果２１０Ｂに基づき、視界画像２０５Ｂに探索物体が写っているか否かを判定する。そして、画像解析部２０６Ｂは、視界画像２０５Ｂに探索物体が写っているか否かを示す探索結果２１３ＢをＲＡＭ１０４Ｂに保存する。ステップＳ７０３の処理は、ステップＳ５０３と
同様である。視界画像２０５Ｂに探索物体が写っていると判定された場合には、ステップＳ７０４に進む。視界画像２０５Ｂに探索物体が写っていないと判定された場合には、ステップＳ７０６に進む。なお、ステップＳ７０２において、画像解析部２０６Ｂが、目標情報２０２に基づき視界画像２０５Ｂを解析することによって、視界画像２０５Ｂに探索物体が写っている否かを判定してもよい。

ステップＳ７０４において、ユーザ通知部３０３Ｂは、開示設定情報および表示設定情報（図４Ａおよび図４Ｂ参照）をＲＡＭ１０４Ｂから読み出す。そして、ユーザ通知部３０３Ｂは、開示設定情報が「開示」を示し、かつ、表示設定情報が「表示」を示す場合には、探索物体に関する情報を表示すると判定する。それ以外の場合には、ユーザ通知部３０３Ｂは、探索物体に関する情報を表示しないと判定する。探索物体に関する情報を表示すると判定された場合には、ステップＳ７０５に進む。探索物体に関する情報を表示しないと判定された場合には、ステップＳ７０６に進む。

ステップＳ７０５において、ユーザ通知部３０３Ｂは、探索物体に関する情報を表示部１０６に表示する。なお、探索物体に関する情報は、探索物体の位置を示す情報、目標情報２０２、または探索物体の名称を示す情報など、ユーザ（協力者）が探索物体を認識できれば任意の情報であってよい。

例えば、図８が示すように、ユーザ通知部３０３Ｂは、視界画像２０５Ｂにおける探索物体８０１に対してＸＲアイテム８０２を重畳する。ユーザ通知部３０３Ｂは、探索物体８０１の位置を示すＸＲアイテム８０２を表示部１０６Ｂに表示することにより、探索物体８０１に関する情報をユーザ（協力者）に通知する。ＸＲアイテム８０２は、探索物体８０１を強調表示するアイテム（表示アイテム）である。なお、ＸＲアイテム８０２は、図８に示すように枠形状の表示であってもよいし、別の強調表現で表されていてもよい。さらに、ユーザ通知部３０３Ｂは、探索物体８０１の情報を表す目標情報２０２を表示部１０６Ｂに表示するようにしてもよい。ユーザ通知部３０３Ｂは、目標情報２０２が文字の情報である場合には、当該文字を読み上げるような音声を発することにより、探索物体８０１の情報をユーザに通知してもよい。

なお、ステップＳ７０４にて探索物体に関する情報を表示しないと判定された場合には、視界画像２０５Ｂに探索物体９０１が写っていたとしても、図９に示すように、ＸＲアイテム８０２は表示部１０６Ｂに表示されない。

ステップＳ７０６において、依頼返答部３０４Ｂは、依頼結果２１４を画像処理装置１０１Ａに送信する。依頼結果２１４は、諾否情報３０５Ｂ、探索結果２１３Ｂ、画像処理装置１０１Ｂの位置情報２０９Ｂを含む。ここで、位置情報２０９Ｂとは、撮像部１０５Ｂが撮像により視界画像２０５Ｂを取得した際の画像処理装置１０１Ｂの位置を示す。位置取得部２０８ＢがＲＡＭ１０４Ｂに位置情報２０９Ｂを保存しているため、依頼返答部３０４Ｂは、ＲＡＭ１０４Ｂから位置情報２０９Ｂを取得することができる。なお、依頼結果２１４は、画像処理装置１０１Ｂの姿勢情報を含んでいてもよい。姿勢情報とは、撮像部１０５Ｂが撮像により視界画像２０５Ｂを取得した際の画像処理装置１０１Ｂの姿勢を示す。また、探索依頼が受諾されていない場合、または、視界画像２０５Ｂに探索物体が写っていない場合には、依頼結果２１４は位置情報２０９Ｂを含んでいなくてもよい。このような場合には、位置情報２０９Ｂに基づき探索物体の位置を特定することが行われないからである。

なお、依頼返答部３０４Ｂは、探索依頼を拒否することを協力設定情報が示していれば、探索依頼を拒否したことを示す諾否情報３０５Ｂを画像処理装置１０１Ａに送信する。また、依頼返答部３０４Ｂは、視界画像２０５Ｂに探索物体が写っていなければ、視界画
像２０５Ｂに探索物体が写っていないないこと（探索物体が見つからなかったこと）を示す探索結果２１３Ｂを画像処理装置１０１Ａに送信する。

実施形態１によれば、画像処理装置１０１Ａが取得した視界画像２０５Ａに探索物体が写っていない場合であっても、画像処理装置１０１Ｂが取得した視界画像２０５Ｂに探索物体が写っていれば、探索物体の位置が特定可能である。このため、画像処理装置１０１Ａの位置から離れた位置に探索物体が存在する場合であっても、画像処理装置１０１Ａは、探索物体の位置を特定することができる。

なお、実施形態１では、表示部１０６Ａに視界画像２０５Ａを表示する例を説明したが、これには限られない。例えば、表示部１０６Ａが高い透明度を有しており、依頼者が表示部１０６Ａを介して直接、現実の空間を見ることができる場合がある。この場合には、表示部１０６Ａは、視界画像２０５Ａを表示しなくてもよい。また、この場合には、ＸＲアイテムなどが表示部１０６Ａに表示されない限り、依頼者が表示部１０６Ａを介して見ている範囲は、視界画像２０５Ａを取得するために撮像部１０５が撮像の対象とする範囲と略同一である。

さらには、画像処理装置１０１Ｂが、特定部２１２Ｂを有していてもよい。この場合には、視界画像２０５Ｂに探索物体が写っていれば、特定部２１２Ｂが探索物体の位置を特定してもよい。そして、依頼返却部３０４Ｂが探索物体の位置の情報を画像処理装置１０１Ａに送信してもよい。

また、画像処理装置１０１Ｂは、視界画像２０５Ｂに探索物体が写っているか否かを判定しなくてもよい。この場合には、画像処理装置１０１Ｂは、探索結果２１３Ｂの代わりに、視界画像２０５Ｂを画像処理装置１０１Ａに送信してもよい。そして、この場合には、画像処理装置１０１Ａの画像解析部２０６Ａが、視界画像２０５Ｂに探索物体が写っているか否かを判定する。つまり、画像処理装置１０１Ｂの上述の処理の一部を画像処理装置１０１Ａが行ってもよいし、画像処理装置１０１Ａの上述の処理の一部を画像処理装置１０１Ｂが行ってもよい。

さらに、目標決定部２０１Ａは、ユーザが指定した情報（文字列や画像）に加えて、当該ユーザが指定した情報に紐づく情報を目標情報２０２として決定してもよい。例えば、ユーザが指定した情報が倉庫の鍵の画像であり、ユーザが指定した情報に紐づく情報が特定の棚の画像であれば、画像処理装置１０１Ａは、視界画像２０５Ａまたは２０５Ｂに倉庫の鍵または特定の棚が写っていないかを判定する。そして、画像処理装置１０１Ａは、視界画像２０５Ａまたは２０５Ｂに倉庫の鍵または特定の棚が写っているのであれば、倉庫の鍵または特定の棚の位置を特定する。なお、この場合には、探索物体は、倉庫の鍵と特定の棚である。

＜実施形態２＞
実施形態１では、依頼者の画像処理装置１０１Ａは、協力者の画像処理装置１０１Ｂに探索依頼を行う。これによれば、画像処理装置１０１Ａが撮像により取得した視界画像２０５Ａのみならず、画像処理装置１０１Ｂが撮像により取得した視界画像２０５Ｂを用いて、探索物体の探索（位置の特定）ができる。しかしながら、視界画像２０５Ｂは画像処理装置１０１Ｂが探索依頼を受けた時点の画像であるため、実施形態１では、過去の視界画像２０５Ｂを探索に用いることができない。

そこで、実施形態２では、過去の視界画像２０５Ｂの解析結果２１０Ｂをサーバに蓄積して、依頼者の画像処理装置１０１Ａがサーバに対して探索依頼を実行する。サーバは、例えば、ローカル５Ｇネットワークサーバや、ＭＥＣ（Ｍｏｂｉｌｅ Ｅｄｇｅ Ｃｏｍ
ｐｕｔｉｎｇ）サーバである。サーバが解析結果２１０Ｂを蓄積することによれば、画像処理装置１０１Ａは、過去に取得された視界画像２０５Ｂに基づき探索物体を探す（探索物体の位置を特定する）ことができる。

図１０は、実施形態２に係る画像処理装置１０１ＢのＣＰＵ１０２Ｂの機能構成、およびサーバ１００２の機能構成を示すブロック図である。実施形態２に係る画像処理装置１０１ＢのＣＰＵ１０２Ｂは、機能構成として、画像取得部２０４Ｂ、画像解析部２０６Ｂ、位置取得部２０８Ｂ、依頼判定部３０２Ｂ、情報送信部１００１Ｂを有する。以下では、実施形態１において説明した機能構成についての説明は省略する。

情報送信部１００１Ｂは、撮像部１０５Ｂが撮像により視界画像２０５Ｂを取得すると、それぞれが視界画像２０５に対応する位置情報２０９Ｂと解析結果２１０Ｂをサーバ１００２に送信する。

サーバ１００２は、探索情報ＤＢ１００３を有する電子機器である。サーバ１００２は、例えば、ローカル５ＧネットワークサーバまたはＭＥＣサーバである。

探索情報ＤＢ１００３は、画像処理装置１０１Ｂから送信された位置情報２０９Ｂと解析結果２１０Ｂを蓄積するデータベースである。

図１１は、画像処理装置１０１Ｂが解析結果２１０Ｂおよび位置情報２０９Ｂをサーバ１００２に送信する処理を示すフローチャートである。なお、本フローチャートに係る制御プログラムをＣＰＵ１０２Ｂが実行することにより、本フローチャートの処理が実現される。本フローチャートの処理は、画像処理装置１０１Ｂがネットワーク（ローカル５Ｇネットワークなど）に接続されると、開始する。

ステップＳ１１０１において、依頼判定部３０２Ｂは、探索依頼を受諾することを協力設定情報が示しているか否かを判定する。探索依頼を受諾することを協力設定情報が示していると判定された場合には、ステップＳ１１０２に進む。探索依頼を拒否することを協力設定情報が示していると判定された場合には、本フローチャートの処理が終了する。

ステップＳ１１０２において、画像取得部２０４Ｂは、撮像部１０５Ｂから視界画像２０５Ｂを取得する。そして、画像解析部２０６Ｂは、視界画像２０５Ｂを解析することにより、視界画像２０５Ｂに写っている被写体を判定する。画像解析部２０６Ｂは、視界画像２０５Ｂに写っていると判定された被写体の情報を解析結果２１０Ｂとして、ＲＡＭ１０４Ｂに保存する。

ステップＳ１１０３において、情報送信部１００１Ｂは、位置情報２０９Ｂと解析結果２１０Ｂをサーバ１００２に送信する。これにより、サーバ１００２において、位置情報２０９Ｂと解析結果２１０Ｂとが探索情報ＤＢ１００３に保存される。情報送信部１００１が位置情報２０９Ｂと解析結果２１０Ｂをサーバ１００２に送信するタイミングは、サーバから要求された時点でもよいし、協力者が設定した時間周期に従ってもよい。

ここで、画像処理装置１０１Ａの処理については、図５が示す処理と同様であるので説明を省略する。ただし、ステップＳ５０４で探索依頼部２０３Ａが探索依頼を行う相手は、画像処理装置１０１Ｂではなく、サーバ１００２である。このため、サーバ１００２は、探索依頼情報２１１を受け取ると、解析結果２１０Ｂに基づき、図７のステップＳ７０３と同様の処理を実行して、ステップＳ７０６と同様に依頼結果２１４を画像処理装置１０１Ａに送信する。そこで、サーバ１００２は、図３に示す画像処理装置１０１Ｂの機能構成の全部または少なくとも一部と同様の機能構成を有しているとよい。なお、依頼結果
２１４は、探索依頼を受諾したことを示す諾否情報３０５を常に含んでいてもよいし、諾否情報３０５を含んでいなくてもよい。

これによれば、画像処理装置１０１Ｂの撮像部１０５Ｂにより過去に取得された視界画像２０５Ｂに対しても探索を行うことができる。このため、例えば、現時点における視界画像２０５Ａと視界画像２０５Ｂとのいずれにも探索物体が存在しない場合であっても、探索物体が過去に存在した位置を特定することができる。

また、情報送信部１００１は、解析結果２１０Ｂの代わりに、視界画像２０５Ｂをサーバ１００２に送信してもよい。この場合には、サーバ１００２において視界画像２０５Ｂの解析が行われればよい。

さらに、情報送信部１００１は、解析結果２１０Ｂと位置情報２０９Ｂとともに、視界画像２０５Ｂを撮像部１０５Ｂが撮像により取得した時刻（撮像時刻）を示す時刻情報を送信してもよい。そして、サーバは、解析結果２１０Ｂと位置情報２０９Ｂとともに、時刻情報を蓄積する。この場合には、サーバ１００２は、探索依頼情報２１１を受け取ると、時刻情報を含む依頼結果２１４を画像処理装置１０１Ａに送信する。そして、例えば、画像処理装置１０１ＡのＣＰＵ１０２Ａは、探索物体の位置を特定した後に、探索物体に関する情報を示すＸＲアイテムとともに、時刻情報が示す時刻（つまり、探索物体の存在が確認された時刻）を表すアイテムを表示部１０６Ａに表示する。これによれば、依頼者は、時刻情報が示す時刻を知ることで、例えば、特定された探索物体の位置に探索物体が存在していなかったとしても、当該時刻に基づき、当該時刻から現在の時刻までに探索物体が移動していると考えられる位置を推測できる。

また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。

なお、上記の各実施形態（各変形例）の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：画像処理装置、２０３：探索依頼部、２０７：結果取得部
２１２：特定部

Claims (20)

1. 第１の装置である電子機器であって、
   探索物体の情報を含む探索依頼情報を送信する依頼手段と、
   第２の装置が撮像により撮像画像を取得した際の前記第２の装置の位置を示す位置情報を取得する取得手段と、
   前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定手段と、
   を有することを特徴とする電子機器。
2. 前記取得手段は、さらに、前記第２の装置が前記撮像画像を取得した際の前記第２の装置の姿勢を示す姿勢情報を取得し、
   前記特定手段は、前記撮像画像に前記探索物体が写っている場合には、前記位置情報と前記姿勢情報に基づき前記探索物体の位置を特定する、
   ことを特徴とする請求項１に記載の電子機器。
3. 前記依頼手段は、前記探索依頼情報を前記第２の装置に送信し、
   前記取得手段は、前記位置情報を前記第２の装置から取得する、
   ことを特徴とする請求項１または２に記載の電子機器。
4. 前記探索依頼情報は、前記探索物体に関する情報を前記第２の装置のユーザに開示するか否かを示す開示設定情報を含む、
   ことを特徴とする請求項３に記載の電子機器。
5. 前記撮像画像は、前記第２の装置が過去に取得した画像であり、
   前記依頼手段は、前記探索依頼情報をサーバに送信し、
   前記取得手段は、前記位置情報を前記サーバから取得する、
   ことを特徴とする請求項１または２に記載の電子機器。
6. 前記探索物体の情報は、前記電子機器のユーザにより指定された、文字列の情報または画像の情報である、
   ことを特徴とする請求項１から５のいずれか１項に記載の電子機器。
7. 前記探索物体の情報は、前記電子機器のユーザの過去の行動履歴に基づき推定された文字列の情報または画像の情報である、
   ことを特徴とする請求項１から５のいずれか１項に記載の電子機器。
8. 前記探索物体の位置を示すアイテムを表示する表示手段をさらに有する、
   ことを特徴とする請求項１から７のいずれか１項に記載の電子機器。
9. 前記アイテムは、前記電子機器の位置と前記探索物体の位置とを含むマップである、
   ことを特徴とする請求項８に記載の電子機器。
10. 前記取得手段は、さらに、前記撮像画像の撮像が行われた時刻の情報を取得し、
    前記表示手段は、前記アイテムとともに前記時刻を表示する、
    ことを特徴とする請求項８または９のいずれか１項に記載の電子機器。
11. 探索物体の情報を含む探索依頼情報を第１の装置から取得する取得手段と、
    第２の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定手段と、
    前記判定手段が前記撮像画像に前記探索物体が写っていると判定した場合には、前記撮像画像を取得した際の前記第２の装置の位置を示す位置情報を前記第１の装置に送信する送信手段と、
    を有することを特徴とする電子機器。
12. 前記送信手段は、前記判定手段が前記撮像画像に前記探索物体が写っていないと判定した場合には、前記撮像画像に前記探索物体が写っていないことを示す情報を前記第１の装置に送信する、
    ことを特徴とする請求項１１に記載の電子機器。
13. 前記第２の装置のユーザは、探索依頼を拒否するか否かを予め設定可能であり、
    前記送信手段は、前記第２の装置のユーザが前記探索依頼を拒否すると設定している場合には、前記探索依頼を拒否したことを示す情報を前記第１の装置に送信する、
    ことを特徴とする請求項１１または１２に記載の電子機器。
14. 前記探索依頼情報は、前記探索物体に関する情報を前記第２の装置のユーザに開示するか否かを示す開示設定情報を含み、
    前記第２の装置のユーザは、前記探索物体に関する情報を通知する設定が可能であり、
    前記電子機器は、前記開示設定情報が前記探索物体に関する情報を前記第２の装置のユーザに開示することを示し、かつ、前記第２の装置のユーザが前記探索物体に関する情報を通知する設定をしていれば、前記第２の装置のユーザに前記探索物体に関する情報を通知する通知手段をさらに有する、
    ことを特徴とする請求項１１から１３のいずれか１項に記載の電子機器。
15. 前記電子機器は、前記第２の装置である、
    ことを特徴とする請求項１１から１４のいずれか１項に記載の電子機器。
16. 第１の装置と第２の装置とを有する情報処理システムであって、
    探索物体の情報を含む探索依頼情報を前記第１の装置から送信する依頼手段と、
    前記第２の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定手段と、
    前記第２の装置が撮像により前記撮像画像を取得した際の前記第２の装置の位置を示す位置情報を取得する取得手段と、
    前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定手段と、
    を有することを特徴とする情報処理システム。
17. 第１の装置である電子機器の制御方法であって、
    探索物体の情報を含む探索依頼情報を送信する依頼ステップと、
    第２の装置が撮像により撮像画像を取得した際の前記第２の装置の位置を示す位置情報を取得する取得ステップと、
    前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定ステップと、
    を有することを特徴とする電子機器の制御方法。
18. 探索物体の情報を含む探索依頼情報を第１の装置から取得する取得ステップと、
    第２の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定ステップと、
    前記判定ステップにおいて前記撮像画像に前記探索物体が写っていると判定された場合には、前記撮像画像を取得した際の前記第２の装置の位置を示す位置情報を前記第１の装
    置に送信する送信ステップと、
    を有することを特徴とする電子機器の制御方法。
19. 第１の装置と第２の装置とを有する情報処理システムの制御方法であって、
    探索物体の情報を含む探索依頼情報を前記第１の装置から送信する依頼ステップと、
    前記第２の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定ステップと、
    前記第２の装置が撮像により前記撮像画像を取得した際の前記第２の装置の位置を示す位置情報を取得する取得ステップと、
    前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定ステップと、
    を有することを特徴とする情報処理システムの制御方法。
20. コンピュータを、請求項１から１５のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。
    

Images