JP2023063792A - 電子機器、情報処理システム、制御方法、およびプログラム - Google Patents
電子機器、情報処理システム、制御方法、およびプログラム Download PDFInfo
- Publication number
- JP2023063792A JP2023063792A JP2021173807A JP2021173807A JP2023063792A JP 2023063792 A JP2023063792 A JP 2023063792A JP 2021173807 A JP2021173807 A JP 2021173807A JP 2021173807 A JP2021173807 A JP 2021173807A JP 2023063792 A JP2023063792 A JP 2023063792A
- Authority
- JP
- Japan
- Prior art keywords
- information
- search object
- search
- captured
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000010365 information processing Effects 0.000 title claims description 11
- 238000003384 imaging method Methods 0.000 claims abstract description 35
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 22
- 238000010191 image analysis Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Devices (AREA)
Abstract
【課題】特定の電子機器の撮影画像に探索物体が写っていない場合であっても、探索物体の位置を特定しやすくする技術を提供する。【解決手段】電子機器は、探索物体の情報を含む探索依頼情報を送信する依頼手段と、第2の装置が撮像により撮像画像を取得した際の前記第2の装置の位置を示す位置情報を取得する取得手段と、前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定手段とを有する。【選択図】図2
Description
本発明は、電子機器、情報処理システム、制御方法、およびプログラムに関する。
現実空間に存在する被写体を撮像した画像(撮像画像)に対して画像加工処理を施すことで、現実とは異なる感覚をユーザに知覚させる技術として、XR(Cross Reality)の技術がある。また、XRの技術を適用した画像を表示するための代表的なデバイスとして、人の頭部に装着するHMD(Head Mount Display)がある。
特許文献1では、HMDが搭載したカメラが取得した撮像画像を解析することにより、撮像画像に写った製品と類似の製品の情報を表示する技術が開示されている。特許文献2では、撮像画像に対して文字認識を行った結果(認識結果)に応じて表示を制御する技術が開示されている。
カメラ(電子機器)が取得する撮影画像を解析することにより、ユーザが探している物体(探索物体)の位置を特定することが可能である。しかし、特許文献1および特許文献2の技術を用いても、ユーザが身に着けているカメラが取得した撮像画像を解析や文字認識に用いているため、探索物体が当該カメラの撮像画像に写っていなければ、当該探索物体の位置を特定することができない。
そこで、本発明は、特定の電子機器の撮影画像に探索物体が写っていない場合であっても、探索物体の位置を特定しやすくする技術を提供することを目的とする。
本発明の1つの態様は、
第1の装置である電子機器であって、
探索物体の情報を含む探索依頼情報を送信する依頼手段と、
第2の装置が撮像により撮像画像を取得した際の前記第2の装置の位置を示す位置情報を取得する取得手段と、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定手段と、
を有することを特徴とする電子機器である。
第1の装置である電子機器であって、
探索物体の情報を含む探索依頼情報を送信する依頼手段と、
第2の装置が撮像により撮像画像を取得した際の前記第2の装置の位置を示す位置情報を取得する取得手段と、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定手段と、
を有することを特徴とする電子機器である。
本発明の1つの態様は、
探索物体の情報を含む探索依頼情報を第1の装置から取得する取得手段と、
第2の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定手段と、
前記判定手段が前記撮像画像に前記探索物体が写っていると判定した場合には、前記撮像画像を取得した際の前記第2の装置の位置を示す位置情報を前記第1の装置に送信する
送信手段と、
を有することを特徴とする電子機器である。
探索物体の情報を含む探索依頼情報を第1の装置から取得する取得手段と、
第2の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定手段と、
前記判定手段が前記撮像画像に前記探索物体が写っていると判定した場合には、前記撮像画像を取得した際の前記第2の装置の位置を示す位置情報を前記第1の装置に送信する
送信手段と、
を有することを特徴とする電子機器である。
本発明の1つの態様は、
第1の装置と第2の装置とを有する情報処理システムであって、
探索物体の情報を含む探索依頼情報を前記第1の装置から送信する依頼手段と、
前記第2の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定手段と、
前記第2の装置が撮像により前記撮像画像を取得した際の前記第2の装置の位置を示す位置情報を取得する取得手段と、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定手段と、
を有することを特徴とする情報処理システムである。
第1の装置と第2の装置とを有する情報処理システムであって、
探索物体の情報を含む探索依頼情報を前記第1の装置から送信する依頼手段と、
前記第2の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定手段と、
前記第2の装置が撮像により前記撮像画像を取得した際の前記第2の装置の位置を示す位置情報を取得する取得手段と、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定手段と、
を有することを特徴とする情報処理システムである。
本発明の1つの態様は、
第1の装置である電子機器の制御方法であって、
探索物体の情報を含む探索依頼情報を送信する依頼ステップと、
第2の装置が撮像により撮像画像を取得した際の前記第2の装置の位置を示す位置情報を取得する取得ステップと、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定ステップと、
を有することを特徴とする電子機器の制御方法である。
第1の装置である電子機器の制御方法であって、
探索物体の情報を含む探索依頼情報を送信する依頼ステップと、
第2の装置が撮像により撮像画像を取得した際の前記第2の装置の位置を示す位置情報を取得する取得ステップと、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定ステップと、
を有することを特徴とする電子機器の制御方法である。
本発明の1つの態様は、
探索物体の情報を含む探索依頼情報を第1の装置から取得する取得ステップと、
第2の装置が撮像により取得した前記撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定ステップと、
前記判定ステップにおいて前記撮像画像に前記探索物体が写っていると判定された場合には、前記撮像画像を取得した際の前記第2の装置の位置を示す位置情報を前記第1の装置に送信する送信ステップと、
を有することを特徴とする電子機器の制御方法である。
探索物体の情報を含む探索依頼情報を第1の装置から取得する取得ステップと、
第2の装置が撮像により取得した前記撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定ステップと、
前記判定ステップにおいて前記撮像画像に前記探索物体が写っていると判定された場合には、前記撮像画像を取得した際の前記第2の装置の位置を示す位置情報を前記第1の装置に送信する送信ステップと、
を有することを特徴とする電子機器の制御方法である。
本発明の1つの態様は、
第1の装置と第2の装置とを有する情報処理システムの制御方法であって、
探索物体の情報を含む探索依頼情報を前記第1の装置から送信する依頼ステップと、
前記第2の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定ステップと、
前記第2の装置が撮像により撮像画像を取得した際の前記第2の装置の位置を示す位置情報を取得する取得ステップと、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定ステップと、
を有することを特徴とする情報処理システムの制御方法である。
第1の装置と第2の装置とを有する情報処理システムの制御方法であって、
探索物体の情報を含む探索依頼情報を前記第1の装置から送信する依頼ステップと、
前記第2の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定ステップと、
前記第2の装置が撮像により撮像画像を取得した際の前記第2の装置の位置を示す位置情報を取得する取得ステップと、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定ステップと、
を有することを特徴とする情報処理システムの制御方法である。
本発明によれば、特定の電子機器の撮影画像に探索物体が写っていない場合であっても、探索物体の位置を特定しやすくすることができる。
以下、添付図面を参照して本発明の実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。また、同一の構成については同じ符号を付して説明する。
<実施形態1>
図1Aを用いて、実施形態1に係る画像処理装置101のハードウェア構成例について説明する。なお、画像処理装置101は、スマートフォン、タブレット端末、またはHMD(ヘッドマウントディスプレイ)などの電子機器(カメラデバイス)である。なお、実施形態1では、画像処理装置101は、HMDであるとして説明する。画像処理装置101は、構成要素として、CPU102、ROM103、RAM104、撮像部105、表示部106、操作部107、通信部108を有する。各構成要素は、バス109を介して、互いに接続されている。
図1Aを用いて、実施形態1に係る画像処理装置101のハードウェア構成例について説明する。なお、画像処理装置101は、スマートフォン、タブレット端末、またはHMD(ヘッドマウントディスプレイ)などの電子機器(カメラデバイス)である。なお、実施形態1では、画像処理装置101は、HMDであるとして説明する。画像処理装置101は、構成要素として、CPU102、ROM103、RAM104、撮像部105、表示部106、操作部107、通信部108を有する。各構成要素は、バス109を介して、互いに接続されている。
CPU102は、画像処理装置101を統括的に制御する演算処理装置である。CPU102は、ROM103などに格納された各種プログラムを実行して様々な処理を行う。
ROM103は、変更を必要としないプログラム(画像処理プログラムや初期データなど)やパラメータを格納する読み出し専用の不揮発性メモリ装置である。
RAM104は、入力情報や画像処理における演算結果などを一時的に格納する。また、RAM104は、CPU102に作業領域を提供するメモリ装置である。
撮像部105は、現実空間を撮像した画像(撮像画像)を取得するカメラである。実施形態1では、撮像部105は、画像処理装置101であるHMDを装着するユーザの視界であって、当該ユーザがHMDを装着していないと仮定した場合の視界を撮像する。
表示部106は、液晶ディスプレイなどである。表示部106は、撮像画像、仮想オブジェクト、文字、または/およびアイテム(アイコン;コンテンツ)などを表示する。
操作部107は、電源ボタンまたはダイヤルなどの操作部材を含む操作ユニットである。
通信部108は、有線通信または無線通信(無線LANまたはローカル5Gなど)によって、データの送受信を外部装置と行う。通信部108は、イーサネット、またはIEEE902.11などの通信規格に準拠したデバイスである。
なお、画像処理装置101は、撮像部105および表示部106を有していなくてもよい。例えば、画像処理装置101とは別に、撮像部105および表示部106を有するH
MDが存在しており、画像処理装置101がHMD(撮像部105および表示部106)を制御するパーソナルコンピュータであってもよい。
MDが存在しており、画像処理装置101がHMD(撮像部105および表示部106)を制御するパーソナルコンピュータであってもよい。
以下、探索協力を依頼する(探索依頼を行う)画像処理装置101のユーザを「依頼者」と呼ぶ。探索協力を依頼される画像処理装置101のユーザを「協力者」と呼ぶ。図1Bに示すように、依頼者の画像処理装置101(画像処理装置101A)と、協力者の画像処理装置101(画像処理装置101B)とは、ネットワークを介して互いに通信可能なように接続されている。なお、依頼者の画像処理装置101Aと、協力者の画像処理装置101Bとを併せて、情報処理システムと捉えることもできる。
(依頼者の画像処理装置の機能構成)
図2は、本実施形態に係る「依頼者」の画像処理装置101Aの機能構成を示すブロック図である。画像処理装置101Aは、目標決定部201、探索依頼部203、画像取得部204、画像解析部206、結果取得部207、位置取得部208、特定部212を有する。これらの機能構成が行う処理は、CPU102がプログラムを実行することにより実現できるので、CPU102がこれらの機能構成を有するといえる。しかし、CPU102がこれらの全ての処理を実現する必要はない。例えば、画像処理装置101は、1つ以上の処理を実現する専用の処理回路を備えてもよい。なお、本実施形態では、各構成要素は、任意の方法によって他の構成要素と情報の受け渡しをしてもよい。例えば、各構成要素は、取得した情報や生成した情報を一度RAM104に保存することにより、他の構成要素がこれらの情報を取得可能な状態にしてもよい。つまり、本実施形態では、RAM104を介して、構成要素間の情報の受け渡しを行ってもよい。また、各構成要素は、取得した情報や生成した情報を、RAM104に保存することなく、他の構成要素に出力してもよい。
図2は、本実施形態に係る「依頼者」の画像処理装置101Aの機能構成を示すブロック図である。画像処理装置101Aは、目標決定部201、探索依頼部203、画像取得部204、画像解析部206、結果取得部207、位置取得部208、特定部212を有する。これらの機能構成が行う処理は、CPU102がプログラムを実行することにより実現できるので、CPU102がこれらの機能構成を有するといえる。しかし、CPU102がこれらの全ての処理を実現する必要はない。例えば、画像処理装置101は、1つ以上の処理を実現する専用の処理回路を備えてもよい。なお、本実施形態では、各構成要素は、任意の方法によって他の構成要素と情報の受け渡しをしてもよい。例えば、各構成要素は、取得した情報や生成した情報を一度RAM104に保存することにより、他の構成要素がこれらの情報を取得可能な状態にしてもよい。つまり、本実施形態では、RAM104を介して、構成要素間の情報の受け渡しを行ってもよい。また、各構成要素は、取得した情報や生成した情報を、RAM104に保存することなく、他の構成要素に出力してもよい。
目標決定部201は、目標情報202を決定する。目標情報202は、依頼者が探索を希望する物体(探索物体)の情報である。目標情報202は、探索物体を探す(探索する)ためのキー(検索キー)である。探索物体は、例えば、商品、人物である。
探索依頼部203は、通信部108を介して、協力者の画像処理装置101Bに、目標情報202を含む探索依頼情報211を送信する。このことにより、探索依頼部203は、画像処理装置101Bに探索物体の探索依頼を行う(探索の協力を依頼する)。なお、探索依頼部203は、1つの画像処理装置101Bに探索物体の探索依頼を行ってもよいし、複数の画像処理装置101Bに探索物体の探索依頼を行ってもよい。
画像取得部204は、視界画像205を取得する。視界画像205は、画像処理装置101AであるHMDを依頼者が装着していないと仮定した場合の依頼者の視界を撮像部105が撮像している撮像画像である。
画像解析部206は、視界画像205に写る被写体を解析した結果を、解析結果210(図3参照)としてRAM104に保存する。解析結果210は、視界画像205に写る被写体それぞれを識別する情報である。また、画像解析部206は、解析結果210および目標情報202に基づき、視界画像205に探索物体が写っているか否かを判定する。そして、画像解析部206は、視界画像205に探索物体が写っているか否かを示す探索結果213をRAM104に保存する。このため、画像解析部206は、画像を解析する解析部であるとともに、特定の被写体が画像に写っているかを判定する判定部でもある。
結果取得部207は、画像処理装置101Bから依頼結果214を取得してRAM104に保存する。依頼結果214は、画像処理装置101Bが探索依頼を受諾したか否かを示す情報、視界画像205に探索物体が写っているか否かを示す情報(画像処理装置10
1Bが取得した探索結果213)、画像処理装置101Bの位置を示す位置情報209を含む。また、依頼結果214は、画像処理装置101Bの姿勢を示す姿勢情報を含んでいてもよい。なお、以下では、「位置」とは、緯度経度であってもよいし、緯度経度と高度の情報の組み合わせであってもよいし、例えば、施設内部といったある程度抽象的な概念であってもよい。このため、「位置情報」とは、ある程度の場所が特定できれば、任意の情報であってよい。
1Bが取得した探索結果213)、画像処理装置101Bの位置を示す位置情報209を含む。また、依頼結果214は、画像処理装置101Bの姿勢を示す姿勢情報を含んでいてもよい。なお、以下では、「位置」とは、緯度経度であってもよいし、緯度経度と高度の情報の組み合わせであってもよいし、例えば、施設内部といったある程度抽象的な概念であってもよい。このため、「位置情報」とは、ある程度の場所が特定できれば、任意の情報であってよい。
位置取得部208は、GPSまたは高度計などを用いて(GPSまたは高度計などと通信することにより)、画像処理装置101A(依頼者)の現在の位置を示す情報である位置情報209を取得する。また、位置取得部208は、ジャイロセンサまたは加速度センサなどを用いて、画像処理装置101Aの姿勢を示す情報である姿勢情報を取得可能であってもよい。
特定部212は、探索結果213と位置情報209、または依頼結果214に基づき、探索物体の位置を特定する。
(協力者の画像処理装置の機能構成)
図3は、本実施形態に係る「協力者」の画像処理装置101Bの機能構成を示すブロック図である。画像処理装置101Bは、機能構成として、依頼取得部301、依頼判定部302、ユーザ通知部303、依頼返答部304、画像取得部204、画像解析部206、位置取得部208を有する。これらの機能構成が行う処理は、CPU102がプログラムを実行することにより実現できるので、CPU102がこれらの機能構成を有するといえる。しかし、CPU102がこれら全ての処理を実現する必要はない。例えば、画像処理装置101は、1つ以上の処理を実現する専用の処理回路を備えてもよい。なお、本実施形態では、各構成要素は、任意の方法によって他の構成要素と情報の受け渡しをしてもよい。例えば、各構成要素は、取得した情報や生成した情報を一度RAM104に保存することにより、他の構成要素がこれらの情報を取得可能な状態にしてもよい。つまり、本実施形態では、RAM104を介して、構成要素間の情報の受け渡しを行ってもよい。また、各構成要素は、取得した情報や生成した情報を、RAM104に保存することなく、他の構成要素に出力してもよい。
図3は、本実施形態に係る「協力者」の画像処理装置101Bの機能構成を示すブロック図である。画像処理装置101Bは、機能構成として、依頼取得部301、依頼判定部302、ユーザ通知部303、依頼返答部304、画像取得部204、画像解析部206、位置取得部208を有する。これらの機能構成が行う処理は、CPU102がプログラムを実行することにより実現できるので、CPU102がこれらの機能構成を有するといえる。しかし、CPU102がこれら全ての処理を実現する必要はない。例えば、画像処理装置101は、1つ以上の処理を実現する専用の処理回路を備えてもよい。なお、本実施形態では、各構成要素は、任意の方法によって他の構成要素と情報の受け渡しをしてもよい。例えば、各構成要素は、取得した情報や生成した情報を一度RAM104に保存することにより、他の構成要素がこれらの情報を取得可能な状態にしてもよい。つまり、本実施形態では、RAM104を介して、構成要素間の情報の受け渡しを行ってもよい。また、各構成要素は、取得した情報や生成した情報を、RAM104に保存することなく、他の構成要素に出力してもよい。
依頼取得部301は、通信部108を介して、目標情報202を含む探索依頼情報211を画像処理装置101Aから取得する。これにより、依頼取得部301は、画像処理装置101Aから探索物体の探索依頼(探索協力の依頼)を受ける。
依頼判定部302は、探索依頼を受諾するか否か(拒否するか否か)を判定する。依頼判定部302は、探索依頼を受諾したか否かを示す情報を諾否情報305としてRAM104に保存する。
ユーザ通知部303は、探索物体に関する情報を協力者に通知する(例えば、目標情報202を表示部106に表示する)。
依頼返答部304は、依頼結果214を依頼者に送信する送信部である。依頼結果214には、画像処理装置101Bの位置情報209、探索結果213(画像処理装置101Bが取得した視界画像205に探索物体が写っていたか否かの情報)、諾否情報305が含まれる。依頼結果214は、探索結果213の代わりに、解析結果210を含んでいてもよい。
以下では、画像処理装置101Aが有する構成または情報については、構成または情報に付された番号の末尾に「A」の文字を付す。一方、画像処理装置101Bが有する構成
については、構成または情報に付された番号の末尾に「B」の文字を付す。例えば、画像処理装置101Aが有する画像取得部204を、「画像取得部204A」と表す。なお、目標情報202、探索依頼情報211および依頼結果214については、画像処理装置101Aと画像処理装置101Bとで同一の情報を用いるため、末尾に文字は付さない。
については、構成または情報に付された番号の末尾に「B」の文字を付す。例えば、画像処理装置101Aが有する画像取得部204を、「画像取得部204A」と表す。なお、目標情報202、探索依頼情報211および依頼結果214については、画像処理装置101Aと画像処理装置101Bとで同一の情報を用いるため、末尾に文字は付さない。
(設定情報)
図4Aおよび図4Bは、依頼者または協力者が、操作部107に対する操作によって設定可能な設定情報を説明する図である。図4Aは、探索物体に関する情報を協力者に開示するか否かを示す開示設定情報を表す。図4Bは、探索物体に関する情報を表示するか否かを示す表示設定情報と、探索依頼を受諾するか否かを示す協力設定情報を示す。なお、開示設定情報はRAM104Aに格納され、表示設定情報と協力設定情報とはRAM104Bに格納される。なお、探索物体に関する情報は、目標情報202であってもよいし、視界画像205Bにおける探索物体の位置を示す情報であってもよい。
図4Aおよび図4Bは、依頼者または協力者が、操作部107に対する操作によって設定可能な設定情報を説明する図である。図4Aは、探索物体に関する情報を協力者に開示するか否かを示す開示設定情報を表す。図4Bは、探索物体に関する情報を表示するか否かを示す表示設定情報と、探索依頼を受諾するか否かを示す協力設定情報を示す。なお、開示設定情報はRAM104Aに格納され、表示設定情報と協力設定情報とはRAM104Bに格納される。なお、探索物体に関する情報は、目標情報202であってもよいし、視界画像205Bにおける探索物体の位置を示す情報であってもよい。
依頼者は、開示設定情報を「開示」と「非開示」のいずれかに設定することにより、探索物体に関する情報を開示するか否かを設定することができる。協力者は、表示設定情報を「表示」と「非表示」のいずれかに設定することにより、探索物体に関する情報を表示部106Bに表示するか否かを設定することができる。さらに、協力者は、協力設定情報を「受諾」と「拒否」のいずれかに設定することにより、探索依頼を受諾するか否かを設定することができる。すなわち、依頼者と協力者は、セキュリティ、プライバシーの観点を鑑みて、情報の取り扱いの設定を変更可能である。また、協力者が探索依頼を受諾するように協力設定情報を設定していればインセンティブが付与されるなどによって、積極的な探索の協力が促されてもよい。
(依頼者側の処理)
図5のフローチャートを参照して、画像処理装置101Aが、探索物体の位置を特定する処理(特定処理;特定方法;画像処理装置101Aの制御方法)を説明する。なお、本フローチャートに係る制御プログラムをCPU102Aが実行することにより、本フローチャートの処理が実現される。
図5のフローチャートを参照して、画像処理装置101Aが、探索物体の位置を特定する処理(特定処理;特定方法;画像処理装置101Aの制御方法)を説明する。なお、本フローチャートに係る制御プログラムをCPU102Aが実行することにより、本フローチャートの処理が実現される。
ステップS501において、目標決定部201Aは、探索物体を表す目標情報202を決定する。目標情報202は、例えば、ユーザが指定した文字列(キーワード)または画像の情報である。また、目標決定部201は、予め撮像部105が特定の被写体を撮像した画像の情報を目標情報202として決定してもよい。目標決定部201Aは、スマートフォンなどの外部デバイスから入力された情報を目標情報202として決定してもよい。目標決定部201Aは、依頼者の過去の行動履歴に基づき推定した文字列、または画像の情報を目標情報202として決定してもよい。例えば、依頼者が毎日、特定の時刻に倉庫の鍵を探すような行動をとっていれば、目標決定部201Aは、当該特定の時刻に達すると、行動履歴に基づき、当該倉庫の鍵の画像を目標情報202として推定(決定)する。
また、目標決定部201Aは、ユーザが指定した情報(文字列や画像)の代わりに、当該ユーザが指定した情報に紐づく(基づく)情報を目標情報202として決定してもよい。例えば、ユーザが倉庫の鍵の画像を指定した場合には、当該倉庫の鍵が通常時において特定の棚にしまわれているのであれば、特定の棚の画像を目標情報202として決定してもよい。この場合には、探索物体は、倉庫の鍵ではなく、特定の棚である。また、この場合には、例えば、RAM104Aに、倉庫の鍵の画像と、特定の棚の画像とが紐づけられて保存されている。
ステップS502において、画像取得部204Aは、撮像部105Aが依頼者の視界を撮像した視界画像205Aを取得する。そして、画像解析部206Aは、視界画像205
Aを解析することにより、視界画像205Aに写っている被写体を判定する。この解析には、既存の物体認識技術や文字認識技術を用いることができる。画像解析部206Aは、視界画像205Aに写っていると判定された被写体の情報を解析結果210Aとして、RAM104Aに保存する。
Aを解析することにより、視界画像205Aに写っている被写体を判定する。この解析には、既存の物体認識技術や文字認識技術を用いることができる。画像解析部206Aは、視界画像205Aに写っていると判定された被写体の情報を解析結果210Aとして、RAM104Aに保存する。
ステップS503において、画像解析部206Aは、目標情報202および解析結果210Aに基づき、視界画像205Aに探索物体が写っているか否かを判定する。例えば、画像解析部206Aは、解析結果210Aが示す複数の被写体に目標情報202が示す探索物体が含まれているかによって、視界画像205Aに探索物体が写っているか否かを判定する。そして、画像解析部206Aは、視界画像205Aに探索物体が写っているか否かを示す探索結果213AをRAM104Aに保存する。視界画像205Aに探索物体が写っていると判定された場合には、画像処理装置101Bに探索を依頼する必要がなく、ステップS507に進む。視界画像205Aに探索物体が写っていないと判定された場合には、ステップS504に進む。
なお、ステップS502において、画像解析部206Aが、目標情報202に基づき視界画像205Aを解析することによって、視界画像205Aに探索物体が写っている否かを判定してもよい。この場合には、ステップS503の処理が行われず、視界画像205に探索物体が写っていると判定された場合にはステップS507に進み、視界画像205に探索物体が写っていないと判定された場合には、ステップS504に進む。
ステップS504において、探索依頼部203Aは、依頼者と同一のネットワークに接続している画像処理装置101Bに対して探索依頼を行う。具体的には、探索依頼部203Aは、目標情報202を含む探索依頼情報211を画像処理装置101Bに送信する。なお、実施形態1では、探索依頼情報211は開示設定情報(図4A参照)を含む。
ステップS505において、結果取得部207Aは、画像処理装置101Bから依頼結果214を受信する。結果取得部207Aは、依頼結果214をRAM104に保存する。
ステップS506において、特定部212Aは、依頼結果214(探索結果213B)に基づき、協力者の視界画像205Bに探索物体が写っているか否かを判定する。視界画像205Bに探索物体が写っていると判定された場合には、ステップS507に進む。視界画像205Bに探索物体が写っていないと判定された場合には、本フローチャートの処理が終了する。
ステップS507において、特定部212Aは、探索物体の位置(位置座標)を特定する。特定部212Aは、例えば、ステップS503にて視界画像205Aに探索物体が写っていると判定されている場合には、位置情報209Aと視界画像205Aの全体における探索物体の座標とに基づき、探索物体の位置を特定する。なお、位置取得部208AがRAM104Aに位置情報209Aを保存しているため、特定部212Aは、RAM104Aから位置情報209Aを取得することができる。また、特定部212Aは、例えば、視界画像205Bに探索物体が写っていることを依頼結果214(探索結果213B)が示していれば(ステップS506でYESの場合)、画像処理装置101Bの位置を探索物体の位置として特定する。特定部212Aは、例えば、視界画像205Bに探索物体が写っていることを依頼結果214が示していれば、画像処理装置101Bの位置(位置情報)および姿勢(姿勢情報)に基づき、探索物体の位置(座標)を特定してもよい。具体的には、特定部212Aは、画像処理装置101Bの姿勢に基づき撮像部105Bの光軸方向を判定して、画像処理装置101Bの位置から当該光軸方向の位置に探索物体が位置することを特定できる。
また、画像処理装置101A,100Bは、距離センサを有していてもよい。この場合には、特定部212Aは、例えば、視界画像205Bに探索物体が写っていれば、画像処理装置101Bの位置(または、位置および姿勢)、および画像処理装置101Bと探索物体との距離に基づき、探索物体の位置を特定してもよい。これによれば、画像処理装置101Bの位置(または、位置および姿勢)のみに基づき探索物体の位置を特定する場合よりも、より精度よく探索物体の位置を特定することが可能になる。
なお、ステップS507において特定部212Aは、画像処理装置101Aの位置を示す位置情報209Aと画像処理装置101Bの位置を示す位置情報209Bとを比較することで、依頼者から見た探索物体の相対的な位置を特定(算出)してもよい。この場合、例えば、CPU102Aは、図6が示すように、探索物体の相対的な位置に基づき、探索物体が存在する方向を表す誘導用のXRアイテム601を生成する。そして、CPU102Aは、XRアイテム601を表示部106Aに表示する。このことにより、画像処理装置101Aは、依頼者を探索物体の位置まで誘導することができる。
なお、XRアイテム601は、図6では、画像処理装置101A(依頼者)の位置を基準として探索物体の位置を示すアイテムである。しかし、XRアイテム601は、画像処理装置101A(依頼者)の位置と、探索物体の位置とを含むマップ(画像処理装置101Aの位置から探索物体の位置までのマップ)を表すアイテムであってもよい。この場合には、例えば、画像処理装置101Aが有するマップ生成部が、特定された探索物体の位置に基づき、マップであるXRアイテムを生成する。例えば、図5のフローチャートに従って複数の商品の位置が特定されることによって、マップ生成部は、或る店舗または倉庫の複数の商品の位置を表すマップを生成することができる。
(協力者側の処理)
図7を用いて、画像処理装置101Bが探索結果を画像処理装置101Aに送信する処理(画像処理装置101Bの制御方法)について説明する。なお、本フローチャートに係る制御プログラムをCPU102Bが実行することにより、本フローチャートの処理が実現される。
図7を用いて、画像処理装置101Bが探索結果を画像処理装置101Aに送信する処理(画像処理装置101Bの制御方法)について説明する。なお、本フローチャートに係る制御プログラムをCPU102Bが実行することにより、本フローチャートの処理が実現される。
図7のフローチャートの処理は、依頼取得部301Bが、通信部108Bを介して、画像処理装置101Aから探索依頼情報211を取得すると開始する。なお、依頼取得部301Bは、探索依頼情報211をRAM104Bに保存する。探索依頼情報211は、目標情報202と、開示設定情報(図4A参照)を含む。
ステップS701において、依頼判定部302Bは、RAM104Bから協力設定情報(図4B参照)を読み出して、探索依頼を受諾することを協力設定情報が示しているか否かを判定する。探索依頼を受諾することを協力設定情報が示していると判定された場合には、ステップS702に進む。探索依頼を拒否することを協力設定情報が示していると判定された場合には、ステップS706に進む。
ステップS702において、画像解析部206Bは、撮像部105Bが撮像した視界画像205Bの解析を行うことにより、解析結果210Bを取得する。ステップS702の処理は、ステップS502と同様であるので、説明は省略する。
ステップS703において、画像解析部206Bは、目標情報202および解析結果210Bに基づき、視界画像205Bに探索物体が写っているか否かを判定する。そして、画像解析部206Bは、視界画像205Bに探索物体が写っているか否かを示す探索結果213BをRAM104Bに保存する。ステップS703の処理は、ステップS503と
同様である。視界画像205Bに探索物体が写っていると判定された場合には、ステップS704に進む。視界画像205Bに探索物体が写っていないと判定された場合には、ステップS706に進む。なお、ステップS702において、画像解析部206Bが、目標情報202に基づき視界画像205Bを解析することによって、視界画像205Bに探索物体が写っている否かを判定してもよい。
同様である。視界画像205Bに探索物体が写っていると判定された場合には、ステップS704に進む。視界画像205Bに探索物体が写っていないと判定された場合には、ステップS706に進む。なお、ステップS702において、画像解析部206Bが、目標情報202に基づき視界画像205Bを解析することによって、視界画像205Bに探索物体が写っている否かを判定してもよい。
ステップS704において、ユーザ通知部303Bは、開示設定情報および表示設定情報(図4Aおよび図4B参照)をRAM104Bから読み出す。そして、ユーザ通知部303Bは、開示設定情報が「開示」を示し、かつ、表示設定情報が「表示」を示す場合には、探索物体に関する情報を表示すると判定する。それ以外の場合には、ユーザ通知部303Bは、探索物体に関する情報を表示しないと判定する。探索物体に関する情報を表示すると判定された場合には、ステップS705に進む。探索物体に関する情報を表示しないと判定された場合には、ステップS706に進む。
ステップS705において、ユーザ通知部303Bは、探索物体に関する情報を表示部106に表示する。なお、探索物体に関する情報は、探索物体の位置を示す情報、目標情報202、または探索物体の名称を示す情報など、ユーザ(協力者)が探索物体を認識できれば任意の情報であってよい。
例えば、図8が示すように、ユーザ通知部303Bは、視界画像205Bにおける探索物体801に対してXRアイテム802を重畳する。ユーザ通知部303Bは、探索物体801の位置を示すXRアイテム802を表示部106Bに表示することにより、探索物体801に関する情報をユーザ(協力者)に通知する。XRアイテム802は、探索物体801を強調表示するアイテム(表示アイテム)である。なお、XRアイテム802は、図8に示すように枠形状の表示であってもよいし、別の強調表現で表されていてもよい。さらに、ユーザ通知部303Bは、探索物体801の情報を表す目標情報202を表示部106Bに表示するようにしてもよい。ユーザ通知部303Bは、目標情報202が文字の情報である場合には、当該文字を読み上げるような音声を発することにより、探索物体801の情報をユーザに通知してもよい。
なお、ステップS704にて探索物体に関する情報を表示しないと判定された場合には、視界画像205Bに探索物体901が写っていたとしても、図9に示すように、XRアイテム802は表示部106Bに表示されない。
ステップS706において、依頼返答部304Bは、依頼結果214を画像処理装置101Aに送信する。依頼結果214は、諾否情報305B、探索結果213B、画像処理装置101Bの位置情報209Bを含む。ここで、位置情報209Bとは、撮像部105Bが撮像により視界画像205Bを取得した際の画像処理装置101Bの位置を示す。位置取得部208BがRAM104Bに位置情報209Bを保存しているため、依頼返答部304Bは、RAM104Bから位置情報209Bを取得することができる。なお、依頼結果214は、画像処理装置101Bの姿勢情報を含んでいてもよい。姿勢情報とは、撮像部105Bが撮像により視界画像205Bを取得した際の画像処理装置101Bの姿勢を示す。また、探索依頼が受諾されていない場合、または、視界画像205Bに探索物体が写っていない場合には、依頼結果214は位置情報209Bを含んでいなくてもよい。このような場合には、位置情報209Bに基づき探索物体の位置を特定することが行われないからである。
なお、依頼返答部304Bは、探索依頼を拒否することを協力設定情報が示していれば、探索依頼を拒否したことを示す諾否情報305Bを画像処理装置101Aに送信する。また、依頼返答部304Bは、視界画像205Bに探索物体が写っていなければ、視界画
像205Bに探索物体が写っていないないこと(探索物体が見つからなかったこと)を示す探索結果213Bを画像処理装置101Aに送信する。
像205Bに探索物体が写っていないないこと(探索物体が見つからなかったこと)を示す探索結果213Bを画像処理装置101Aに送信する。
実施形態1によれば、画像処理装置101Aが取得した視界画像205Aに探索物体が写っていない場合であっても、画像処理装置101Bが取得した視界画像205Bに探索物体が写っていれば、探索物体の位置が特定可能である。このため、画像処理装置101Aの位置から離れた位置に探索物体が存在する場合であっても、画像処理装置101Aは、探索物体の位置を特定することができる。
なお、実施形態1では、表示部106Aに視界画像205Aを表示する例を説明したが、これには限られない。例えば、表示部106Aが高い透明度を有しており、依頼者が表示部106Aを介して直接、現実の空間を見ることができる場合がある。この場合には、表示部106Aは、視界画像205Aを表示しなくてもよい。また、この場合には、XRアイテムなどが表示部106Aに表示されない限り、依頼者が表示部106Aを介して見ている範囲は、視界画像205Aを取得するために撮像部105が撮像の対象とする範囲と略同一である。
さらには、画像処理装置101Bが、特定部212Bを有していてもよい。この場合には、視界画像205Bに探索物体が写っていれば、特定部212Bが探索物体の位置を特定してもよい。そして、依頼返却部304Bが探索物体の位置の情報を画像処理装置101Aに送信してもよい。
また、画像処理装置101Bは、視界画像205Bに探索物体が写っているか否かを判定しなくてもよい。この場合には、画像処理装置101Bは、探索結果213Bの代わりに、視界画像205Bを画像処理装置101Aに送信してもよい。そして、この場合には、画像処理装置101Aの画像解析部206Aが、視界画像205Bに探索物体が写っているか否かを判定する。つまり、画像処理装置101Bの上述の処理の一部を画像処理装置101Aが行ってもよいし、画像処理装置101Aの上述の処理の一部を画像処理装置101Bが行ってもよい。
さらに、目標決定部201Aは、ユーザが指定した情報(文字列や画像)に加えて、当該ユーザが指定した情報に紐づく情報を目標情報202として決定してもよい。例えば、ユーザが指定した情報が倉庫の鍵の画像であり、ユーザが指定した情報に紐づく情報が特定の棚の画像であれば、画像処理装置101Aは、視界画像205Aまたは205Bに倉庫の鍵または特定の棚が写っていないかを判定する。そして、画像処理装置101Aは、視界画像205Aまたは205Bに倉庫の鍵または特定の棚が写っているのであれば、倉庫の鍵または特定の棚の位置を特定する。なお、この場合には、探索物体は、倉庫の鍵と特定の棚である。
<実施形態2>
実施形態1では、依頼者の画像処理装置101Aは、協力者の画像処理装置101Bに探索依頼を行う。これによれば、画像処理装置101Aが撮像により取得した視界画像205Aのみならず、画像処理装置101Bが撮像により取得した視界画像205Bを用いて、探索物体の探索(位置の特定)ができる。しかしながら、視界画像205Bは画像処理装置101Bが探索依頼を受けた時点の画像であるため、実施形態1では、過去の視界画像205Bを探索に用いることができない。
実施形態1では、依頼者の画像処理装置101Aは、協力者の画像処理装置101Bに探索依頼を行う。これによれば、画像処理装置101Aが撮像により取得した視界画像205Aのみならず、画像処理装置101Bが撮像により取得した視界画像205Bを用いて、探索物体の探索(位置の特定)ができる。しかしながら、視界画像205Bは画像処理装置101Bが探索依頼を受けた時点の画像であるため、実施形態1では、過去の視界画像205Bを探索に用いることができない。
そこで、実施形態2では、過去の視界画像205Bの解析結果210Bをサーバに蓄積して、依頼者の画像処理装置101Aがサーバに対して探索依頼を実行する。サーバは、例えば、ローカル5Gネットワークサーバや、MEC(Mobile Edge Com
puting)サーバである。サーバが解析結果210Bを蓄積することによれば、画像処理装置101Aは、過去に取得された視界画像205Bに基づき探索物体を探す(探索物体の位置を特定する)ことができる。
puting)サーバである。サーバが解析結果210Bを蓄積することによれば、画像処理装置101Aは、過去に取得された視界画像205Bに基づき探索物体を探す(探索物体の位置を特定する)ことができる。
図10は、実施形態2に係る画像処理装置101BのCPU102Bの機能構成、およびサーバ1002の機能構成を示すブロック図である。実施形態2に係る画像処理装置101BのCPU102Bは、機能構成として、画像取得部204B、画像解析部206B、位置取得部208B、依頼判定部302B、情報送信部1001Bを有する。以下では、実施形態1において説明した機能構成についての説明は省略する。
情報送信部1001Bは、撮像部105Bが撮像により視界画像205Bを取得すると、それぞれが視界画像205に対応する位置情報209Bと解析結果210Bをサーバ1002に送信する。
サーバ1002は、探索情報DB1003を有する電子機器である。サーバ1002は、例えば、ローカル5GネットワークサーバまたはMECサーバである。
探索情報DB1003は、画像処理装置101Bから送信された位置情報209Bと解析結果210Bを蓄積するデータベースである。
図11は、画像処理装置101Bが解析結果210Bおよび位置情報209Bをサーバ1002に送信する処理を示すフローチャートである。なお、本フローチャートに係る制御プログラムをCPU102Bが実行することにより、本フローチャートの処理が実現される。本フローチャートの処理は、画像処理装置101Bがネットワーク(ローカル5Gネットワークなど)に接続されると、開始する。
ステップS1101において、依頼判定部302Bは、探索依頼を受諾することを協力設定情報が示しているか否かを判定する。探索依頼を受諾することを協力設定情報が示していると判定された場合には、ステップS1102に進む。探索依頼を拒否することを協力設定情報が示していると判定された場合には、本フローチャートの処理が終了する。
ステップS1102において、画像取得部204Bは、撮像部105Bから視界画像205Bを取得する。そして、画像解析部206Bは、視界画像205Bを解析することにより、視界画像205Bに写っている被写体を判定する。画像解析部206Bは、視界画像205Bに写っていると判定された被写体の情報を解析結果210Bとして、RAM104Bに保存する。
ステップS1103において、情報送信部1001Bは、位置情報209Bと解析結果210Bをサーバ1002に送信する。これにより、サーバ1002において、位置情報209Bと解析結果210Bとが探索情報DB1003に保存される。情報送信部1001が位置情報209Bと解析結果210Bをサーバ1002に送信するタイミングは、サーバから要求された時点でもよいし、協力者が設定した時間周期に従ってもよい。
ここで、画像処理装置101Aの処理については、図5が示す処理と同様であるので説明を省略する。ただし、ステップS504で探索依頼部203Aが探索依頼を行う相手は、画像処理装置101Bではなく、サーバ1002である。このため、サーバ1002は、探索依頼情報211を受け取ると、解析結果210Bに基づき、図7のステップS703と同様の処理を実行して、ステップS706と同様に依頼結果214を画像処理装置101Aに送信する。そこで、サーバ1002は、図3に示す画像処理装置101Bの機能構成の全部または少なくとも一部と同様の機能構成を有しているとよい。なお、依頼結果
214は、探索依頼を受諾したことを示す諾否情報305を常に含んでいてもよいし、諾否情報305を含んでいなくてもよい。
214は、探索依頼を受諾したことを示す諾否情報305を常に含んでいてもよいし、諾否情報305を含んでいなくてもよい。
これによれば、画像処理装置101Bの撮像部105Bにより過去に取得された視界画像205Bに対しても探索を行うことができる。このため、例えば、現時点における視界画像205Aと視界画像205Bとのいずれにも探索物体が存在しない場合であっても、探索物体が過去に存在した位置を特定することができる。
また、情報送信部1001は、解析結果210Bの代わりに、視界画像205Bをサーバ1002に送信してもよい。この場合には、サーバ1002において視界画像205Bの解析が行われればよい。
さらに、情報送信部1001は、解析結果210Bと位置情報209Bとともに、視界画像205Bを撮像部105Bが撮像により取得した時刻(撮像時刻)を示す時刻情報を送信してもよい。そして、サーバは、解析結果210Bと位置情報209Bとともに、時刻情報を蓄積する。この場合には、サーバ1002は、探索依頼情報211を受け取ると、時刻情報を含む依頼結果214を画像処理装置101Aに送信する。そして、例えば、画像処理装置101AのCPU102Aは、探索物体の位置を特定した後に、探索物体に関する情報を示すXRアイテムとともに、時刻情報が示す時刻(つまり、探索物体の存在が確認された時刻)を表すアイテムを表示部106Aに表示する。これによれば、依頼者は、時刻情報が示す時刻を知ることで、例えば、特定された探索物体の位置に探索物体が存在していなかったとしても、当該時刻に基づき、当該時刻から現在の時刻までに探索物体が移動していると考えられる位置を推測できる。
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。
なお、上記の各実施形態(各変形例)の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。1つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つの機能部の2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ASIC、FPGA、DSPなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ(記憶媒体)とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
(その他の実施形態)
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101:画像処理装置、203:探索依頼部、207:結果取得部
212:特定部
212:特定部
Claims (20)
- 第1の装置である電子機器であって、
探索物体の情報を含む探索依頼情報を送信する依頼手段と、
第2の装置が撮像により撮像画像を取得した際の前記第2の装置の位置を示す位置情報を取得する取得手段と、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定手段と、
を有することを特徴とする電子機器。 - 前記取得手段は、さらに、前記第2の装置が前記撮像画像を取得した際の前記第2の装置の姿勢を示す姿勢情報を取得し、
前記特定手段は、前記撮像画像に前記探索物体が写っている場合には、前記位置情報と前記姿勢情報に基づき前記探索物体の位置を特定する、
ことを特徴とする請求項1に記載の電子機器。 - 前記依頼手段は、前記探索依頼情報を前記第2の装置に送信し、
前記取得手段は、前記位置情報を前記第2の装置から取得する、
ことを特徴とする請求項1または2に記載の電子機器。 - 前記探索依頼情報は、前記探索物体に関する情報を前記第2の装置のユーザに開示するか否かを示す開示設定情報を含む、
ことを特徴とする請求項3に記載の電子機器。 - 前記撮像画像は、前記第2の装置が過去に取得した画像であり、
前記依頼手段は、前記探索依頼情報をサーバに送信し、
前記取得手段は、前記位置情報を前記サーバから取得する、
ことを特徴とする請求項1または2に記載の電子機器。 - 前記探索物体の情報は、前記電子機器のユーザにより指定された、文字列の情報または画像の情報である、
ことを特徴とする請求項1から5のいずれか1項に記載の電子機器。 - 前記探索物体の情報は、前記電子機器のユーザの過去の行動履歴に基づき推定された文字列の情報または画像の情報である、
ことを特徴とする請求項1から5のいずれか1項に記載の電子機器。 - 前記探索物体の位置を示すアイテムを表示する表示手段をさらに有する、
ことを特徴とする請求項1から7のいずれか1項に記載の電子機器。 - 前記アイテムは、前記電子機器の位置と前記探索物体の位置とを含むマップである、
ことを特徴とする請求項8に記載の電子機器。 - 前記取得手段は、さらに、前記撮像画像の撮像が行われた時刻の情報を取得し、
前記表示手段は、前記アイテムとともに前記時刻を表示する、
ことを特徴とする請求項8または9のいずれか1項に記載の電子機器。 - 探索物体の情報を含む探索依頼情報を第1の装置から取得する取得手段と、
第2の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定手段と、
前記判定手段が前記撮像画像に前記探索物体が写っていると判定した場合には、前記撮像画像を取得した際の前記第2の装置の位置を示す位置情報を前記第1の装置に送信する送信手段と、
を有することを特徴とする電子機器。 - 前記送信手段は、前記判定手段が前記撮像画像に前記探索物体が写っていないと判定した場合には、前記撮像画像に前記探索物体が写っていないことを示す情報を前記第1の装置に送信する、
ことを特徴とする請求項11に記載の電子機器。 - 前記第2の装置のユーザは、探索依頼を拒否するか否かを予め設定可能であり、
前記送信手段は、前記第2の装置のユーザが前記探索依頼を拒否すると設定している場合には、前記探索依頼を拒否したことを示す情報を前記第1の装置に送信する、
ことを特徴とする請求項11または12に記載の電子機器。 - 前記探索依頼情報は、前記探索物体に関する情報を前記第2の装置のユーザに開示するか否かを示す開示設定情報を含み、
前記第2の装置のユーザは、前記探索物体に関する情報を通知する設定が可能であり、
前記電子機器は、前記開示設定情報が前記探索物体に関する情報を前記第2の装置のユーザに開示することを示し、かつ、前記第2の装置のユーザが前記探索物体に関する情報を通知する設定をしていれば、前記第2の装置のユーザに前記探索物体に関する情報を通知する通知手段をさらに有する、
ことを特徴とする請求項11から13のいずれか1項に記載の電子機器。 - 前記電子機器は、前記第2の装置である、
ことを特徴とする請求項11から14のいずれか1項に記載の電子機器。 - 第1の装置と第2の装置とを有する情報処理システムであって、
探索物体の情報を含む探索依頼情報を前記第1の装置から送信する依頼手段と、
前記第2の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定手段と、
前記第2の装置が撮像により前記撮像画像を取得した際の前記第2の装置の位置を示す位置情報を取得する取得手段と、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定手段と、
を有することを特徴とする情報処理システム。 - 第1の装置である電子機器の制御方法であって、
探索物体の情報を含む探索依頼情報を送信する依頼ステップと、
第2の装置が撮像により撮像画像を取得した際の前記第2の装置の位置を示す位置情報を取得する取得ステップと、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定ステップと、
を有することを特徴とする電子機器の制御方法。 - 探索物体の情報を含む探索依頼情報を第1の装置から取得する取得ステップと、
第2の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定ステップと、
前記判定ステップにおいて前記撮像画像に前記探索物体が写っていると判定された場合には、前記撮像画像を取得した際の前記第2の装置の位置を示す位置情報を前記第1の装
置に送信する送信ステップと、
を有することを特徴とする電子機器の制御方法。 - 第1の装置と第2の装置とを有する情報処理システムの制御方法であって、
探索物体の情報を含む探索依頼情報を前記第1の装置から送信する依頼ステップと、
前記第2の装置が撮像により取得した撮像画像に前記探索物体が写っているか否かを、前記探索物体の情報に基づき判定する判定ステップと、
前記第2の装置が撮像により前記撮像画像を取得した際の前記第2の装置の位置を示す位置情報を取得する取得ステップと、
前記撮像画像に前記探索物体が写っている場合には、前記位置情報に基づき前記探索物体の位置を特定する特定ステップと、
を有することを特徴とする情報処理システムの制御方法。 - コンピュータを、請求項1から15のいずれか1項に記載された電子機器の各手段として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021173807A JP2023063792A (ja) | 2021-10-25 | 2021-10-25 | 電子機器、情報処理システム、制御方法、およびプログラム |
PCT/JP2022/030121 WO2023074081A1 (ja) | 2021-10-25 | 2022-08-05 | 電子機器、情報処理システム、制御方法、およびプログラム |
CN202280071325.1A CN118159959A (zh) | 2021-10-25 | 2022-08-05 | 电子设备、信息处理系统、控制方法和程序 |
US18/636,738 US20240265568A1 (en) | 2021-10-25 | 2024-04-16 | Electronic apparatus, information processing system, and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021173807A JP2023063792A (ja) | 2021-10-25 | 2021-10-25 | 電子機器、情報処理システム、制御方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023063792A true JP2023063792A (ja) | 2023-05-10 |
Family
ID=86159325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021173807A Pending JP2023063792A (ja) | 2021-10-25 | 2021-10-25 | 電子機器、情報処理システム、制御方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240265568A1 (ja) |
JP (1) | JP2023063792A (ja) |
CN (1) | CN118159959A (ja) |
WO (1) | WO2023074081A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4562944B2 (ja) * | 2001-04-27 | 2010-10-13 | セコム株式会社 | 捜索支援システム及び捜索支援方法 |
JP2004177997A (ja) * | 2002-11-22 | 2004-06-24 | Toshiba Corp | 人物探索システム及び人物探索方法 |
JP6870584B2 (ja) * | 2017-11-13 | 2021-05-12 | トヨタ自動車株式会社 | 救援システムおよび救援方法、ならびにそれに使用されるサーバおよびプログラム |
CN107992814A (zh) * | 2017-11-28 | 2018-05-04 | 北京小米移动软件有限公司 | 对象寻找方法及装置 |
CN112997211B (zh) * | 2018-11-13 | 2024-04-05 | 索尼半导体解决方案公司 | 数据分发系统、传感器装置和服务器 |
JP7243413B2 (ja) * | 2019-04-24 | 2023-03-22 | 富士通株式会社 | 見守りシステム、通知装置および通知方法 |
-
2021
- 2021-10-25 JP JP2021173807A patent/JP2023063792A/ja active Pending
-
2022
- 2022-08-05 WO PCT/JP2022/030121 patent/WO2023074081A1/ja active Application Filing
- 2022-08-05 CN CN202280071325.1A patent/CN118159959A/zh active Pending
-
2024
- 2024-04-16 US US18/636,738 patent/US20240265568A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN118159959A (zh) | 2024-06-07 |
WO2023074081A1 (ja) | 2023-05-04 |
US20240265568A1 (en) | 2024-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10839605B2 (en) | Sharing links in an augmented reality environment | |
US10110868B2 (en) | Image processing to determine center of balance in a digital image | |
KR20180042589A (ko) | 사용자 편집 이미지를 이용한 증강현실 콘텐츠 제공 방법 및 시스템 | |
US11430207B2 (en) | Reception apparatus, reception system, reception method and storage medium | |
US10142598B2 (en) | Wearable terminal device, photographing system, and photographing method | |
WO2013128715A1 (ja) | 電子機器 | |
WO2021020500A1 (ja) | 情報処理装置、及び、マーケティング活動支援装置 | |
JPH0855133A (ja) | 顔画像による登録データ検索装置 | |
US11350243B2 (en) | Location tracking | |
JP2021099831A (ja) | 表示制御装置、制御方法、プログラム及び記憶媒体 | |
WO2023074081A1 (ja) | 電子機器、情報処理システム、制御方法、およびプログラム | |
JP2017054229A (ja) | 人物判別システム | |
JP2018112753A (ja) | 情報表示端末及び情報表示方法 | |
JPWO2009110276A1 (ja) | 利用者情報提示システム、利用者情報提示装置、利用者情報提示方法、及び利用者情報提示用プログラム | |
JP5801690B2 (ja) | 画像処理装置、画像処理方法 | |
JP2013182422A (ja) | 電子機器 | |
JP6734487B2 (ja) | 地域別笑顔度表示システム、地域別笑顔度表示方法及びプログラム | |
KR20080090035A (ko) | 웹 서비스를 이용한 방문자 식별 시스템 및 방법 | |
JP2013183289A (ja) | 電子機器 | |
JP7459038B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
US11836179B1 (en) | Multimedia query system | |
EP4254260A1 (en) | Artificial intelligence assistant device and system based on door image analysis | |
US12002073B2 (en) | Information display terminal, information transmission method, and computer program | |
JP7110669B2 (ja) | ビデオ会議システム、ビデオ会議方法、およびプログラム | |
WO2024195376A1 (en) | Information processing apparatus, outdoor unit of intercom system, information processing method, and program |