JP2023027548A - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents
情報処理装置、情報処理方法及び情報処理プログラム Download PDFInfo
- Publication number
- JP2023027548A JP2023027548A JP2021132704A JP2021132704A JP2023027548A JP 2023027548 A JP2023027548 A JP 2023027548A JP 2021132704 A JP2021132704 A JP 2021132704A JP 2021132704 A JP2021132704 A JP 2021132704A JP 2023027548 A JP2023027548 A JP 2023027548A
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- information
- context
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 9
- 238000012545 processing Methods 0.000 title description 11
- 230000010365 information processing Effects 0.000 claims abstract description 47
- 238000010801 machine learning Methods 0.000 claims description 14
- 230000006399 behavior Effects 0.000 claims description 8
- 230000008451 emotion Effects 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Abstract
Description
図1は、実施形態に係る情報処理の概要を示す図である。図1に示す情報処理は、情報処理システム1によって実現される。なお、図1では、本願に係る情報処理装置の一例である情報提供装置100によって、実施形態に係る情報処理が実現されるものとする。
図2は、端末装置10の構成例を示す図である。図2に示すように、端末装置10は、通信部11と、表示部12と、入力部13と、測位部14と、センサ部20と、制御部30(コントローラ)と、記憶部40とを備える。
通信部11は、ネットワークN(図示略)と有線又は無線で接続され、ネットワークNを介して、情報提供装置100との間で情報の送受信を行う。例えば、通信部11は、NIC(Network Interface Card)やアンテナ等によって実現される。
表示部12は、位置情報等の各種情報を表示する表示デバイスである。例えば、表示部12は、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescent Display)である。また、表示部12は、タッチパネル式のディスプレイであるが、これに限定されるものではない。
入力部13は、利用者Uから各種操作を受け付ける入力デバイスである。また、入力部13は、例えば、文字や数字等を入力するためのボタン等を有する。また、表示部12がタッチパネル式のディスプレイである場合、表示部12の一部が入力部13として機能する。なお、入力部13は、利用者Uから音声入力を受け付けるマイク等であってもよい。マイクはワイヤレスであってもよい。
測位部14は、GPS(Global Positioning System)の衛星から送出される信号(電波)を受信し、受信した信号に基づいて、自装置である端末装置10の現在位置を示す位置情報(例えば、緯度及び経度)を取得する。すなわち、測位部14は、端末装置10の位置を測位する。なお、GPSは、GNSS(Global Navigation Satellite System)の一例に過ぎない。
例えば、測位部14は、端末装置10のWi-Fi(登録商標)通信機能や、各通信会社が備える通信網を利用して、端末装置10の位置を測位する。具体的には、測位部14は、Wi-Fi通信等を行い、付近の基地局やアクセスポイントとの距離を測位することにより、端末装置10の位置を測位する。
また、測位部14は、端末装置10のBluetooth(登録商標)機能を利用して位置を測位してもよい。例えば、測位部14は、Bluetooth(登録商標)機能によって接続されるビーコン(beacon)発信機と接続することにより、端末装置10の位置を測位する。
また、測位部14は、予め測定された構造物の地磁気のパターンと、端末装置10が備える地磁気センサとに基づいて、端末装置10の位置を測位する。
また、例えば、端末装置10が駅改札や店舗等で使用される非接触型ICカードと同等のRFID(Radio Frequency Identification)タグの機能を備えている場合、もしくはRFIDタグを読み取る機能を備えている場合、端末装置10によって決済等が行われた情報とともに、使用された位置が記録される。測位部14は、かかる情報を取得することで、端末装置10の位置を測位してもよい。また、位置は、端末装置10が備える光学式センサや、赤外線センサ等によって測位されてもよい。
センサ部20は、端末装置10に搭載又は接続される各種のセンサを含む。なお、接続は、有線接続、無線接続を問わない。例えば、センサ類は、ウェアラブルデバイスやワイヤレスデバイス等、端末装置10以外の検知装置であってもよい。図2に示す例では、センサ部20は、加速度センサ21と、ジャイロセンサ22と、気圧センサ23と、気温センサ24と、音センサ25と、光センサ26と、磁気センサ27と、画像センサ(カメラ)28とを備える。
制御部30は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM、入出力ポート等を有するマイクロコンピュータや各種の回路を含む。また、制御部30は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路等のハードウェアで構成されてもよい。制御部30は、送信部31と、受信部32と、処理部33とを備える。
送信部31は、例えば入力部13を用いて利用者Uにより入力された各種情報や、端末装置10に搭載又は接続された各センサ21~28によって検知された各種情報、測位部14によって測位された端末装置10の位置情報等を、通信部11を介して情報提供装置100へ送信することができる。例えば、送信部31は、画像センサ28が撮影した画像を情報提供装置100へ送信する。また、送信部31は、画像の表示要求を情報提供装置100へ送信する。
受信部32は、通信部11を介して、情報提供装置100から提供される各種情報や、情報提供装置100からの各種情報の要求を受信することができる。例えば、受信部32は、通信部11を介して、画像とコンテキスト情報を含むコンテンツを情報提供装置100から受信する。
処理部33は、表示部12等を含め、端末装置10全体を制御する。例えば、処理部33は、送信部31によって送信される各種情報や、受信部32によって受信された情報提供装置100からの各種情報を表示部12へ出力して表示させることができる。例えば、処理部33は、受信部32によって受信された画像とコンテキスト情報を含むコンテンツを表示部12へ出力して表示させる。
記憶部40は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク等の記憶装置によって実現される。かかる記憶部40には、各種プログラムや各種データ等が記憶される。
図3は、実施形態に係る情報提供装置100の構成例を示す図である。図3に示すように、情報提供装置100は、通信部110と、記憶部120と、制御部130とを有する。
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。また、通信部110は、ネットワークN(図示略)と有線又は無線で接続される。
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。図3に示すように、記憶部120は、利用者情報データベース121と、履歴情報データベース122と、画像情報データベース123とを有する。
利用者情報データベース121は、情報提供装置100が提供するサービスの利用者Uに関する各種情報を記憶する。例えば、利用者情報データベース121は、利用者Uの属性等の種々の情報を記憶する。図4は、利用者情報データベース121の一例を示す図である。図4に示した例では、利用者情報データベース121は、「利用者ID(Identifier)」、「年齢」、「性別」、「自宅」、「勤務地」、「興味」といった項目を有する。
履歴情報データベース122は、利用者Uの行動を示す履歴情報(ログデータ)に関する各種情報を記憶する。図5は、履歴情報データベース122の一例を示す図である。図5に示した例では、履歴情報データベース122は、「利用者ID」、「位置履歴」、「検索履歴」、「閲覧履歴」、「購買履歴」、「投稿履歴」といった項目を有する。
画像情報データベース123は、利用者Uが撮影した画像に関する各種情報を記憶する。図6は、画像情報データベース123の一例を示す図である。図6に示した例では、画像情報データベース123は、「画像ID」、「撮影者」、「撮影日時」、「撮影場所」、「画像に含まれる人物情報」、「コンテキスト情報」といった項目を有する。
図3に戻り、説明を続ける。制御部130は、コントローラ(Controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等によって、情報提供装置100の内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAM等の記憶領域を作業領域として実行されることにより実現される。図3に示す例では、制御部130は、取得部131と、生成部132と、推定部133と、受付部134と、表示制御部135とを有する。
取得部131は、通信部110を介して、端末装置10や各種サーバ等から、情報提供装置100が提供するサービスの利用者に関する各種情報を取得する。例えば、取得部131は、利用者を示す情報(利用者ID等)や、利用者の位置情報、利用者の属性情報等を取得する。そして、取得部131は、記憶部120の利用者情報データベース121に登録する。また、取得部131は、端末装置10から利用者の生体情報を取得してもよい。取得部131は、利用者の生体情報を取得すると、端末装置10が生体情報を取得した取得日時と生体情報とを対応付けて利用者情報データベース121に登録してよい。
生成部132は、利用者が撮影した画像から、画像に含まれる人物と関係する利用者情報を推定する機械学習モデルを生成する。具体的には、生成部132は、利用者が撮影した画像と画像に含まれる人物と関係する利用者情報との組を正解データとして機械学習モデルに学習させる。すなわち、生成部132は、利用者が撮影した画像を機械学習モデルに入力した際に、画像に含まれる人物と関係する利用者情報もしくは画像に含まれる人物と関係する利用者情報と対応する情報を出力するように、バックプロパゲーション等の技術を用いて、機械学習モデルの学習を行う。例えば、生成部132は、画像の撮影時刻の前後における利用者の購買情報、検索情報、閲覧情報、位置情報、予約情報、投稿情報、およびメッセージ情報のうち、画像に含まれる人物とのやり取りに関連する情報を画像に含まれる人物と関係する利用者情報として特定する。例えば、生成部132は、画像の撮影時刻の前後におけるメッセージ情報のうち、利用者と画像に映っている人物とのメッセージのやり取りの履歴(例えば、トーク先など)に関する情報を画像に含まれる人物と関係する利用者情報として特定する。
推定部133は、取得部131が画像を取得すると、画像を撮影した利用者(以下、撮影者ともいう)に関する利用者情報を取得する。より具体的には、推定部133は、画像の撮影日時の前後(例えば、画像の撮影日時を含む所定期間)における撮影者の利用者情報を取得する。例えば、取得部131は、画像とともに取得した利用者IDに基づいて、利用者情報データベース121および履歴情報データベース122を参照して、画像の撮影日時の前後における撮影者に関する利用者情報を取得する。例えば、取得部131は、利用者情報の一例として、撮影者の購買履歴に関する購買情報、撮影者の検索履歴に関する検索情報、撮影者の閲覧履歴に関する閲覧情報、撮影者の位置履歴に関する位置情報、撮影者の予約履歴に関する予約情報、撮影者の投稿履歴に関する投稿情報、および撮影者のメッセージの内容に関するメッセージ情報を取得する。
受付部134は、通信部110を介して、端末装置10から、画像の表示要求を受け付ける。例えば、受付部134は、利用者によって撮影された画像のうち、利用者によって指定された画像の表示要求を受け付ける。
表示制御部135は、画像を表示する場合は、画像とともに、コンテキストを示すコンテキスト情報を表示させる。具体的には、表示制御部135は、受付部134が画像の表示要求を受け付けた場合に、画像情報データベース123を参照して、利用者によって指定された画像、および利用者によって指定された画像と対応付けられたコンテキスト情報を取得する。続いて、表示制御部135は、利用者によって指定された画像とともに、画像と対応付けられたコンテキスト情報が表示されるコンテンツを生成する。
上述した端末装置10及び情報提供装置100は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。
上述してきたように、本願に係る情報処理装置(情報提供装置100)は、取得部131と推定部133と表示制御部135を備える。取得部131は、画像を撮影した利用者に関する利用者情報を取得する。推定部133は、利用者情報に基づいて、利用者が画像を撮影した際のコンテキストを推定する。表示制御部135は、画像を表示する場合は、画像とともに、コンテキストを示すコンテキスト情報を表示させる。
また、上述してきた各実施形態に係る情報提供装置100は、例えば、図7に示すような構成のコンピュータ1000によって実現される。以下、情報提供装置100を例に挙げて説明する。図7は、情報提供装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、ROM1200、RAM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
10 端末装置
100 情報提供装置
110 通信部
120 記憶部
121 利用者情報データベース
122 履歴情報データベース
123 画像情報データベース
130 制御部
131 取得部
132 生成部
133 推定部
134 受付部
135 表示制御部
Claims (9)
- 画像を撮影した利用者に関する利用者情報を取得する取得部と、
前記利用者情報に基づいて、前記利用者が前記画像を撮影した際のコンテキストを推定する推定部と、
前記画像を表示する場合は、当該画像とともに、前記コンテキストを示すコンテキスト情報を表示させる表示制御部と、
を備えることを特徴とする情報処理装置。 - 前記推定部は、
前記コンテキストとして、前記利用者が前記画像を撮影した際の前記利用者の行動の目的、前記利用者の状態、前記利用者の感情、または前記利用者の周囲で発生した事象を推定する、
ことを特徴とする請求項1に記載の情報処理装置。 - 前記推定部は、
前記画像の撮影日時の前後における前記利用者情報に基づいて、前記コンテキストを推定する、
ことを特徴とする請求項1または2に記載の情報処理装置。 - 前記推定部は、
前記画像に含まれる人物と前記利用者との関係性に基づいて、前記コンテキストを推定する、
ことを特徴とする請求項1~3のいずれか1つに記載の情報処理装置。 - 前記取得部は、
前記利用者情報として、前記利用者の購買履歴に関する購買情報、前記利用者の検索履歴に関する検索情報、前記利用者の閲覧履歴に関する閲覧情報、前記利用者の位置履歴に関する位置情報、前記利用者の予約履歴に関する予約情報、前記利用者の投稿履歴に関する投稿情報、および前記利用者のメッセージの内容に関するメッセージ情報を取得する、
ことを特徴とする請求項1~4のいずれか1つに記載の情報処理装置。 - 前記画像から、前記画像に含まれる人物と関係する前記利用者情報を推定する機械学習モデルを生成する生成部をさらに備え、
前記表示制御部は、
前記コンテキスト情報として、前記機械学習モデルを用いて推定された前記画像に含まれる人物と関係する前記利用者情報を表示させる、
ことを特徴とする請求項1~5のいずれか1つに記載の情報処理装置。 - 前記取得部は、
前記画像に含まれる人物である被写体利用者に関する被写体利用者情報を取得し、
前記推定部は、
前記被写体利用者情報に基づいて、前記画像が撮影された際の前記被写体利用者のコンテキストを推定し、
前記表示制御部は、
前記画像を表示する場合は、当該画像とともに、前記被写体利用者のコンテキストを示す被写体コンテキスト情報を表示させる、
ことを特徴とする請求項1~6のいずれか1つに記載の情報処理装置。 - コンピュータが実行する情報処理方法であって、
画像を撮影した利用者に関する利用者情報を取得する取得工程と、
前記利用者情報に基づいて、前記利用者が前記画像を撮影した際のコンテキストを推定する推定工程と、
前記画像を表示する場合は、当該画像とともに、前記コンテキストを示すコンテキスト情報を表示させる表示制御工程と、
を含むことを特徴とする情報処理方法。 - 画像を撮影した利用者に関する利用者情報を取得する取得手順と、
前記利用者情報に基づいて、前記利用者が前記画像を撮影した際のコンテキストを推定する推定手順と、
前記画像を表示する場合は、当該画像とともに、前記コンテキストを示すコンテキスト情報を表示させる表示制御手順と、
をコンピュータに実行させる情報処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021132704A JP2023027548A (ja) | 2021-08-17 | 2021-08-17 | 情報処理装置、情報処理方法及び情報処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021132704A JP2023027548A (ja) | 2021-08-17 | 2021-08-17 | 情報処理装置、情報処理方法及び情報処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023027548A true JP2023027548A (ja) | 2023-03-02 |
Family
ID=85330559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021132704A Pending JP2023027548A (ja) | 2021-08-17 | 2021-08-17 | 情報処理装置、情報処理方法及び情報処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023027548A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116649940A (zh) * | 2023-07-12 | 2023-08-29 | 深圳市经纬科技有限公司 | 一种用于可穿戴设备的远程监测系统及方法 |
-
2021
- 2021-08-17 JP JP2021132704A patent/JP2023027548A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116649940A (zh) * | 2023-07-12 | 2023-08-29 | 深圳市经纬科技有限公司 | 一种用于可穿戴设备的远程监测系统及方法 |
CN116649940B (zh) * | 2023-07-12 | 2023-09-29 | 深圳市经纬科技有限公司 | 一种用于可穿戴设备的远程监测系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023027548A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7174782B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7244458B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP7388744B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7145997B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7145247B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7337123B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7459021B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7317901B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7407152B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7459026B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7212665B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7159373B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7168640B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7122432B1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP2023127393A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7436436B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP2023179878A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP2023180322A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP2024025997A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP2023179929A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP2023043772A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP2023102373A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP2023102384A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP2023043778A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230315 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20231026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240319 |