JP2020027390A - 注意対象推定装置及び注意対象推定方法 - Google Patents
注意対象推定装置及び注意対象推定方法 Download PDFInfo
- Publication number
- JP2020027390A JP2020027390A JP2018151148A JP2018151148A JP2020027390A JP 2020027390 A JP2020027390 A JP 2020027390A JP 2018151148 A JP2018151148 A JP 2018151148A JP 2018151148 A JP2018151148 A JP 2018151148A JP 2020027390 A JP2020027390 A JP 2020027390A
- Authority
- JP
- Japan
- Prior art keywords
- person
- attention
- line
- sight
- viewpoint video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 abstract description 50
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000010813 municipal solid waste Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 230000006399 behavior Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Abstract
Description
人物の目線で撮像された一人称視点映像及び当該一人称視点映像を撮像時の前記人物の視線の情報を取得し、
前記一人称視点映像から抽出されたオブジェクトの3次元空間での位置を特定し、
前記一人称視点映像に含まれるオブジェクトのうちの前記人物の視線に近いオブジェクトを、前記人物の注意対象と判定する。
注意対象推定装置が、
人物の目線で撮像された一人称視点映像及び当該一人称視点映像を撮像時の前記人物の視線の情報を取得し、
前記一人称視点映像から抽出されたオブジェクトの3次元空間での位置を特定し、
前記一人称視点映像に含まれるオブジェクトのうちの前記人物の視線に近いオブジェクトを、前記人物の注意対象と判定する。
ステップS101:コミュニケーション空間の3次元情報を取得する処理、
ステップS102:同一空間中でコミュニケーションを行っている複数の人物i(i=1,2,…,n、nは2以上の整数)のそれぞれについて注意対象のオブジェクトを推定する処理、
ステップS103:複数の人物iの注意対象のオブジェクトから共同注意が発生しているか否かを判断する処理、
を順次行うものである。
ステップS101〜ステップS103の具体的な処理を以下で説明する。
人物の注意対象推定処理に先立ち、注意対象推定装置10は、コミュニケーション空間の3次元情報を前処理として取得しておく。3次元情報の取得には、例えば、Structure from Motion(SfM)と呼ばれる、多視点の2次元画像から3次元形状を復元する技術を用いることができる。
人物の注意対象推定処理は、前述の3次元情報取得処理で取得したコミュニケーション空間の3次元情報、注意対象を推定しようとする人物の一人称視点映像および視線情報とを用いて、人物それぞれの注意対象(「どこ」の「何」)を推定するものである。図5は、人物i(i=1,2,…,n、nは2以上の整数)のそれぞれが行う注意対象推定処理の処理フローを説明する図である。
注意対象推定装置10は、複数の人物に対して推定した注意対象オブジェクトから、共同注意が発生しているか否かを判断する。共同注意が発生しているか否かは、「物体(オブジェクト)」に関する類似度の評価をもって判断してもよいし、あるいは注意対象オブジェクトの「場所」に関する類似度の評価をもって判断してもよい。注意対象推定装置10は、「物体」あるいは「場所」のいずれか単独の類似度の評価から共同注意の有無を判断してもよく、あるいは両者の類似度の評価結果を統合して共同注意の有無を判断するようにしてもよい。
11:注意対象推定部
12:共同注意判定部
13:受信部
14:3次元情報格納部
Claims (6)
- 人物の目線で撮像された一人称視点映像及び当該一人称視点映像を撮像時の前記人物の視線の情報を取得し、
前記一人称視点映像から抽出されたオブジェクトの3次元空間での位置を特定し、
前記一人称視点映像に含まれるオブジェクトのうちの前記人物の視線に近いオブジェクトを、前記人物の注意対象と判定する、
注意対象推定装置。 - 前記一人称視点映像に含まれるオブジェクトのうちの前記人物の視線に近くかつ前記人物とは異なる第2の人物の視線に近いオブジェクトを、前記人物の注意対象と判定する、
請求項1に記載の注意対象推定装置。 - 複数の人物の注意対象の判定結果を取得し、
複数の人物の注意対象のオブジェクト又は3次元空間での位置が類似している場合、共同注意が発生していると判定する、
請求項1又は2に記載の注意対象推定装置。 - 前記一人称視点映像は、動画であり、
前記一人称視点映像に含まれるオブジェクトのうちの過去に注意対象と判定された注意対象を、前記人物の注意対象と判定する、
請求項1から3のいずれかに記載の注意対象推定装置。 - 前記視線の情報は、前記一人称視点映像における位置であり、
前記人物の視線は、実空間中における人物の存在位置を始点としかつ前記一人称視点映像中の前記視線の情報で示される位置を終点とする直線である、
請求項1から4のいずれかに記載の注意対象推定装置。 - 注意対象推定装置が、
人物の目線で撮像された一人称視点映像及び当該一人称視点映像を撮像時の前記人物の視線の情報を取得し、
前記一人称視点映像から抽出されたオブジェクトの3次元空間での位置を特定し、
前記一人称視点映像に含まれるオブジェクトのうちの前記人物の視線に近いオブジェクトを、前記人物の注意対象と判定する、
注意対象推定方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018151148A JP6950644B2 (ja) | 2018-08-10 | 2018-08-10 | 注意対象推定装置及び注意対象推定方法 |
PCT/JP2019/031626 WO2020032254A1 (ja) | 2018-08-10 | 2019-08-09 | 注意対象推定装置及び注意対象推定方法 |
US17/266,948 US11436751B2 (en) | 2018-08-10 | 2019-08-09 | Attention target estimating device, and attention target estimating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018151148A JP6950644B2 (ja) | 2018-08-10 | 2018-08-10 | 注意対象推定装置及び注意対象推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020027390A true JP2020027390A (ja) | 2020-02-20 |
JP6950644B2 JP6950644B2 (ja) | 2021-10-13 |
Family
ID=69414318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018151148A Active JP6950644B2 (ja) | 2018-08-10 | 2018-08-10 | 注意対象推定装置及び注意対象推定方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11436751B2 (ja) |
JP (1) | JP6950644B2 (ja) |
WO (1) | WO2020032254A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021199785A1 (ja) * | 2020-03-31 | 2021-10-07 | 株式会社Nttドコモ | 情報処理システム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11587302B2 (en) * | 2019-12-17 | 2023-02-21 | X Development Llc | Shared dense network with robot task-specific heads |
US11554496B2 (en) * | 2020-04-03 | 2023-01-17 | Fanuc Corporation | Feature detection by deep learning and vector field estimation |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010027888A1 (en) * | 1999-07-28 | 2001-10-11 | Harley-Davidson Motor Company | Motorcycle fender mounting system |
JP2006155238A (ja) * | 2004-11-29 | 2006-06-15 | Hiroshima Univ | 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体 |
JP2013179403A (ja) * | 2012-02-28 | 2013-09-09 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
JP2015191554A (ja) * | 2014-03-28 | 2015-11-02 | 株式会社ニコン | 電子機器 |
JP2017041019A (ja) * | 2015-08-18 | 2017-02-23 | 株式会社コロプラ | ヘッドマウントディスプレイシステム制御プログラム |
WO2017218213A2 (en) * | 2016-06-02 | 2017-12-21 | Thales Visionix, Inc. | Miniature vision-inertial navigation system with extended dynamic range |
JP2018112753A (ja) * | 2018-03-20 | 2018-07-19 | マクセル株式会社 | 情報表示端末及び情報表示方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10027888B1 (en) * | 2015-09-28 | 2018-07-17 | Amazon Technologies, Inc. | Determining area of interest in a panoramic video or photo |
-
2018
- 2018-08-10 JP JP2018151148A patent/JP6950644B2/ja active Active
-
2019
- 2019-08-09 WO PCT/JP2019/031626 patent/WO2020032254A1/ja active Application Filing
- 2019-08-09 US US17/266,948 patent/US11436751B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010027888A1 (en) * | 1999-07-28 | 2001-10-11 | Harley-Davidson Motor Company | Motorcycle fender mounting system |
JP2006155238A (ja) * | 2004-11-29 | 2006-06-15 | Hiroshima Univ | 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体 |
JP2013179403A (ja) * | 2012-02-28 | 2013-09-09 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
JP2015191554A (ja) * | 2014-03-28 | 2015-11-02 | 株式会社ニコン | 電子機器 |
JP2017041019A (ja) * | 2015-08-18 | 2017-02-23 | 株式会社コロプラ | ヘッドマウントディスプレイシステム制御プログラム |
WO2017218213A2 (en) * | 2016-06-02 | 2017-12-21 | Thales Visionix, Inc. | Miniature vision-inertial navigation system with extended dynamic range |
JP2018112753A (ja) * | 2018-03-20 | 2018-07-19 | マクセル株式会社 | 情報表示端末及び情報表示方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021199785A1 (ja) * | 2020-03-31 | 2021-10-07 | 株式会社Nttドコモ | 情報処理システム |
Also Published As
Publication number | Publication date |
---|---|
US11436751B2 (en) | 2022-09-06 |
WO2020032254A1 (ja) | 2020-02-13 |
JP6950644B2 (ja) | 2021-10-13 |
US20210304434A1 (en) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11741624B2 (en) | Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale | |
Shreve et al. | Macro-and micro-expression spotting in long videos using spatio-temporal strain | |
US20180101984A1 (en) | Headset removal in virtual, augmented, and mixed reality using an eye gaze database | |
EP3651457B1 (en) | Pupillary distance measurement method, wearable eye equipment and storage medium | |
US20120069007A1 (en) | Method for Enhancing Depth Maps | |
WO2020032254A1 (ja) | 注意対象推定装置及び注意対象推定方法 | |
CN104364733A (zh) | 注视位置检测装置、注视位置检测方法和注视位置检测程序 | |
US10254831B2 (en) | System and method for detecting a gaze of a viewer | |
WO2014199786A1 (ja) | 撮影システム | |
JP2014509535A (ja) | 注視点マッピング方法および装置 | |
US9218794B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium | |
CN112926464B (zh) | 一种人脸活体检测方法以及装置 | |
JP7379065B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP5103682B2 (ja) | インタラクティブ看板システム | |
CN112073640B (zh) | 全景信息采集位姿获取方法及装置、系统 | |
US20200211275A1 (en) | Information processing device, information processing method, and recording medium | |
JP2015230616A (ja) | 画像処理方法および画像処理装置 | |
US9924865B2 (en) | Apparatus and method for estimating gaze from un-calibrated eye measurement points | |
Scoleri et al. | Effects of garments on photoanthropometry of body parts: application to stature estimation | |
CN112396654A (zh) | 用于在图像跟踪过程中确定跟踪对象的位姿的方法及装置 | |
Paletta et al. | An integrated system for 3D gaze recovery and semantic analysis of human attention | |
JP2012212325A (ja) | 視線計測システム、方法およびプログラム | |
JP2018005727A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2019079299A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2024029913A (ja) | 画像生成装置、プログラム及び画像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20180905 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210811 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6950644 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |