JP2017021530A - 関心度判定装置、関心度判定方法および関心度判定プログラム - Google Patents
関心度判定装置、関心度判定方法および関心度判定プログラム Download PDFInfo
- Publication number
- JP2017021530A JP2017021530A JP2015137948A JP2015137948A JP2017021530A JP 2017021530 A JP2017021530 A JP 2017021530A JP 2015137948 A JP2015137948 A JP 2015137948A JP 2015137948 A JP2015137948 A JP 2015137948A JP 2017021530 A JP2017021530 A JP 2017021530A
- Authority
- JP
- Japan
- Prior art keywords
- user
- person
- line
- spontaneity
- determination unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 122
- 238000001514 detection method Methods 0.000 claims description 74
- 230000000007 visual effect Effects 0.000 description 92
- 238000012790 confirmation Methods 0.000 description 67
- 238000012545 processing Methods 0.000 description 44
- 238000010586 diagram Methods 0.000 description 30
- 239000000284 extract Substances 0.000 description 23
- 230000002269 spontaneous effect Effects 0.000 description 19
- 238000007796 conventional method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002747 voluntary effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【解決手段】関心度判定装置100は、画像情報を基にして複数の利用者に含まれる第1の利用者の視線位置を検出する。関心度判定装置100は、第1の利用者の周辺に第1の利用者以外の第2の利用者が存在する場合に、第1の利用者の視線位置が、第2の利用者の影響を受けた視線位置であるか否かを判定する。関心度判定装置100は、判定部の判定結果と、第1の利用者の視線位置とを対応付けて記憶部に記憶する。
【選択図】図1
Description
前記第1の利用者の周辺に前記第1の利用者以外の第2の利用者が存在する場合に、前記第1の利用者の視線位置が、前記第2の利用者の影響を受けた視線位置であるか否かを判定する判定部と、
前記判定部の判定結果と、前記第1の利用者の視線位置とを対応付けて記憶する記憶部と、
を有することを特徴とする関心度判定装置。
画像情報を基にして、複数の利用者に含まれる第1の利用者の視線位置を検出し、
前記第1の利用者の周辺に前記第1の利用者以外の第2の利用者が存在する場合に、前記第1の利用者の視線位置が、前記第2の利用者の影響を受けた視線位置であるか否かを判定し、
判定した判定結果と、前記第1の利用者の視線位置とを対応付けて記憶装置に記憶する
処理を実行することを特徴とする関心度判定方法。
画像情報を基にして、複数の利用者に含まれる第1の利用者の視線位置を検出し、
前記第1の利用者の周辺に前記第1の利用者以外の第2の利用者が存在する場合に、前記第1の利用者の視線位置が、前記第2の利用者の影響を受けた視線位置であるか否かを判定し、
判定した判定結果と、前記第1の利用者の視線位置とを対応付けて記憶装置に記憶する
処理を実行させることを特徴とする関心度判定プログラム。
150 制御部
151 取得部
152 人物検出部
153 視線検出部
154 自発性判定部
Claims (10)
- 画像情報を基にして、複数の利用者に含まれる第1の利用者の視線位置を検出する視線検出部と、
前記第1の利用者の周辺に前記第1の利用者以外の第2の利用者が存在する場合に、前記第1の利用者の視線位置が、前記第2の利用者の影響を受けた視線位置であるか否かを判定する判定部と、
前記判定部の判定結果と、前記第1の利用者の視線位置とを対応付けて記憶する記憶部と、
を有することを特徴とする関心度判定装置。 - 前記判定部は、複数フレームの画像情報を基にして、前記第2の利用者の領域が閾値以上増加した場合に、前記第1の利用者の視線位置が、前記第2の利用者の影響を受けた視線位置であると判定することを特徴とする請求項1に記載の関心度判定装置。
- 前記判定部は、複数フレームの画像情報を基にして、前記第2の利用者の手領域が閾値以上移動し、かつ、前記第1の利用者の視界に前記第2の利用者の手領域が含まれる場合に、前記第1の利用者の視線位置が、前記第2の利用者の影響を受けた視線位置であると判定することを特徴とする請求項1に記載の関心度判定装置。
- 前記判定部は、複数フレームの画像情報を基にして、前記第2の利用者の手領域が閾値以上変化し、かつ、前記第1の利用者の視界に前記第2の利用者の手領域が含まれる場合に、前記第1の利用者の視線位置が、前記第2の利用者の影響を受けた視線位置であると判定することを特徴とする請求項1に記載の関心度判定装置。
- 前記判定部は、画像情報を基にして、前記第2の利用者の手領域の形状が所定の形状であり、かつ、前記第1の利用者の視界に前記第2の利用者の手領域が含まれる場合に、前記第1の利用者の視線位置が、前記第2の利用者の影響を受けた視線位置であると判定することを特徴とする請求項1に記載の関心度判定装置。
- 前記判定部は、複数フレームの画像情報を基にして、前記第2の利用者の顔領域の縦横比が閾値以上減少し、かつ、前記第2の利用者の目領域が閾値以上減少し、かつ、前記第1の利用者の視界に前記第2の利用者の顔領域が含まれる場合に、前記第1の利用者の視線位置が、前記第2の利用者の影響を受けた視線位置であると判定することを特徴とする請求項1に記載の関心度判定装置。
- 前記判定部は、複数フレームの画像情報に含まれる前記第1の利用者の口領域と、前記第2の利用者の口領域とを基にして、前記第1の利用者の口と前記第2の利用者の口とが交互に開いた場合に、前記第1の利用者の視線位置が、前記第2の利用者の影響を受けた視線位置であると判定することを特徴とする請求項1に記載の関心度判定装置。
- 前記視線検出部は、前記第2の利用者の視線位置を更に検出し、前記判定部は、前記第2の利用者の視線位置を含む所定範囲内に、前記第1の利用者の視線位置が含まれる場合に、前記第1の利用者の視線位置が、前記第2の利用者の影響を受けた視線位置であると判定することを特徴とする請求項1に記載の関心度判定装置。
- コンピュータが実行する関心度判定方法であって、
画像情報を基にして、複数の利用者に含まれる第1の利用者の視線位置を検出し、
前記第1の利用者の周辺に前記第1の利用者以外の第2の利用者が存在する場合に、前記第1の利用者の視線位置が、前記第2の利用者の影響を受けた視線位置であるか否かを判定し、
判定した判定結果と、前記第1の利用者の視線位置とを対応付けて記憶装置に記憶する
処理を実行することを特徴とする関心度判定方法。 - コンピュータに、
画像情報を基にして、複数の利用者に含まれる第1の利用者の視線位置を検出し、
前記第1の利用者の周辺に前記第1の利用者以外の第2の利用者が存在する場合に、前記第1の利用者の視線位置が、前記第2の利用者の影響を受けた視線位置であるか否かを判定し、
判定した判定結果と、前記第1の利用者の視線位置とを対応付けて記憶装置に記憶する
処理を実行させることを特徴とする関心度判定プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015137948A JP6561639B2 (ja) | 2015-07-09 | 2015-07-09 | 関心度判定装置、関心度判定方法および関心度判定プログラム |
EP16177978.0A EP3115956A1 (en) | 2015-07-09 | 2016-07-05 | Interest degree determination device, interest degree determination method, and interest degree determination program |
US15/203,085 US10395101B2 (en) | 2015-07-09 | 2016-07-06 | Interest degree determination device, interest Degree determination method, and non-transitory computer-readable recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015137948A JP6561639B2 (ja) | 2015-07-09 | 2015-07-09 | 関心度判定装置、関心度判定方法および関心度判定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017021530A true JP2017021530A (ja) | 2017-01-26 |
JP6561639B2 JP6561639B2 (ja) | 2019-08-21 |
Family
ID=56363768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015137948A Expired - Fee Related JP6561639B2 (ja) | 2015-07-09 | 2015-07-09 | 関心度判定装置、関心度判定方法および関心度判定プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10395101B2 (ja) |
EP (1) | EP3115956A1 (ja) |
JP (1) | JP6561639B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020130528A (ja) * | 2019-02-18 | 2020-08-31 | 沖電気工業株式会社 | 感情推定装置、感情推定方法、プログラム、及び感情推定システム |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102520627B1 (ko) * | 2017-02-01 | 2023-04-12 | 삼성전자주식회사 | 상품을 추천하는 디바이스 및 방법 |
US10853965B2 (en) * | 2017-08-07 | 2020-12-01 | Standard Cognition, Corp | Directional impression analysis using deep learning |
CN109583363B (zh) * | 2018-11-27 | 2022-02-11 | 湖南视觉伟业智能科技有限公司 | 基于人体关键点检测改进演讲者姿体动作的方法及系统 |
US11303853B2 (en) | 2020-06-26 | 2022-04-12 | Standard Cognition, Corp. | Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout |
JP2024013129A (ja) * | 2022-07-19 | 2024-01-31 | 富士通株式会社 | 表示制御プログラム、表示制御方法および情報処理装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216938A (ja) * | 2002-01-23 | 2003-07-31 | Sanyo Electric Co Ltd | 情報収集装置 |
JP2004280673A (ja) * | 2003-03-18 | 2004-10-07 | Takenaka Komuten Co Ltd | 情報提供装置 |
WO2007074842A1 (ja) * | 2005-12-27 | 2007-07-05 | Matsushita Electric Industrial Co., Ltd. | 画像処理装置 |
US20100161409A1 (en) * | 2008-12-23 | 2010-06-24 | Samsung Electronics Co., Ltd. | Apparatus for providing content according to user's interest in content and method for providing content according to user's interest in content |
JP2013050945A (ja) * | 2011-08-30 | 2013-03-14 | General Electric Co <Ge> | 人物トラッキング及びインタラクティブ広告 |
JP2013114595A (ja) * | 2011-11-30 | 2013-06-10 | Canon Inc | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6385890A (ja) | 1986-09-30 | 1988-04-16 | Mitsubishi Electric Corp | 人数計測装置 |
DE19850829C1 (de) * | 1998-11-04 | 2000-03-16 | Valeo Klimasysteme Gmbh | Kühl-Heiz-Kreis für ein Fahrzeug |
US20040001616A1 (en) * | 2002-06-27 | 2004-01-01 | Srinivas Gutta | Measurement of content ratings through vision and speech recognition |
JP4876687B2 (ja) | 2006-04-19 | 2012-02-15 | 株式会社日立製作所 | 注目度計測装置及び注目度計測システム |
US20080004951A1 (en) * | 2006-06-29 | 2008-01-03 | Microsoft Corporation | Web-based targeted advertising in a brick-and-mortar retail establishment using online customer information |
JP5192842B2 (ja) | 2008-02-18 | 2013-05-08 | 株式会社日立製作所 | 注視商品データ取得方法および商品販売管理システム |
US10380603B2 (en) * | 2008-05-31 | 2019-08-13 | International Business Machines Corporation | Assessing personality and mood characteristics of a customer to enhance customer satisfaction and improve chances of a sale |
JP2010094493A (ja) | 2008-09-22 | 2010-04-30 | Koichi Kikuchi | 視認情景に対する視認者情感判定装置 |
US8401248B1 (en) * | 2008-12-30 | 2013-03-19 | Videomining Corporation | Method and system for measuring emotional and attentional response to dynamic digital media content |
JP5626039B2 (ja) | 2011-03-09 | 2014-11-19 | 富士通株式会社 | 視線検出装置及び視線検出方法 |
JP5747695B2 (ja) | 2011-07-07 | 2015-07-15 | 富士通株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP6163732B2 (ja) | 2012-11-01 | 2017-07-19 | 富士通株式会社 | 画像処理装置、プログラム、及び方法 |
WO2015166299A1 (en) * | 2014-04-28 | 2015-11-05 | Sony Corporation | Operating a display of a user equipment |
-
2015
- 2015-07-09 JP JP2015137948A patent/JP6561639B2/ja not_active Expired - Fee Related
-
2016
- 2016-07-05 EP EP16177978.0A patent/EP3115956A1/en not_active Ceased
- 2016-07-06 US US15/203,085 patent/US10395101B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216938A (ja) * | 2002-01-23 | 2003-07-31 | Sanyo Electric Co Ltd | 情報収集装置 |
JP2004280673A (ja) * | 2003-03-18 | 2004-10-07 | Takenaka Komuten Co Ltd | 情報提供装置 |
WO2007074842A1 (ja) * | 2005-12-27 | 2007-07-05 | Matsushita Electric Industrial Co., Ltd. | 画像処理装置 |
US20100161409A1 (en) * | 2008-12-23 | 2010-06-24 | Samsung Electronics Co., Ltd. | Apparatus for providing content according to user's interest in content and method for providing content according to user's interest in content |
JP2013050945A (ja) * | 2011-08-30 | 2013-03-14 | General Electric Co <Ge> | 人物トラッキング及びインタラクティブ広告 |
JP2013114595A (ja) * | 2011-11-30 | 2013-06-10 | Canon Inc | 情報処理装置、情報処理方法及びプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020130528A (ja) * | 2019-02-18 | 2020-08-31 | 沖電気工業株式会社 | 感情推定装置、感情推定方法、プログラム、及び感情推定システム |
JP7172705B2 (ja) | 2019-02-18 | 2022-11-16 | 沖電気工業株式会社 | 感情推定装置、感情推定方法、プログラム、及び感情推定システム |
Also Published As
Publication number | Publication date |
---|---|
JP6561639B2 (ja) | 2019-08-21 |
US20170011260A1 (en) | 2017-01-12 |
EP3115956A1 (en) | 2017-01-11 |
US10395101B2 (en) | 2019-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6561639B2 (ja) | 関心度判定装置、関心度判定方法および関心度判定プログラム | |
JP7229174B2 (ja) | 人識別システム及び方法 | |
JP6898165B2 (ja) | 人流分析方法、人流分析装置及び人流分析システム | |
CN104364733B (zh) | 注视位置检测装置、注视位置检测方法和注视位置检测程序 | |
US8723796B2 (en) | Multi-user interactive display system | |
US20200202561A1 (en) | Method and apparatus with gaze estimation | |
JP2013114595A (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2017088804A1 (zh) | 人脸图像中检测眼镜佩戴的方法及装置 | |
JP2014165660A (ja) | バーチャルキーボードの入力方法、プログラム、記憶媒体、及びバーチャルキーボードシステム | |
EP3043539B1 (en) | Incoming call processing method and mobile terminal | |
JP2017084335A (ja) | ユーザーインターフェースのリアルタイムインタラクティブ操作のためのシステム及び方法 | |
JP6109288B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2017059945A (ja) | 画像解析装置及び画像解析方法 | |
US20140005806A1 (en) | Information processing device, information display apparatus, information processing method, and computer program product | |
JP6950644B2 (ja) | 注意対象推定装置及び注意対象推定方法 | |
EP3074844B1 (en) | Estimating gaze from un-calibrated eye measurement points | |
JP2868449B2 (ja) | 手振り認識装置 | |
JP5448952B2 (ja) | 同一人判定装置、同一人判定方法および同一人判定プログラム | |
JP5950845B2 (ja) | 入力装置、情報処理方法、及び情報処理プログラム | |
WO2016160103A1 (en) | Method and apparatus for identifying a person by measuring body part distances of the person | |
JP6755529B1 (ja) | 情報処理方法、情報処理装置、及び制御プログラム | |
JP2018147176A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6747311B2 (ja) | 画像処理プログラム、画像処理方法及び画像処理装置 | |
JP6287527B2 (ja) | 情報処理装置、方法及びプログラム | |
CN103616952A (zh) | 确定动作的方法及三维传感器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6561639 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |