JP2017054240A - 検出装置、方法及びプログラム - Google Patents

検出装置、方法及びプログラム Download PDF

Info

Publication number
JP2017054240A
JP2017054240A JP2015176654A JP2015176654A JP2017054240A JP 2017054240 A JP2017054240 A JP 2017054240A JP 2015176654 A JP2015176654 A JP 2015176654A JP 2015176654 A JP2015176654 A JP 2015176654A JP 2017054240 A JP2017054240 A JP 2017054240A
Authority
JP
Japan
Prior art keywords
detection
person
attribute
predetermined reaction
observation data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2015176654A
Other languages
English (en)
Inventor
智一 河原
Tomokazu Kawahara
智一 河原
山口 修
Osamu Yamaguchi
修 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2015176654A priority Critical patent/JP2017054240A/ja
Priority to US15/258,198 priority patent/US20170068841A1/en
Publication of JP2017054240A publication Critical patent/JP2017054240A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】人物の所定反応の検出精度を向上させることができる検出装置、方法及びプログラムを提供することを目的とする。
【解決手段】実施形態の検出装置は、取得部と、識別部と、検出部と、を備える。取得部は、人物を観測した観測データを取得する。識別部は、観測データに基づいて、人物の属性を識別する。検出部は、属性に応じた検出方法で、観測データから人物の所定反応の有無を検出する。
【選択図】図1

Description

本発明の実施形態は、検出装置、方法及びプログラムに関する。
動画等を見た人物がする笑顔などの所定反応を検出し、集計する技術が提案されている。
特開2011−239158号公報
上述したような従来技術では、どのような人物の所定反応を検出する場合であっても画一的な検出方法を用いることになるが、所定反応を表す場合の動作が、全ての人物で共通であることは少ない。このため、上述したような従来技術では、検出対象の人物によっては、所定反応を正しく検出できないおそれがある。
本発明は、上記事情に鑑みてなされたものであり、人物の所定反応の検出精度を向上させることができる検出装置、方法及びプログラムを提供することを目的とする。
実施形態の検出装置は、取得部と、識別部と、検出部と、を備える。取得部は、人物を観測した観測データを取得する。識別部は、前記観測データに基づいて、前記人物の属性を識別する。検出部は、前記属性に応じた検出方法で、前記観測データから前記人物の所定反応の有無を検出する。
第1実施形態の検出装置の例を示す構成図。 第1実施形態の顔検出手法の例の説明図。 第1実施形態の第1記憶部に記憶されている情報の例を示す図。 第1実施形態の第1記憶部に記憶されている情報の例を示す図。 第1実施形態の処理例を示すフローチャート。 第2実施形態の検出装置の例を示す構成図。 第2実施形態の統計情報の例を示す図。 第2実施形態の統計情報の例を示す図。 第2実施形態の統計情報の例を示す図。 第2実施形態の統計情報の例を示す図。 第2実施形態の処理例を示すフローチャート。 各実施形態の検出装置が適用されるシステムの例を示す図。 各実施形態の検出装置が適用されるシステムの例を示す図。 適用例の統計情報の例を示す図。 適用例の統計情報の例を示す図。 各実施形態の検出装置のハードウェア構成例を示す図。
以下、添付図面を参照しながら、実施形態を詳細に説明する。
(第1実施形態)
図1は、第1実施形態の検出装置10の一例を示す構成図である。図1に示すように、検出装置10は、入力部11と、取得部13と、識別部15と、第1記憶部17と、検出部19と、出力部21と、を備える。
入力部11は、例えば、動画像を撮像可能なビデオカメラや静止画を連続して撮像可能なカメラなどの撮像装置により実現できる。取得部13、識別部15、検出部19、及び出力部21は、例えば、CPU(Central Processing Unit)などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。第1記憶部17は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、光ディスク、ROM(Read Only Memory)、及びRAM(Random Access Memory)などの磁気的、光学的、又は電気的に記憶可能な記憶装置により実現できる。
入力部11は、所定反応の検出対象の人物を観測した観測データを入力する。観測データは、所定反応の検出対象の人物を撮像した撮像画像を含む。また、観測データは、所定反応の検出対象の人物が発生した音声、及び当該人物の個人情報の少なくともいずれかを更に含んでいてもよい。個人情報は、例えば、性別、年齢、国籍、及び氏名などが挙げられるが、これらに限定されるものではない。
観測データが音声を含む場合、入力部11を、撮像装置に加え、マイクなどの音声入力装置で実現してもよいし、音声入力も可能な(音声入力装置を備える)撮像装置で実現してもよい。また、観測データが個人情報を含み、所定反応の検出対象の人物が所持するスマートフォン、タブレット端末、携帯電話、及びICカードなどの記憶媒体に当該個人情報が記憶されている場合、入力部11を、撮像装置に加え、近距離無線通信装置などの通信装置で実現し、当該記憶媒体から近距離無線通信で当該個人情報を取得するようにすればよい。また、観測データが個人情報を含み、表示制御装置10が備える記憶装置に当該個人情報が記憶されている場合、入力部11を、撮像装置に加え、当該記憶装置で実現すればよい。
所定反応は、人物が行う反応であればどのような反応であってもよく、例えば、笑う、驚く、困る、しかめる、感心する、注視する、文字を読む、及び立ち去るなどが挙げられるが、これらに限定されるものではない。
取得部13は、所定反応の検出対象の人物を観測した観測データを取得する。具体的には、取得部13は、入力部11から、所定反応の検出対象の人物の観測データを取得する。
識別部15は、取得部13により取得された観測データに基づいて、所定反応の検出対象の人物の属性を識別する。属性としては、性別、年齢、年代(子供、成人、老人などの年代によるカテゴリ含む)、人種、及び氏名の少なくともいずれかなどが挙げられる。
例えば、識別部15が、観測データに含まれる撮像画像から所定反応の検出対象の人物の属性を識別する場合、図2に示すように、撮像画像31から顔矩形33を検出し、検出した顔矩形33内の顔画像に基づいて、属性を識別する。
なお、顔矩形の検出は、例えば、Takeshi Mita, Toshimitsu Kaneko, Bjorn Stenger, Osamu Hori: “Discriminative Feature Co-Occurrence Selection for Object Detection”. IEEE Transaction Pattern Analysis and Machine Intelligence Volume 30, Number 7, July 2008, pp. 1257-1269に開示された手法を用いればよい。
また、顔画像に基づく属性の識別は、例えば、Tomoki Watanabe, Satoshi Ito, Kentaro Yoko: “Co-occurrence Histogram of Oriented Gradients for Human Detection”, IPSJ Transaction on Computer Vision and Applications Volume 2 March 2010, pp.39-47(以下、「参考文献」と称する場合がある)に開示された手法を応用すればよい。なお、参考文献は、2クラス識別器を用いて、入力されたパターンが「人物」であるか「非人物」であるかを識別するものであるため、3種類以上を識別する場合には、2クラス識別器を2以上用いればよい。
例えば、属性が性別の場合、男性か女性かを識別できればよいため、「男性」であるか「女性」であるかを識別する2クラス識別器を用いて、顔矩形33内の顔画像の人物が「男性」であるか「女性」であるかを識別すればよい。
また例えば、属性が年代であり、20才未満、20才以上かつ60才未満、60才以上の3カテゴリを識別するのであれば、「20才未満」であるか「20才以上」であるかを識別する2クラス識別器と、「60才未満」であるか「60才以上」であるかを識別する2クラス識別器と、を用いて、顔矩形33内の顔画像の人物が「20才未満」であるか、「20才以上かつ60才未満」であるか、「60才以上」であるかを識別すればよい。
なお、属性が氏名である場合、顔画像に基づく属性の識別として、例えば、特開2006−221479号公報に開示された顔認識による個人識別手法を用いればよい。
また例えば、観測データに個人情報が含まれる場合、識別部15が、当該個人情報を用いて属性を識別してもよい。
第1記憶部17は、属性毎に当該属性に応じた検出方法を対応付けて記憶する。これは、同一の所定反応であっても当該所定反応を表す動作が人物の属性に応じて異なることが多く、単一の検出方法では、所定反応を正しく検出できないためである。なお第1実施形態では、動作には、顔や手など体の部位の動きだけでなく、表情変化も含まれる。
例えば、所定反応が笑うという反応である場合、子供であれば、大きな口を開け大声をあげるなどの動作で笑うという反応を表現し、大人であれば、口元が動く程度の表情変化で笑うという反応を表現する。また、欧米人であれば、目を見開いて手を叩くなどの動作で笑うという反応を表現し、アジア人に比べ笑う際の動作が大きくなる傾向にある。
このように、同一の反応であっても人物の属性に応じて当該反応を表現する動作は異なるため、第1実施形態では、属性毎に、所定反応を表現する当該属性特有の動作を検出することで、当該所定反応を検出する検出方法を用意している。所定反応を表現する動作としては、例えば、所定反応を示唆する表情変化、顔の動作、及び手の動作の少なくともいずれかなどが挙げられるが、これらに限定されるものではない。
ここで、例えば、所定反応の有無を検出するアルゴリズムや検出器が属性毎に異なる場合には、属性に対応付けられている検出方法は、当該アルゴリズムや当該検出器そのものとなる。
また例えば、アルゴリズムや検出器そのものは属性によらず共通であるが、当該アルゴリズムや当該検出器で用いる辞書データが属性によって異なる場合には、属性に対応付けられている検出方法は、当該属性用の辞書データとなる。辞書データは、大量のサンプルデータを統計処理(学習)することで得られるトレーニングデータなどが挙げられる。
なお、第1記憶部17は、図3に示すように、属性毎に当該属性に応じた1つの検出方法を対応付けて記憶してもよいし、図4に示すように、属性毎に当該属性に応じた1つ以上の検出方法を対応付けて記憶してもよい。
属性に1つ以上の検出方法を対応付ける例としては、所定反応の有無を単一の検出方法で検出できない場合が挙げられる。例えば、所定反応が笑うである場合、笑うには大笑いや微笑が含まれるが、単一の検出方法では、大笑いについては正しく検出できるが、微笑については正しく検出できないような場合には、大笑い用の検出方法と、微笑用の検出方法と、を属性に対応付ける。
但し、全ての属性で、大笑い用の検出方法と微笑用の検出方法とを対応付ける必要はなく、単一の検出方法では大笑い及び微笑の双方を正しく検出できない属性については、大笑い用の検出方法と微笑用の検出方法とを対応付け、単一の検出方法で大笑い及び微笑の双方を正しく検出できる属性については、笑い用の単一の検出方法を対応付ければよい。
また、属性に1つ以上の検出方法を対応付ける他の例としては、所定反応の有無を複数の検出方法で検出できる場合が挙げられる。例えば、所定反応が笑うである場合に、笑い用の検出方法が複数存在する場合などである。
検出部19は、識別部15により識別された属性に応じた検出方法で、取得部13により取得された観測データから、検出対象の人物の所定反応の有無を検出する。具体的には、検出部19は、第1記憶部17から、識別部15により識別された属性に対応付けられた1以上の検出方法を取得し、当該1以上の検出方法で、取得部13により取得された観測データ(詳細には、撮像画像)から、検出対象の人物の所定反応の有無を検出する。
第1実施形態では、第1記憶部17に記憶されている検出方法が辞書データであり、検出部19が、共通の検出器に第1記憶部17から取得した辞書データを用いて、検出対象の人物の所定反応の有無を検出するものとする。また、検出部19が用いる検出器の検出手法については、参考文献で説明したような2クラス識別器による検出手法とすることができる。
この場合、検出部19の検出結果は、0〜1の間の値で表され、値が1に近いほど、検出対象の人物の所定反応を検出したという確度が高くなり、値が0に近いほど、検出対象の人物の所定反応を検出したという確度が低くなる。このため、検出部19は、例えば、検出結果が閾値を超えれば、検出対象の人物の所定反応を検出し、検出結果が閾値未満であれば、検出対象の人物の所定反応を検出しなかったとなる。
なお、取得部13により取得された観測データに音声が含まれる場合、検出部19は、撮像画像を用いた検出対象の人物の所定反応の有無の検出、及び音声を用いた検出対象の人物の所定反応の有無の検出の少なくともいずれかを用いればよい。
例えば、所定反応が笑うという反応であり、属性が子供(例えば、年齢が20才未満)であれば、撮像画像を用いた検出対象の人物の所定反応の有無の検出は、大きな口を開けるという動作を検出することによる笑いの有無の検出となり、音声を用いた検出対象の人物の所定反応の有無の検出は、大声をあげるという動作を検出することによる笑いの有無の検出となる。
例えば、検出部19は、撮像画像を用いた検出対象の人物の所定反応の有無の検出結果と、音声を用いた検出対象の人物の所定反応の有無の検出結果と、を統合して、閾値処理し、検出対象の人物の所定反応の有無を判定してもよい。
また例えば、検出部19は、撮像画像を用いた検出対象の人物の所定反応の有無の検出結果と、音声を用いた検出対象の人物の所定反応の有無の検出結果とを、それぞれ閾値処理し、双方の検出結果が閾値を超えた場合やいずれかの検出結果が閾値を超えた場合に、検出対象の人物の所定反応を検出したとしてもよい。
なお、検出部19は、複数の検出方法を用いて検出対象の人物の所定反応の有無を検出した場合にも、観測データに音声が含まれる場合と同様の手法で、検出対象の人物の所定反応の検出有無を確定すればよい。
出力部21は、検出部19の検出結果を出力する。例えば、出力部21は、図示せぬディスプレイなどに、検出対象の人物の所定反応を検出したか、検出しなかったかを出力する。なお、検出装置10が、図示せぬディスプレイ上に表示されている動画や静止画を見ている人物の所定反応(例えば、笑う)の有無を検出するものであれば、当該動画や当該静止画上に所定反応を検出したか、検出しなかったかを示す情報を重畳して表示してもよい。
また、検出部19は、所定反応の検出の有無に加え、識別部15により識別された属性、日時、検出装置10の設置場所、及び検出装置10の管理番号の少なくともいずれかなどを出力してもよい。
図5は、第1実施形態の処理の手順の流れの一例を示すフローチャートである。
まず、取得部13は、入力部11から、所定反応の検出対象の人物の観測データを取得する(ステップS101)。
続いて、識別部15は、取得部13により取得された観測データに含まれる撮像画像に対する顔検出を行う(ステップS103)。顔検出により顔を検出できなかった場合(ステップS103でNo)、処理は終了となる。
一方、顔検出により顔を検出できた場合、即ち、所定反応の検出対象の人物の顔を検出できた場合(ステップS103でYes)、識別部15は、検出した顔(顔画像)に基づいて、所定反応の検出対象の人物の属性を識別する(ステップS105)。
続いて、検出部19は、第1記憶部17から、識別部15により識別された属性に対応付けられた1以上の検出方法を取得し、所定反応の検出方法を当該1以上の検出方法に決定する(ステップS107)。
続いて、検出部19は、決定した1以上の検出方法で、検出対象の人物の所定反応の有無を検出する(ステップS109)。
続いて、出力部21は、検出部19の検出結果を出力する(ステップS111)。
以上のように第1実施形態によれば、所定反応の検出対象の人物の属性に応じた検出方法で当該所定反応の有無を検出するので、人物の所定反応の検出精度を向上させることができる。特に第1実施形態によれば、人物の属性に応じて所定反応を表現する動作が異なるような場合であっても、人物に依存せずに、所定反応の有無を正しく検出することができる。
(第2実施形態)
第2実施形態では、検出結果を集計する例について説明する。以下では、第1実施形態との相違点の説明を主に行い、第1実施形態と同様の機能を有する構成要素については、第1実施形態と同様の名称・符号を付し、その説明を省略する。
図6は、第2実施形態の検出装置110の構成の一例を示す図である。図6に示すように、検出装置110は、第2記憶部123、集計部125、及び出力部121が第1実施形態と相違する。
第2記憶部123は、例えば、HDD、SSD、メモリカード、光ディスク、ROM、及びRAMなどの磁気的、光学的、又は電気的に記憶可能な記憶装置により実現できる。集計部125は、例えば、CPUなどの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ICなどのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。
第2記憶部123は、複数の人物の所定反応の有無の検出結果を集計した統計情報を記憶する。
集計部125は、複数の人物の所定反応の有無の検出結果を集計して、統計情報を生成する。具体的には、集計部125は、第2記憶部123から前回までの統計情報を取得し、検出部19により新たに検出された人物の所定反応の有無の検出結果を、取得した統計情報に反映する。
例えば、統計情報は、図7に示すように、識別部15により識別された属性毎に、人物の所定反応の検出有無を集計した情報が挙げられる。
また例えば、統計情報は、図8に示すように、識別部15により識別された属性及び当該属性に対応付けられた検出方法(図4参照)毎に、所定反応が検出された人物の人数を集計した情報が挙げられる。なお、図8に示す例では、識別部15により識別された属性毎に所定反応が検出されなかった人物の人数の集計結果を示すカラム(行)も含まれているが、含めなくてもよい。
また例えば、統計情報は、図9に示すように、時間帯毎に、人物の所定反応の検出有無を集計した情報が挙げられる。この場合、検出部19は、検出結果に検出を行った日時を含めておけばよい。
また例えば、統計情報は、図10に示すように、時間帯、識別部15により識別された属性、及び当該属性に対応付けられた検出方法(図4参照)毎に、所定反応が検出された人物の人数を集計した情報が挙げられる。なお、図10に示す例では、時間帯及び識別部15により識別された属性毎に、所定反応が検出されなかった人物の人数の集計結果を示すカラム(行)も含まれているが、含めなくてもよい。
そして集計部125は、反映後の統計情報で第2記憶部123に記憶されている統計情報を更新するとともに、出力部121に出力する。
出力部121は、集計部125により生成された統計情報を出力する。なお、出力手法については、第1実施形態と同様とすればよい。
図11は、第2実施形態の処理の手順の流れの一例を示すフローチャートである。
まず、ステップS201〜S209までの処理は、図5のフローチャートのステップS101〜S109までの処理と同様である。
続いて、ステップS210では、集計部125は、第2記憶部123から前回までの統計情報を取得し、検出部19により新たに検出された人物の所定反応の有無の検出結果を、取得した統計情報に反映することで、検出結果を集計する(ステップS210)。
続いて、出力部121は、集計部125により生成された最新の統計情報を出力する(ステップS211)。
以上のように第2実施形態でも第1実施形態と同様の効果を奏する。特に第2実施形態によれば、第1実施形態同様、人物に依存せずに、所定反応の有無を正しく検出することができるので、複数の人物による所定反応の有無の統計を精度よく集計することができる。
(適用例)
第1実施形態で説明した検出装置10及び第2実施形態で説明した検出装置110の具体的な適用例について説明する。ここでは、第2実施形態で説明した検出装置110の適用例について説明するが、第1実施形態で説明した検出装置10も同様に適用できる。
第2実施形態で説明した検出装置110は、例えば、図12に示すような、人物130などポスター140の内容を見た人物の所定反応の有無を集計するシステムに適用できる。なお、ポスター140は、ディスプレイに表示された静止画であってもよい。また、図12に示す例では、入力部11は、検出装置110に外付けされている。
また例えば、第2実施形態で説明した検出装置110は、図13に示すような、人物130などディスプレイ150に表示された動画の内容を見た人物の所定反応の有無を集計するシステムに適用できる。なお、図13に示す例でも、入力部11は、検出装置110に外付けされている。
なお、図13に示すように、動画の内容を見た人物の所定反応の有無を検出したり、集計したりする場合、ディスプレイ150に表示されている動画像のフレーム番号や先頭フレームを再生してからの経過時刻などが動画像の再生制御部(図示省略)から検出部19に出力されることが好ましい。
図14は、統計情報の一例を示す図であり、動画像を再生してからの経過時間毎に、人物の所定反応である「笑う」の検出有無を集計した情報となっている。
図15は、統計情報の他の例を示す図であり、動画像を再生してからの経過時間、識別部15により識別された属性、及び当該属性に対応付けられた検出方法毎に、所定反応である「笑う」が検出された人物の人数を集計した情報となっている。
なお、図15に示す例では、属性が「子供」、「成人」、「老人」となっているが、これは、第1実施形態で説明した20才未満を「子供」、20才以上かつ60才未満を「成人」、60才以上を「老人」として、識別部15が属性を識別すればよい。
また、図15に示す例では、属性毎に、検出方法として、大笑い用の検出方法(検出器)と微笑用の検出方法(検出器)とが対応付けられていることになる。検出方法毎の集計方法としては、微笑用の検出方法で微笑と検出され、大笑い用の検出方法で大笑いと検出されない場合、微笑に集計し、微笑用の検出方法で微笑と検出されず、大笑い用の検出方法で大笑いと検出された場合、大笑いに集計し、微笑用の検出方法で微笑と検出されず、大笑い用の検出方法で大笑いと検出されない場合、笑わないに集計すればよい。なお、微笑用の検出方法で微笑と検出され、大笑い用の検出方法で大笑いと検出された場合、検出値(検出結果の値)の大きい方に集計すればよい。
(ハードウェア構成)
図16は、上記各実施形態の検出装置のハードウェア構成の一例を示す図である。図16に示すように、上記各実施形態の検出装置は、CPUなどの制御装置901と、ROMやRAMなどの主記憶装置902と、HDDやSSDなどの補助記憶装置903と、ディスプレイなどの表示装置904と、ビデオカメラやマイクなどの入力装置905と、通信インタフェースなどの通信装置906と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。
上記各実施形態の検出装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、CD−R、メモリカード、DVD(Digital Versatile Disk)、フレキシブルディスク(FD)等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。
また、上記各実施形態の検出装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態の検出装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記各実施形態の検出装置で実行されるプログラムを、ROM等に予め組み込んで提供するようにしてもよい。
上記各実施形態の検出装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、CPUがROMやHDDなどからプログラムをRAM上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、上記各実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
例えば、実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。
以上のように、上記各実施形態によれば、人物の所定反応の検出精度を向上させることができる。
10、110 検出装置
11 入力部
13 取得部
15 識別部
17 第1記憶部
19 検出部
21、121 出力部
123 第2記憶部
125 集計部

Claims (13)

  1. 人物を観測した観測データを取得する取得部と、
    前記観測データに基づいて、前記人物の属性を識別する識別部と、
    前記属性に応じた検出方法で、前記観測データから前記人物の所定反応の有無を検出する検出部と、
    を備える検出装置。
  2. 前記属性は、性別、年齢、年代、人種、及び氏名の少なくともいずれかを含む請求項1に記載の検出装置。
  3. 前記検出部は、属性毎に当該属性に応じた1以上の検出方法を対応付けて記憶する記憶部から、前記人物の属性に対応付けられた1以上の検出方法を取得し、当該1以上の検出方法で前記所定反応を検出する請求項1又は2に記載の検出装置。
  4. 前記検出方法は、前記所定反応を示唆する表情変化、顔の動作、及び手の動作の少なくともいずれかを検出する請求項1〜3のいずれか1つに記載の検出装置。
  5. 検出結果を出力する出力部を更に備える請求項1〜4のいずれか1つに記載の検出装置。
  6. 複数の人物の前記所定反応の有無の検出結果を集計して、統計情報を生成する集計部と、
    前記統計情報を出力する出力部と、
    を更に備える請求項1〜4のいずれか1つに記載の検出装置。
  7. 前記統計情報は、前記属性又は時間帯毎の前記所定反応の検出有無を集計した情報である請求項6に記載の検出装置。
  8. 前記統計情報は、前記属性及び当該属性に対応付けられた検出方法毎に前記所定反応が検出された人数を集計した情報である請求項6に記載の検出装置。
  9. 前記統計情報は、時間帯、前記属性、及び当該属性に対応付けられた検出方法毎に前記所定反応が検出された人数を集計した情報である請求項6に記載の検出装置。
  10. 前記観測データは、前記人物を撮像した撮像画像を含む請求項1〜9のいずれか1つに記載の検出装置。
  11. 前記観測データは、前記人物が発生した音声、及び前記人物の個人情報の少なくともいずれかを更に含む請求項10に記載の検出装置。
  12. 人物を観測した観測データを取得する取得ステップと、
    前記観測データに基づいて、前記人物の属性を識別する識別ステップと、
    前記属性に応じた検出方法で、前記観測データから前記人物の所定反応の有無を検出する検出ステップと、
    を含む検出方法。
  13. 人物を観測した観測データを取得する取得ステップと、
    前記観測データに基づいて、前記人物の属性を識別する識別ステップと、
    前記属性に応じた検出方法で、前記観測データから前記人物の所定反応の有無を検出する検出ステップと、
    をコンピュータに実行させるためのプログラム。
JP2015176654A 2015-09-08 2015-09-08 検出装置、方法及びプログラム Abandoned JP2017054240A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015176654A JP2017054240A (ja) 2015-09-08 2015-09-08 検出装置、方法及びプログラム
US15/258,198 US20170068841A1 (en) 2015-09-08 2016-09-07 Detecting device, and detecting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015176654A JP2017054240A (ja) 2015-09-08 2015-09-08 検出装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2017054240A true JP2017054240A (ja) 2017-03-16

Family

ID=58190580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015176654A Abandoned JP2017054240A (ja) 2015-09-08 2015-09-08 検出装置、方法及びプログラム

Country Status (2)

Country Link
US (1) US20170068841A1 (ja)
JP (1) JP2017054240A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017054241A (ja) * 2015-09-08 2017-03-16 株式会社東芝 表示制御装置、方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9313344B2 (en) * 2012-06-01 2016-04-12 Blackberry Limited Methods and apparatus for use in mapping identified visual features of visual images to location areas
US9536329B2 (en) * 2014-05-30 2017-01-03 Adobe Systems Incorporated Method and apparatus for performing sentiment analysis based on user reactions to displayable content

Also Published As

Publication number Publication date
US20170068841A1 (en) 2017-03-09

Similar Documents

Publication Publication Date Title
US11769492B2 (en) Voice conversation analysis method and apparatus using artificial intelligence
US11074436B1 (en) Method and apparatus for face recognition
US20190172458A1 (en) Speech analysis for cross-language mental state identification
JP6467965B2 (ja) 感情推定装置及び感情推定方法
US10108852B2 (en) Facial analysis to detect asymmetric expressions
KR20200113195A (ko) 이미지 클러스터링 방법 및 장치, 전자 기기 및 저장 매체
US11394675B2 (en) Method and device for commenting on multimedia resource
US20150006281A1 (en) Information processor, information processing method, and computer-readable medium
US20100021066A1 (en) Information processing apparatus and method, program, and recording medium
JP7151959B2 (ja) 映像アライメント方法及びその装置
US9408562B2 (en) Pet medical checkup device, pet medical checkup method, and non-transitory computer readable recording medium storing program
Deshan et al. Smart snake identification system using video processing
KR102476619B1 (ko) 전자 장치 및 이의 제어 방법
US20210126929A1 (en) Digital media authentication
WO2016054918A1 (zh) 一种图像处理方法、装置及存储介质
US10007842B2 (en) Same person determination device and method, and control program therefor
JP7438690B2 (ja) 情報処理装置、画像認識方法及び学習モデル生成方法
JP2017054240A (ja) 検出装置、方法及びプログラム
Shrivastava et al. Puzzling out emotions: a deep-learning approach to multimodal sentiment analysis
JP2018060374A (ja) 情報処理装置、評価システムおよびプログラム
US20210166685A1 (en) Speech processing apparatus and speech processing method
US20170068848A1 (en) Display control apparatus, display control method, and computer program product
US20200043360A1 (en) Action support device and action support method
CN113657134A (zh) 语音播放方法和装置、存储介质及电子设备
Singh et al. EMOTION RECOGNITION FOR MENTAL HEALTH PREDICTION USING AI TECHNIQUES: AN OVERVIEW.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180201

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20190107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190116