JP2012239004A - Television viewing support device - Google Patents
Television viewing support device Download PDFInfo
- Publication number
- JP2012239004A JP2012239004A JP2011106128A JP2011106128A JP2012239004A JP 2012239004 A JP2012239004 A JP 2012239004A JP 2011106128 A JP2011106128 A JP 2011106128A JP 2011106128 A JP2011106128 A JP 2011106128A JP 2012239004 A JP2012239004 A JP 2012239004A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- operation unit
- image data
- infrared
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Selective Calling Equipment (AREA)
Abstract
Description
本発明は、テレビジョン視聴支援装置に関する。 The present invention relates to a television viewing support apparatus.
携帯電話機、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン等の携帯端末を、テレビジョン受像機（テレビ装置）を遠隔操作するリモートコントロール装置（リモコン）として機能させるためのリモコン用アプリケーションプログラムが知られている。
このリモコン用アプリケーションプログラムを実行する、携帯電話機、タブレットＰＣ、スマートフォン等の複数の携帯端末それぞれは、一台のテレビ装置を遠隔操作することができる。
There is known a remote control application program for causing a mobile terminal such as a mobile phone, a tablet PC (Personal Computer), and a smartphone to function as a remote control device (remote control) for remotely operating a television receiver (television device).
Each of a plurality of portable terminals such as a mobile phone, a tablet PC, and a smartphone that executes the remote control application program can remotely operate one television device.
また、操作ボタンの配置等の操作環境を操作者ごとにカスタマイズすることができるリモコンが知られている（例えば、特許文献１参照）。
ところで、テレビ装置のリモコンの操作者が特定の一個人であるとは限らない。例えば、家庭に設置されたテレビ装置のリモコンは、家族内で共用されることが多い。よって、複数人分のカスタマイズデータが記憶されたリモコンを複数人で共用する場合、そのリモコンが操作者を正しく判別する必要がある。特許文献１に記載されたリモコンは、このリモコンが充電のためのクレードルから取り外されたことを検知したときに操作者の認証を開始することによって、操作者を早期に識別して特定するものである。
In addition, a remote controller that can customize the operation environment such as the arrangement of operation buttons for each operator is known (see, for example, Patent Document 1).
By the way, the operator of the remote controller of the television apparatus is not necessarily a specific individual. For example, a remote control for a television set installed in a home is often shared within a family. Therefore, when a remote controller storing customization data for a plurality of persons is shared by a plurality of persons, the remote controller needs to correctly determine the operator. The remote controller described in
しかしながら、特許文献１記載のリモコンがクレードルを経由することなく人から人に渡された場合、そのリモコンは、あらためて個人認証モードボタンが押されてからでないと操作者の認証を行うことができず、即座に操作者を特定することができない。
また、パスワード認証、携帯端末の内蔵カメラが撮像した顔画像を用いた顔認証、携帯端末が具備する指紋認証装置による指紋認証等の従来技術による個人認証は、被認証者による煩雑な操作を必要とする。よって、これらの個人認証を必要とするリモコンには、手に取ったリモコンを即座に操作することができないという問題がある。
したがって、これら従来技術によれば、複数種類のリモコンがテレビ装置を遠隔操作する操作環境において、実際に遠隔操作されるリモコンとこのリモコンの操作者とを迅速に特定し、その操作者によるそのリモコンの操作履歴情報を適切に取得することができなかった。
However, when the remote controller described in
In addition, conventional authentication such as password authentication, face authentication using a face image captured by the built-in camera of the mobile terminal, and fingerprint authentication using a fingerprint authentication device provided in the mobile terminal requires complicated operations by the person to be authenticated. And Therefore, there is a problem that these remote controllers that require personal authentication cannot immediately operate the remote controller that is picked up.
Therefore, according to these conventional techniques, in an operating environment in which a plurality of types of remote controllers remotely operate a television apparatus, a remote controller that is actually remotely operated and an operator of the remote controller are quickly identified, and the remote controller by the operator is identified. The operation history information of could not be obtained properly.
そこで、本発明は上記問題点を解決するためになされたものであり、複数種類のリモコンがテレビ装置を遠隔操作する操作環境において、実際に遠隔操作されるリモコンとこのリモコンの操作者とを即座に特定し、その操作者によるそのリモコンの操作履歴情報を適切に取得することができる、テレビジョン視聴支援装置を提供することを目的とする。 Therefore, the present invention has been made to solve the above-described problems. In an operating environment in which a plurality of types of remote controllers remotely operate a television apparatus, the remote controller that is actually remotely operated and the operator of the remote controller are immediately connected. It is an object of the present invention to provide a television viewing support apparatus that can appropriately acquire operation history information of the remote controller by the operator.
［１］上記の課題を解決するため、本発明の一態様であるテレビジョン視聴支援装置は、視聴者の顔と前記視聴者によって操作される赤外線出射型の操作部とを被写体として撮像し、一連の赤外線画像データを生成する光センサ部と、前記光センサ部が生成した前記赤外線画像データから前記視聴者の顔画像領域を検出して視聴者個人を特定し、前記赤外線画像データにおける前記顔画像領域の顔基準位置を検出する顔認識処理部と、前記赤外線画像データにおける、前記操作部に対応する赤外線画像領域の操作部基準位置を検出する操作部位置検出部と、前記顔認識処理部が特定した前記視聴者個人を示す個人識別情報および検出した前記顔基準位置と前記操作部位置検出部が検出した前記操作部基準位置とを取得し、前記赤外線画像データにおける前記顔基準位置と前記操作部基準位置との距離に応じて、前記操作部の操作者である視聴者個人を特定する特定部と、前記光センサ部が生成する一連の赤外線画像データから前記操作部の操作制御情報を取得する操作制御情報取得部と、前記特定部が特定した前記視聴者個人を示す個人識別情報と前記操作制御情報取得部が取得した前記操作制御情報とを対応付けて操作履歴情報を生成する操作履歴情報生成部と、を備えることを特徴とする。
ここで、赤外線出射型の操作部は、例えば、赤外線リモコン装置、赤外線通信機能を有する携帯電話機等である。また、光センサ部は、例えば、赤外線撮像装置である。光センサ部は、例えば、テレビジョン受像機でコンテンツを視聴する視聴者の顔とその視聴者によって保持されて操作される赤外線出射型の操作部とを撮像して一連の赤外線画像データを生成するものである。
このように構成したことにより、テレビジョン視聴支援装置は、赤外線出射型の操作部を保持しテレビジョン受像機でコンテンツを視聴している視聴者を即座に特定することができ、特定した視聴者が操作部を操作した操作履歴情報を適切に取得することができる。
すなわち、本発明の第１の態様によれば、赤外線リモコン装置、赤外線通信機能を有する携帯電話機等の赤外線出射型の操作部について、誰がどのような遠隔操作を行ったかという履歴情報を即座に且つ適切に取得することができる。
[1] In order to solve the above-described problem, a television viewing support apparatus according to an aspect of the present invention images a viewer's face and an infrared emitting operation unit operated by the viewer as subjects, An optical sensor unit for generating a series of infrared image data; and detecting the viewer's face image area from the infrared image data generated by the optical sensor unit to identify an individual viewer; and the face in the infrared image data A face recognition processing unit that detects a face reference position of an image region; an operation unit position detection unit that detects an operation unit reference position of an infrared image region corresponding to the operation unit in the infrared image data; and the face recognition processing unit. Personal identification information indicating the viewer individual identified by the user, and the detected face reference position and the operation unit reference position detected by the operation unit position detection unit, and the infrared image data From a series of infrared image data generated by the light sensor unit, a specifying unit that specifies a viewer individual who is an operator of the operation unit according to a distance between the face reference position and the operation unit reference position An operation control information acquisition unit for acquiring operation control information of the operation unit, personal identification information indicating the individual viewer specified by the specifying unit, and the operation control information acquired by the operation control information acquisition unit are associated with each other An operation history information generation unit that generates operation history information.
Here, the infrared emission type operation unit is, for example, an infrared remote control device, a mobile phone having an infrared communication function, or the like. The optical sensor unit is, for example, an infrared imaging device. The optical sensor unit, for example, captures a face of a viewer who views content on a television receiver and an infrared emission type operation unit held and operated by the viewer, and generates a series of infrared image data. Is.
With this configuration, the television viewing support apparatus can immediately identify the viewer who is holding the infrared emission type operation unit and is viewing the content on the television receiver. Can appropriately acquire the operation history information of operating the operation unit.
That is, according to the first aspect of the present invention, history information indicating who has performed what kind of remote operation on an infrared emission type operation unit such as an infrared remote control device or a mobile phone having an infrared communication function is immediately and Can be acquired appropriately.
［２］上記［１］記載のテレビジョン視聴支援装置において、前記光センサ部は、前記被写体を撮像して一連のカラー画像データをも生成し、前記光センサ部が生成した前記カラー画像データから、前記操作部位置検出部が検出した前記操作部基準位置の周辺領域の色情報に基づいて前記操作部を識別する操作部識別部をさらに備え、前記特定部は、前記顔認識処理部が特定した前記視聴者個人を示す個人識別情報および検出した前記顔基準位置と、前記操作部位置検出部が検出した前記操作部基準位置と、前記操作部識別部が識別した前記操作部の識別情報とを取得し、前記赤外線画像データにおける前記顔基準位置と前記操作部基準位置との距離に応じて前記操作部の操作者である視聴者個人を特定し、前記視聴者個人を示す個人識別情報および前記操作部の識別情報を対応付け、前記操作履歴情報生成部は、前記特定部が対応付けた前記視聴者個人を示す個人識別情報および前記操作部の識別情報と前記操作制御情報取得部が取得した前記操作制御情報とを対応付けて操作履歴情報を生成することを特徴とする。
ここで、光センサ部は、例えば、赤外線撮像装置と同一の画角、または被写体が重なるように光学調整されたカラー撮像装置を含む。
このように構成したことにより、テレビジョン視聴支援装置は、操作部を保持しテレビジョン受像機でコンテンツを視聴している視聴者を即座に特定することができ、さらに操作部を識別して、特定した視聴者が識別した操作部を操作した操作履歴情報を適切に取得することができる。
すなわち、本発明の第２の態様によれば、赤外線リモコン装置、赤外線通信機能を有する携帯電話機等の赤外線出射型の操作部について、誰が、どの操作部を用いてどのような遠隔操作を行ったかという履歴情報を即座に且つ適切に取得することができる。
[2] In the television viewing support apparatus according to [1], the optical sensor unit captures the subject to generate a series of color image data, and the color image data generated by the optical sensor unit. , Further comprising an operation unit identification unit that identifies the operation unit based on color information of a peripheral region of the operation unit reference position detected by the operation unit position detection unit, wherein the identification unit is identified by the face recognition processing unit Personal identification information indicating the viewer individual, the detected face reference position, the operation unit reference position detected by the operation unit position detection unit, and identification information of the operation unit identified by the operation unit identification unit, And identifying a viewer individual who is an operator of the operation unit according to a distance between the face reference position and the operation unit reference position in the infrared image data, and identifying personal identification information indicating the viewer individual And the operation history information generation unit includes personal identification information indicating the individual viewer associated with the specific unit, identification information of the operation unit, and the operation control information acquisition unit. The operation history information is generated by associating with the acquired operation control information.
Here, the optical sensor unit includes, for example, a color imaging device that is optically adjusted such that the same angle of view as the infrared imaging device or the subject overlaps.
With this configuration, the television viewing support apparatus can immediately identify the viewer who is holding the operation unit and watching the content on the television receiver, and further identifies the operation unit, Operation history information obtained by operating the operation unit identified by the identified viewer can be appropriately acquired.
That is, according to the second aspect of the present invention, who performed what remote operation using which operation unit for the infrared emission type operation unit such as an infrared remote control device and a mobile phone having an infrared communication function. Can be acquired immediately and appropriately.
［３］上記［１］または［２］記載のテレビジョン視聴支援装置において、前記光センサ部は、撮像光軸と同軸の照明光軸を有する同軸赤外線照明をさらに備え、赤外線非出射型の操作部をも撮像することを特徴とする。
ここで、赤外線非出射型の操作部は、例えば、タブレットＰＣ、スマートフォン等の携帯端末である。また、その操作部を遠隔操作のために使用する際に、テレビジョン受像機側に向けられる操作部の端面には、再帰性反射材が設けられていることが好ましい。
[3] In the television viewing support apparatus according to [1] or [2], the optical sensor unit further includes coaxial infrared illumination having an illumination optical axis that is coaxial with the imaging optical axis, and operates without infrared radiation. It is also characterized in that the part is also imaged.
Here, the infrared non-emission type operation unit is, for example, a portable terminal such as a tablet PC or a smartphone. In addition, when the operation unit is used for remote operation, a retroreflecting material is preferably provided on the end surface of the operation unit directed to the television receiver side.
［４］上記［３］記載のテレビジョン視聴支援装置において、前記操作部位置検出部は、前記赤外線画像データから閉領域を抽出してクラスタ分析処理を実行し、前記赤外線画像データにおける相対距離が所定距離以下であるクラスタ同士を統合して前記操作部の赤外線画像領域とし、前記赤外線画像領域の操作部基準位置を検出することを特徴とする。
ここで、上記の所定距離は、例えば操作部を視聴者が保持する場合に、指や手等によって再帰性反射材が分断されることを考慮して決められる距離である。
[4] In the television viewing support apparatus according to [3] above, the operation unit position detection unit extracts a closed region from the infrared image data and executes cluster analysis processing, and a relative distance in the infrared image data is determined. Clusters having a predetermined distance or less are integrated to form an infrared image region of the operation unit, and an operation unit reference position of the infrared image region is detected.
Here, the predetermined distance is a distance determined in consideration of the fact that the retroreflecting material is divided by a finger, a hand, or the like when the viewer holds the operation unit.
本発明によれば、複数種類のリモコンがテレビ装置を遠隔操作する操作環境において、実際に遠隔操作されるリモコンとこのリモコンの操作者とを即座に特定し、その操作者によるそのリモコンの操作履歴情報を適切に取得することができる。 According to the present invention, in an operating environment in which a plurality of types of remote controllers remotely operate a television device, the remote controller that is actually remotely operated and the operator of the remote controller are immediately identified, and the operation history of the remote controller by the operator is identified. Information can be acquired appropriately.
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
なお、以下の説明において、テレビジョンをテレビ、リモートコントロールをリモコンと略記することがある。
Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
In the following description, television is sometimes abbreviated as television and remote control is abbreviated as remote control.
［第１の実施の形態］
図１は、本発明の第１実施形態であるテレビジョン視聴支援装置を適用したテレビ視聴システムの全体構成を示すブロック図である。同図に示すように、テレビ視聴システム１は、テレビジョン受像機１０と、操作部１１と、テレビジョン視聴支援装置２０とを備える。
[First Embodiment]
FIG. 1 is a block diagram showing the overall configuration of a television viewing system to which the television viewing support apparatus according to the first embodiment of the present invention is applied. As shown in the figure, the
テレビジョン受像機１０は、放送電波を受信する受信アンテナから供給される地上デジタル放送や衛星放送等の放送信号を取り込んで復調し、この復調された信号から、視聴者によって所望に選択された放送番組を抽出するチューナ部と、映像を表示する表示部と、音声を出力する音声出力部とを備えるテレビ装置である。テレビジョン受像機１０は、電源の入切、選局（チャンネル切替え）、音量調節、入力信号の切替え等を、操作部１１から供給される操作制御信号に基づいて行う。テレビジョン受像機１０は、操作部１１から供給される操作制御信号を取り込むためのインタフェースとして、赤外線受信部やネットワーク・インタフェースを備える。
テレビジョン受像機１０は、例えば、チューナ部と表示部（例えば、液晶表示部）と音声出力部とを一体的に構成した液晶テレビ装置、チューナ部をセットトップボックスとして表示部から分離して構成したテレビシステム、チューナ部を備えたコンピュータ装置および表示装置等により実現される。
The
The
操作部１１は、操作部１１の保持者（操作者）による操作にしたがって操作制御信号を発生し、この操作制御信号をテレビジョン受像機１０とテレビジョン視聴支援装置２０とに送信する遠隔操作機器である。操作部１１は、パルス化した操作制御信号を赤外線Ｓにより送信する赤外線出射型の操作部であり、例えば、赤外線リモコン装置、赤外線通信機能を有する携帯電話機により実現される。
なお、本実施形態における携帯電話機は、この携帯電話機を赤外線リモコン装置として機能させるためのリモコン用アプリケーションプログラムを実行している状態のものである。
The
Note that the mobile phone in the present embodiment is in a state where a remote control application program for causing the mobile phone to function as an infrared remote control device is being executed.
テレビジョン視聴支援装置２０は、テレビジョン受像機１０でコンテンツを視聴している一または複数の視聴者の中から、テレビジョン受像機１０を遠隔操作する操作部１１と、操作部１１を実際に操作している視聴者とを特定し、この特定結果に基づいて、視聴者ごとの操作部１１の操作履歴情報を取得する装置である。
図１に示すように、テレビジョン視聴支援装置２０は、光センサ部２００と、操作履歴情報取得部３００とを備える。
The television viewing support device 20 actually operates the
As shown in FIG. 1, the television viewing support device 20 includes an
光センサ部２００は、テレビジョン受像機１０でコンテンツを視聴する一または複数の視聴者の顔と、テレビジョン受像機１０を遠隔操作する操作部１１とを赤外線波長領域および可視光波長領域それぞれの波長領域で撮影し、これらの撮影により得た赤外線画像信号とカラー画像信号とを操作履歴情報取得部３００に供給する。赤外線画像信号は、赤外線波長領域における撮像画像の信号である。また、カラー画像信号は、可視光波長領域における撮像画像の信号である。
The
光センサ部２００は、テレビジョン受像機１０でコンテンツを視聴する視聴者の略正面（正面を含む）の顔と、操作部１１の赤外線送信部とを撮影可能な位置に設置される。また、操作部１１が送信する赤外線Ｓはテレビジョン受像機１０の赤外線受信部でも受信される必要があるため、光センサ部２００は、テレビジョン受像機１０の赤外線受信部に比較的近い位置に設置される。光センサ部２００の構成の詳細については後述する。
The
操作履歴情報取得部３００は、利用操作部の特定処理と操作履歴情報の取得処理とを実行する。利用操作部の特定処理は、テレビジョン受像機１０を遠隔操作する操作部１１と、操作部１１を操作する視聴者とを特定する処理である。特定された操作部１１を利用操作部とも呼ぶ。操作履歴情報の取得処理は、特定した視聴者の操作によって利用操作部から得られる視聴者ごとの操作履歴情報を取得する処理である。
The operation history
利用操作部の特定処理において、操作履歴情報取得部３００は、光センサ部２００から供給される赤外線画像信号とカラー画像信号とを取り込み、これら赤外線画像信号とカラー画像信号との画像処理を行うことによって、テレビジョン受像機１０を遠隔操作する操作部１１と、操作部１１を操作する視聴者とを特定する。
In the specifying process of the use operation unit, the operation history
また、操作履歴情報の取得処理において、操作履歴情報取得部３００は、光センサ部２００から供給される赤外線画像信号を取り込み、この赤外線画像信号に基づいて操作部１１が送信した操作制御情報を取得する。操作履歴情報取得部３００は、その操作制御情報と、利用操作部の特定処理において特定した操作部１１および操作部１１を操作する視聴者とを対応付けた操作履歴情報を生成する。
操作履歴情報取得部３００の構成の詳細については後述する。
In the operation history information acquisition process, the operation history
Details of the configuration of the operation history
図２は、光センサ部２００の概略構成を模式的に示す断面図である。同図に示すように、光センサ部２００は、光束分離部２１０と、赤外線撮像部２２０と、カラー撮像部２３０とを備える。
光束分離部２１０は、到来する光束を赤外線と可視光とに分離する光学フィルタである。光束分離部２１０は、例えば、赤外線Ｓを透過させる一方、可視光を反射させるコールドミラーにより実現される。
赤外線撮像部２２０は、光束分離部２１０を透過して到来する赤外線Ｓを受光して撮像し赤外線画像信号を生成する。赤外線撮像部２２０は、例えば赤外線ビデオカメラ装置により実現される。
カラー撮像部２３０は、光束分離部２１０から反射して到来する可視光を受光して撮像しカラー画像信号を生成する。カラー撮像部２３０は、例えばカラービデオカメラ装置により実現される。
なお、光束分離部２１０は、例えば、可視光を透過させる一方、赤外線Ｓを反射させるホットミラーにより実現してもよい。
FIG. 2 is a cross-sectional view schematically showing a schematic configuration of the
The light
The
The
The light
赤外線撮像部２２０およびカラー撮像部２３０それぞれの被写体は、テレビジョン受像機１０でコンテンツを視聴する一または複数の視聴者の顔と、テレビジョン受像機１０を遠隔操作している操作部１１（利用操作部）とである。赤外線撮像部２２０およびカラー撮像部２３０は、それぞれのフレームの画角が一致するか、または被写体が重なるように光学調整されて設置される。
The subjects of the
図３は、操作履歴情報取得部３００が記憶する顔特徴情報のデータ構成を示す図である。顔特徴情報は、テレビジョン受像機１０を視聴する視聴者ごとの顔の特徴を示すデータの集合である。同図に示すように、顔特徴情報は、個人識別情報と顔特徴データとの各項目を対応付けたデータテーブルである。個人識別情報は、視聴者個人を識別する情報である。顔特徴データは、あらかじめ撮像した視聴者の顔画像から得た顔の特徴データである。顔特徴データは、例えば、眉毛、目、鼻、唇等の大きさおよび相対位置、ならびに顔の輪郭等を示す特徴量である。同図に示す顔特徴情報は、４人分の顔特徴データを個人識別情報に対応付けて有している。
FIG. 3 is a diagram illustrating a data configuration of the facial feature information stored in the operation history
図４は、操作履歴情報取得部３００が記憶する色ヒストグラム情報のデータ構成を示す図である。色ヒストグラム情報は、テレビジョン受像機１０を遠隔操作する操作部１１ごとの、赤外線送信部の周囲の色ヒストグラムの集合である。同図に示すように、色ヒストグラム情報は、操作部識別情報と色ヒストグラムとの各項目を対応付けたデータテーブルである。操作部識別情報は、操作部１１を識別する情報である。色ヒストグラムは、色成分を級数とし画素数を度数としたヒストグラムである。同図に示す色ヒストグラム情報は、５個分の操作部１１の色ヒストグラムを操作部識別情報に対応付けて有している。
FIG. 4 is a diagram illustrating a data configuration of color histogram information stored in the operation history
図５は、操作履歴情報取得部３００の機能構成を示すブロック図である。同図に示すように、操作履歴情報取得部３００は、画像信号取得部３０１と、顔特徴情報記憶部３０２と、顔認識処理部３０３と、マスク画像生成部３０４と、操作部位置検出部３０５と、色ヒストグラム記憶部３０６と、操作部識別部３０７と、特定部３０８と、操作制御情報取得部３０９と、操作履歴情報生成部３１０とを備える。
FIG. 5 is a block diagram illustrating a functional configuration of the operation history
画像信号取得部３０１は、光センサ部２００から供給される赤外線画像信号とカラー画像信号とを取り込む。
The image
具体的には、画像信号取得部３０１は、利用操作部の特定処理において、光センサ部２００から供給される赤外線画像信号とカラー画像信号とをそれぞれ取り込み、毎フレーム、または複数フレームごとに、１フレーム画像分の赤外線画像データを顔認識処理部３０３とマスク画像生成部３０４と操作部位置検出部３０５とに供給する。また、画像信号取得部３０１は、毎フレーム、または複数フレームごとに、１フレーム画像分のカラー画像データを顔認識処理部３０３と操作部識別部３０７とに供給する。
また、画像信号取得部３０１は、操作履歴情報の取得処理において、光センサ部２００から供給される赤外線画像信号を取り込み、毎フレーム、または複数フレームごとに、１フレーム画像分の赤外線画像データを操作制御情報取得部３０９に供給する。
Specifically, the image
Further, in the operation history information acquisition process, the image
顔特徴情報記憶部３０２は、テレビジョン受像機１０を利用する視聴者全員分の顔特徴情報をあらかじめ記憶する。
The face feature
顔認識処理部３０３は、画像信号取得部３０１から供給されるカラー画像データおよび赤外線画像データと、顔特徴情報記憶部３０２に記憶された顔特徴情報とに基づいて、テレビジョン受像機１０でコンテンツを視聴している一または複数の視聴者個人を特定する。また、顔認識処理部３０３は、フレーム画像における、特定した視聴者の顔の基準位置を取得する。顔認識処理部３０３は、特定した視聴者の個人識別情報と顔の基準位置を示す位置情報とを対応付けて、特定部３０８に供給する。
The face
具体的には、顔認識処理部３０３は、画像信号取得部３０１から供給されるカラー画像データと赤外線画像データとを取り込む。顔認識処理部３０３は、カラー画像データの平均輝度値（カラー画像平均輝度値）を計算する。顔認識処理部３０３は、カラー画像平均輝度値があらかじめ記憶した閾値を超える場合に、カラー画像データを用いて顔画像検出処理を実行し、カラー画像平均輝度値がその閾値以下である場合に、赤外線画像データを用いて顔画像検出処理を実行し、一または複数の顔画像領域を検出する。
上記の閾値は、例えば、顔認識処理部３０３が、カラー画像平均輝度値が異なる複数のカラー画像データそれぞれについて顔画像検出処理を実行した場合の、検出可否の結果および検出誤差に応じて決定される。
Specifically, the face
The threshold value is determined according to, for example, a detection result and a detection error when the face
顔認識処理部３０３は、検出した一または複数の顔画像領域から顔特徴データを抽出する処理を実行する。顔認識処理部３０３は、顔画像領域ごとに、その抽出した顔特徴データと、顔特徴情報記憶部３０２に記憶された顔特徴情報に含まれる全ての顔特徴データとの類似度をそれぞれ計算し、類似度が最も高い顔特徴データのペアに対応する個人識別情報を顔特徴情報から抽出して、その個人識別情報と当該顔画像領域とを対応付ける。
顔認識処理部３０３は、フレーム画像における当該顔画像領域の顔基準位置を取得し、この顔基準位置と当該顔画像領域に対応付けられた個人識別情報とを対応付けて、特定部３０８に供給する。顔基準位置は、例えば、顔画像領域を少なくとも含む円の中心位置である。または、顔画像領域の重心位置を顔基準位置としてもよい。
The face
The face
マスク画像生成部３０４は、画像信号取得部３０１から供給される赤外線画像データに基づいて、操作部位置検出部３０５と連携動作することによりマスク画像データを生成する。マスク画像データは、赤外線画像データから赤外線Ｓが照射されている領域（赤外線照射領域）を精度よく取得するためのマスクデータである。
The mask
具体的には、マスク画像生成部３０４は、画像信号取得部３０１から供給される赤外線画像データを取り込み、内部の記憶部（図示省略）に記憶させる。詳細には、マスク画像生成部３０４は、現時点から所定時間分だけ過去の赤外線画像データを上記の記憶部に記憶させる。マスク画像生成部３０４は、上記の記憶部に記憶された所定時間分の赤外線画像データの画素ごとの平均輝度値を計算して１フレーム画像分の平均輝度画像データを生成し、この平均輝度画像データを操作部位置検出部３０５に供給する。以下、この平均輝度画像データを背景画像データと呼ぶ。
Specifically, the mask
背景画像データは、光センサ部２００に到来する赤外線雑音による影響を抑制または除去するために用いられる画像データである。赤外線雑音は、例えば、カーテンやブラインドを開けたことにより室外から入来する赤外線、室内の照明を点灯したときに発生する赤外線等である。上記の所定時間は、光センサ部２００の周囲環境に応じて任意に設定される。
The background image data is image data used to suppress or remove the influence of infrared noise that arrives at the
また、マスク画像生成部３０４は、背景画像データの全画素の平均輝度値（背景画像全画素平均輝度値）を計算し、この平均輝度値を前記の記憶部に記憶させる。
また、マスク画像生成部３０４は、背景画像データの輝度値ヒストグラムを生成し、例えば、最低輝度値である画素を先頭として１フレーム画像分の画素の８０％までを順次計数したときの最高輝度値を操作部位置検出部３０５に供給する。
また、マスク画像生成部３０４は、操作部位置検出部３０５から供給されるクラスタ分析処理後の赤外線画像データを取り込み、このクラスタ分析処理後の赤外線画像データをマスク画像データとして前記の記憶部に記憶させる。
Further, the mask
Further, the mask
Further, the mask
操作部位置検出部３０５は、画像信号取得部３０１から供給される赤外線画像データと、マスク画像生成部３０４から供給される背景画像データおよび最高輝度値とに基づいて、赤外線画像データから操作部１１の赤外線送信部の位置を検出する。
Based on the infrared image data supplied from the image
具体的には、操作部位置検出部３０５は、画像信号取得部３０１から供給される赤外線画像データを取り込み、マスク画像生成部３０４から供給される背景画像データと最高輝度値とを取り込む。そして、操作部位置検出部３０５は、赤外線画像データと背景画像データとの画素ごとの差分を計算し、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ；ＳＡＤ）を計算する。
Specifically, the operation unit
操作部位置検出部３０５は、差分絶対値和があらかじめ記憶した閾値以下である場合、赤外線画像データに対して一定値である第１の閾値を用いた第１の閾値処理を実行する。差分絶対値和が閾値以下であるとは、操作部１１による像が赤外線画像データ内で静止しているか、または殆ど静止した状態であることを示す。
操作部位置検出部３０５は、マスク画像生成部３０４の記憶部に記憶されたマスク画像データを読み込み、第１の閾値処理後の赤外線画像データをマスク画像データでマスクする。
When the sum of absolute differences is equal to or less than the threshold value stored in advance, the operation unit
The operation unit
また、操作部位置検出部３０５は、差分絶対値和が上記の閾値を超える場合、赤外線画像データに対して最高輝度値を第２の閾値として用いた第２の閾値処理を実行する。差分絶対値和が閾値を超えるとは、操作部１１による像が赤外線画像データ内で動いていることを示す。
In addition, when the sum of absolute differences exceeds the threshold value, the operation unit
また、操作部位置検出部３０５は、マスクされた赤外線画像データまたは第２の閾値処理された赤外線画像データから閉領域を抽出してクラスタ分析処理（クラスタリング）を実行する。
操作部位置検出部３０５は、クラスタ分析処理後の赤外線画像データをマスク画像生成部３０４に供給する。
Further, the operation unit
The operation unit
また、操作部位置検出部３０５は、クラスタ分析処理後の赤外線画像データからクラスタである赤外線画像領域の操作部基準位置を計算し、この操作部基準位置を示す情報を操作部位置情報として操作部識別部３０７に供給する。操作部基準位置は、例えば赤外線画像領域の重心位置であり、操作部１１の赤外線送信部またはその近傍を示す位置である。
Further, the operation unit
色ヒストグラム記憶部３０６は、テレビジョン受像機１０を遠隔操作する一または複数の操作部１１の色ヒストグラム情報をあらかじめ記憶する。
The color
操作部識別部３０７は、画像信号取得部３０１から供給されるカラー画像データと、操作部位置検出部３０５から供給される操作部位置情報と、色ヒストグラム記憶部３０６に記憶された色ヒストグラム情報とに基づいて、カラー画像データ内の操作部１１を識別する。
The operation
具体的には、操作部識別部３０７は、画像信号取得部３０１から供給されるカラー画像データを取り込み、操作部位置検出部３０５から供給される操作部位置情報を取り込む。操作部識別部３０７は、カラー画像データから操作部位置情報が示す操作部基準位置の周囲、例えば、その操作部基準位置を中心として所定距離を半径とした円領域の色情報である色ヒストグラムを生成する。所定距離は、想定される操作部１１の大きさに応じて任意に決定される。
操作部識別部３０７は、生成した色ヒストグラムと色ヒストグラム記憶部３０６に記憶された色ヒストグラム情報に含まれる全ての色ヒストグラムそれぞれとのヒストグラムインターセクションを計算する。操作部識別部３０７は、そのヒストグラムインターセクションの計算結果について、類似度が最も高いペアに対応する操作部識別情報を色ヒストグラム情報から抽出し、その操作部識別情報と操作部位置情報とを対応付けて特定部３０８に供給する。この操作部識別情報に対応する操作部１１が利用操作部である。
Specifically, the operation
The operation
特定部３０８は、顔認識処理部３０３から供給される一または複数の個人識別情報と顔画像領域の顔基準位置とのペアデータと、操作部識別部３０７から供給される操作部識別情報と操作部位置情報とのペアデータとに基づいて、利用操作部とこの利用操作部を操作する視聴者とを特定する。
The specifying
具体的には、特定部３０８は、顔認識処理部３０３から供給される一または複数の個人識別情報と顔画像領域の顔基準位置とのペアデータを取り込み、操作部識別部３０７から供給される操作部識別情報と操作部位置情報とのペアデータを取り込む。特定部３０８は、一または複数の個人識別情報と顔画像領域の顔基準位置とのペアデータと、操作部識別情報と操作部位置情報とのペアデータとの全ての組み合わせについて、顔画像領域の顔基準位置と操作部位置情報が示す赤外線画像領域の操作部基準位置との距離を計算し、距離が最も短い、または所定距離以下となる組み合わせにおける個人識別情報と操作部識別情報とを対応付けて内部の記憶部（図示省略）に記憶させる。
Specifically, the specifying
操作制御情報取得部３０９は、操作履歴情報の取得処理において、画像信号取得部３０１から供給される赤外線画像データと、マスク画像生成部３０４に記憶された背景画像全画素平均輝度値とに基づいて、利用操作部である操作部１１が送信した赤外線Ｓから操作制御情報を取得する。
The operation control
具体的には、操作制御情報取得部３０９は、マスク画像生成部３０４に記憶された背景画像全画素平均輝度値を読み込み、画像信号取得部３０１から供給される赤外線画像データを取り込む。背景画像全画素平均輝度値は、操作部１１から赤外線Ｓが送信されていない状態を示す。
Specifically, the operation control
操作制御情報取得部３０９は、画像信号取得部３０１から供給される赤外線画像データを取り込むたびに、その赤外線画像データの平均輝度値（赤外線画像平均輝度値）を計算し、この赤外線画像平均輝度値と背景画像全画素平均輝度値とを比較する。操作制御情報取得部３０９は、赤外線画像平均輝度値が背景画像全画素平均輝度値よりも大きい場合、例えば、赤外線画像平均輝度値が背景画像全画素平均輝度値の１．２倍以上の輝度である場合にオン状態であると判定する。また、操作制御情報取得部３０９は、赤外線画像平均輝度値が背景画像全画素平均輝度値よりも小さい場合、例えば、赤外線画像平均輝度値が背景画像全画素平均輝度値の０．８倍以下の輝度である場合にオフ状態であると判定する。オン状態とは、操作部１１が赤外光Ｓを送信している状態であり、オフ状態とは、操作部１１が赤外光Ｓの送信を停止している状態である。
The operation control
操作制御情報取得部３０９は、時系列の赤外線画像データのオン状態またはオフ状態を判定することによって赤外線Ｓのパルス符号を取得し、このパルス符号を復号して操作制御情報を取得し、この操作制御情報を操作履歴情報生成部３１０に供給する。
The operation control
操作履歴情報生成部３１０は、特定部３０８の記憶部に記憶された個人識別情報と操作部識別情報とのペアを読み込み、操作制御情報取得部３０９から供給される操作制御情報を取り込む。操作履歴情報生成部３１０は、これら取り込んだ個人識別情報と操作部識別情報と操作制御情報とを関連付けた操作履歴情報を生成し、この操作履歴情報を外部の情報処理装置（図示省略）に出力したり、内部の記憶部（図示省略）に記憶させたりする。
The operation history
次に、第１実施形態であるテレビジョン視聴支援装置２０の操作履歴情報取得部３００の動作について説明する。
図６は、操作履歴情報取得部３００が実行する利用操作部の特定処理全体のフローチャートである。
まず、初期の処理として、画像信号取得部３０１は、光センサ部２００から供給される赤外線画像信号とカラー画像信号とをそれぞれ取り込み、これら赤外線画像信号とカラー画像信号とのフレーム同期をかける。
次に、ステップＳ１において、画像信号取得部３０１は、毎フレーム、または複数フレームごとに、１フレーム画像分の赤外線画像データおよびカラー画像データを取得する。
Next, the operation of the operation history
FIG. 6 is a flowchart of the entire specifying process of the use operation unit executed by the operation history
First, as an initial process, the image
Next, in step S1, the image
ステップＳ２，Ｓ３，Ｓ４の各処理は、ステップＳ１の処理に続けて並列実行される。ステップＳ２は、顔認識処理部３０３が実行する顔認識処理である。ステップＳ３は、マスク画像生成部３０４と操作部位置検出部３０５とが連携して実行するマスク画像生成処理である。ステップＳ４は、操作部位置検出部３０５が実行する操作部位置情報取得処理である。ステップＳ５は、ステップＳ４の処理の次に、操作部識別部３０７と特定部３０８とが実行する操作部特定処理である。
Each process of steps S2, S3, and S4 is executed in parallel following the process of step S1. Step S <b> 2 is face recognition processing executed by the face
次に、ステップＳ２〜Ｓ５の各処理の詳細を説明する。
図７は、顔認識処理部３０３が実行する顔認識処理（Ｓ２）の手順を示すフローチャートである。顔認識処理部３０３は、画像信号取得部３０１から各１フレーム画像のカラー画像データと赤外線画像データとを取り込むと本フローチャートの処理を実行する。
ステップＳ２０１において、顔認識処理部３０３は、カラー画像データの平均輝度値であるカラー画像平均輝度値を計算する。
次に、ステップＳ２０２において、顔認識処理部３０３は、カラー画像平均輝度値があらかじめ記憶した閾値を超える場合（Ｓ２０２：ＹＥＳ）、ステップＳ２０３の処理に移し、カラー画像平均輝度値がその閾値以下である場合（Ｓ２０２：ＮＯ）、ステップＳ２０４の処理に移す。
Next, details of each processing in steps S2 to S5 will be described.
FIG. 7 is a flowchart illustrating a procedure of face recognition processing (S2) executed by the face
In step S201, the face
Next, in step S202, when the color image average luminance value exceeds the threshold value stored in advance (S202: YES), the face
ステップＳ２０３において、顔認識処理部３０３は、取り込んだカラー画像データを用いて顔画像検出処理を実行し、ステップＳ２０５の処理に移す。
一方、ステップＳ２０４において、顔認識処理部３０３は、取り込んだ赤外線画像データを用いて顔画像検出処理を実行し、ステップＳ２０５の処理に移す。
顔認識処理部３０３が実行する顔画像検出処理として、公知の顔画像検出アルゴリズムを適用する。具体的には、顔認識処理部３０３は、例えば、ＡｄａＢｏｏｓｔアルゴリズムによりカラー画像データまたは赤外線画像データから一または複数の顔画像領域を検出する。
In step S203, the face
On the other hand, in step S204, the face
A known face image detection algorithm is applied as the face image detection process executed by the face
ステップＳ２０５において、顔認識処理部３０３は、検出した一または複数の顔画像領域から顔特徴データを抽出する。
次に、顔認識処理部３０３は、顔画像領域ごとに、その抽出した顔特徴データと、顔特徴情報記憶部３０２に記憶された顔特徴情報に含まれる全ての顔特徴データとの類似度をそれぞれ計算し、類似度が最も高い顔特徴データのペアに対応する個人識別情報を顔特徴情報から抽出し、その個人識別情報と当該顔画像領域とを対応付ける。
In step S205, the face
Next, the face
次に、ステップＳ２０６において、顔認識処理部３０３は、フレーム画像における当該顔画像領域の顔基準位置を取得し、この顔基準位置と当該顔画像領域に対応付けられた個人識別情報とを対応付けて特定部３０８に供給する。
Next, in step S206, the face
図８は、マスク画像生成部３０４と操作部位置検出部３０５とが連携して実行するマスク画像生成処理（Ｓ３）の手順を示すフローチャートである。マスク画像生成部３０４は、画像信号取得部３０１から１フレームの赤外線画像データを取り込むと本フローチャートの処理を実行する。
ステップＳ３０１において、マスク画像生成部３０４は、赤外線画像データを内部の記憶部（図示省略）に記憶させる。この時点で、マスク画像生成部３０４の上記の記憶部は、現時点から所定時間分だけ過去の赤外線画像データを記憶することとなる。
次に、ステップＳ３０２において、マスク画像生成部３０４は、上記の記憶部に記憶された所定時間分の赤外線画像データの画素ごとの平均輝度値を計算して１フレーム分の平均輝度画像データを生成し、この平均輝度画像データを背景画像データとして操作部位置検出部３０５に供給する。
FIG. 8 is a flowchart showing a procedure of mask image generation processing (S3) executed by the mask
In step S301, the mask
Next, in step S302, the mask
次に、ステップＳ３０３において、マスク画像生成部３０４は、背景画像データの全画素の平均輝度値である背景画像全画素平均輝度値を計算し、この背景画像全画素平均輝度値を前記の記憶部に記憶させる。
次に、マスク画像生成部３０４は、背景画像データの輝度値ヒストグラムを生成し、例えば、最低輝度値である画素を先頭として１フレーム画像分の画素の８０％までを順次計数したときの最高輝度値を操作部位置検出部３０５に供給する。
次に、ステップＳ３０４において、マスク画像生成部３０４は、操作部位置検出部３０５から供給されるクラスタ分析処理後の赤外線画像データを取り込み、このクラスタ分析処理後の赤外線画像データをマスク画像データとして前記の記憶部に記憶させる。
Next, in step S303, the mask
Next, the mask
Next, in step S304, the mask
図９は、操作部位置検出部３０５が実行する操作部位置情報取得処理（Ｓ４）の手順を示すフローチャートである。操作部位置検出部３０５は、画像信号取得部３０１から１フレームの赤外線画像データを取り込むと本フローチャートの処理を実行する。
ステップＳ４０１において、操作部位置検出部３０５は、マスク画像生成部３０４から供給される背景画像データと最高輝度値とを取り込む。
次に、ステップＳ４０２において、操作部位置検出部３０５は、赤外線画像データと背景画像データとの画素ごとの差分を計算し、差分絶対値和を計算する。
FIG. 9 is a flowchart illustrating the procedure of the operation unit position information acquisition process (S4) executed by the operation unit
In step S <b> 401, the operation unit
Next, in step S402, the operation unit
次に、ステップＳ４０３において、操作部位置検出部３０５は、差分絶対値和があらかじめ記憶した閾値以下である場合（Ｓ４０３：ＹＥＳ）は、ステップＳ４０４の処理に移す。一方、操作部位置検出部３０５は、差分絶対値和が上記の閾値を超える場合（ステップＳ４０３：ＮＯ）は、ステップＳ４０６の処理に移す。
Next, in step S403, if the difference absolute value sum is equal to or less than the threshold value stored in advance (S403: YES), the operation unit
ステップＳ４０４において、操作部位置検出部３０５は、赤外線画像データに対して一定値である第１の閾値を用いた第１の閾値処理を実行する。
次に、ステップＳ４０５において、操作部位置検出部３０５は、マスク画像生成部３０４の記憶部に記憶されたマスク画像データを読み込み、第１の閾値処理が実行された赤外線画像データをマスク画像データでマスクする。次に、操作部位置検出部３０５は、ステップＳ４０７の処理に移す。
In step S <b> 404, the operation unit
Next, in step S405, the operation unit
一方、ステップＳ４０６において、操作部位置検出部３０５は、赤外線画像データに対して最高輝度値を第２の閾値として用いた第２の閾値処理を実行する。次に、操作部位置検出部３０５は、ステップＳ４０７の処理に移す。
On the other hand, in step S406, the operation unit
ステップＳ４０７において、操作部位置検出部３０５は、ステップＳ４０５の処理においてマスクされた赤外線画像データ、またはステップＳ４０６の処理において第２の閾値処理された赤外線画像データから閉領域を抽出する。
次に、ステップＳ４０８において、操作部位置検出部３０５は、抽出した閉領域に対するクラスタ分析処理を実行する。クラスタ分析処理としては、例えばＫ平均法を適用する。
次に、操作部位置検出部３０５は、クラスタ分析処理後の赤外線画像データをマスク画像生成部３０４に供給する。
In step S407, the operation unit
Next, in step S408, the operation unit
Next, the operation unit
次に、ステップＳ４０９において、操作部位置検出部３０５は、クラスタ分析処理後の赤外線画像データから赤外線画像領域の操作部基準位置を計算し、この操作部基準位置を示す情報を操作部位置情報として操作部識別部３０７に供給する。
Next, in step S409, the operation unit
図１０は、操作部識別部３０７と特定部３０８とが実行する操作部特定処理（Ｓ５）の手順を示すフローチャートである。操作部識別部３０７は、画像信号取得部３０１から１フレームのカラー画像データを取り込むと本フローチャートの処理を実行する。
ステップＳ５０１において、操作部識別部３０７は、カラー画像データから操作部位置情報が示す操作部基準位置の周囲、例えば、その操作部基準位置を中心として所定距離を半径とした円領域の色ヒストグラムを生成する。
FIG. 10 is a flowchart showing the procedure of the operation unit identification process (S5) executed by the operation
In step S <b> 501, the operation
次に、ステップＳ５０２において、操作部識別部３０７は、ステップＳ５０１の処理において生成した色ヒストグラムと、色ヒストグラム記憶部３０６に記憶された色ヒストグラム情報に含まれる全ての色ヒストグラムそれぞれとのヒストグラムインターセクションを計算する。
次に、操作部識別部３０７は、そのヒストグラムインターセクションの計算結果について、類似度が最も高いペアに対応する操作部識別情報を色ヒストグラム情報から抽出し、その操作部識別情報と操作部位置情報とを対応付けて特定部３０８に供給する。
Next, in step S502, the operation
Next, the operation
次に、ステップＳ５０３において、特定部３０８は、顔認識処理部３０３から供給される一または複数の個人識別情報と顔画像領域の顔基準位置とのペアデータを取り込み、操作部識別部３０７から供給される操作部識別情報と操作部位置情報とのペアデータを取り込む。
次に、特定部３０８は、一または複数の個人識別情報と顔画像領域の顔基準位置とのペアデータと、操作部識別情報と操作部位置情報とのペアデータとの全ての組み合わせについて、顔画像領域の顔基準位置と操作部位置情報が示す赤外線画像領域の操作部基準位置との距離を計算し、距離が最も短い、または所定距離以下となる組み合わせにおける個人識別情報と操作部識別情報とを対応付けて内部の記憶部に記憶させる。
In step S <b> 503, the specifying
Next, the specifying
図１１は、操作履歴情報取得部３００が実行する操作履歴情報の取得処理の手順を示すフローチャートである。
ステップＳ６０１において、操作制御情報取得部３０９は、マスク画像生成部３０４に記憶された背景画像全画素平均輝度値を読み込み、画像信号取得部３０１から供給される赤外線画像データを取り込む。
次に、ステップＳ６０２において、操作制御情報取得部３０９は、赤外線画像データの平均輝度値である赤外線画像平均輝度値を計算する。
FIG. 11 is a flowchart illustrating a procedure of operation history information acquisition processing executed by the operation history
In step S <b> 601, the operation control
Next, in step S602, the operation control
次に、ステップＳ６０３において、操作制御情報取得部３０９は、赤外線画像平均輝度値と背景画像全画素平均輝度値とを比較する。
次に、ステップＳ６０４において、操作制御情報取得部３０９は、ステップＳ６０３の処理における比較結果がオン状態であると判定する場合（Ｓ６０４：ＹＥＳ）はステップＳ６０５の処理に移し、比較結果がオフ状態であると判定する場合（Ｓ６０４：ＮＯ）はステップＳ６０６の処理に移す。
具体的には、例えば、操作制御情報取得部３０９は、赤外線画像平均輝度値が背景画像全画素平均輝度値よりも大きい場合、例えば、赤外線画像平均輝度値が背景画像全画素平均輝度値の１．２倍以上の輝度である場合にオン状態であると判定する。また、操作制御情報取得部３０９は、赤外線画像平均輝度値が背景画像全画素平均輝度値よりも小さい場合、例えば、赤外線画像平均輝度値が背景画像全画素平均輝度値の０．８倍以下の輝度である場合にオフ状態であると判定する。
Next, in step S603, the operation control
Next, in step S604, when the operation control
Specifically, for example, when the infrared image average luminance value is larger than the background image all-pixel average luminance value, the operation control
ステップＳ６０５において、操作制御情報取得部３０９は、オン状態を表すフラグデータ（例えば“１”）を図示しないメモリに記憶させて、ステップＳ６０７の処理に移す。
ステップＳ６０６において、操作制御情報取得部３０９は、オフ状態を表すフラグデータ（例えば“０（ゼロ）”）を上記のメモリに記憶させて、ステップＳ６０７の処理に移す。
In step S605, the operation control
In step S606, the operation control
ステップＳ６０７において、操作制御情報取得部３０９は、上記のメモリに記憶された時系列のフラグデータ（フラグデータ列）がリモコンコードを表すパルス符号であるか否かを判定する。
操作制御情報取得部３０９は、フラグデータ列がリモコンコードを表すパルス符号であると判定した場合（ステップＳ６０７：ＹＥＳ）はステップＳ６０８の処理に移し、フラグデータ列がリモコンコードを表すパルス符号でないと判定した場合（ステップＳ６０７：ＮＯ）はステップＳ６０１の処理に戻す。
ステップＳ６０８において、操作制御情報取得部３０９は、リモコンコードを復号して操作制御情報を取得し、この操作制御情報を操作履歴情報生成部３１０に供給する。
In step S607, the operation control
If the operation control
In step S608, the operation control
次に、ステップＳ６０９において、操作履歴情報生成部３１０は、特定部３０８の記憶部に記憶された個人識別情報と操作部識別情報とのペアを読み込み、操作制御情報取得部３０９から供給される操作制御情報を取り込む。
次に、操作履歴情報生成部３１０は、これら取り込んだ個人識別情報と操作部識別情報と操作制御情報とを関連付けた操作履歴情報を生成し、この操作履歴情報を外部の情報処理装置に出力したり、内部の記憶部に記憶させたりする。
Next, in step S <b> 609, the operation history
Next, the operation history
以上詳述したとおり、本発明の第１実施形態であるテレビジョン視聴支援装置２０において、光センサ部２００は、テレビジョン受像機１０でコンテンツを視聴する一または複数の視聴者の顔といずれかの視聴者によって保持されて操作される赤外線出射型の操作部１１とを撮像して赤外線画像信号およびカラー画像信号を生成する。
As described above in detail, in the television viewing support apparatus 20 according to the first embodiment of the present invention, the
また、操作履歴情報取得部３００において、顔認識処理部３０３は、カラー画像データまたは赤外線画像データから、一または複数の視聴者の顔画像領域を検出して視聴者個人を特定し、検出した顔画像領域における顔基準位置を検出する。また、操作部位置検出部３０５は、赤外線画像データから、操作部１１の赤外線画像領域における操作部基準位置を検出する。また、操作部識別部３０７は、カラー画像データから、操作部位置検出部３０５が検出した操作部基準位置の周辺領域の色ヒストグラムに基づいて操作部１１を識別する。
Further, in the operation history
また、特定部３０８は、顔認識処理部３０３が特定した視聴者個人を示す個人識別情報および検出した顔基準位置と、操作部位置検出部３０５が検出した操作部基準位置と、操作部識別部３０７が識別した操作部１１の操作部識別情報とを取得し、顔基準位置と操作部基準位置との距離に応じて操作部１１の操作者である視聴者個人を特定し、視聴者個人を示す個人識別情報および操作部１１の操作部識別情報を対応付ける。また、操作履歴情報生成部３１０は、特定部３０８が対応付けた視聴者個人を示す個人識別情報および操作部１１の操作部識別情報と操作制御情報取得部３０９が取得した操作制御情報とを対応付けて操作履歴情報を生成する。
Further, the specifying
このように構成したことにより、テレビジョン視聴支援装置２０は、操作部１１を保持しテレビジョン受像機１０でコンテンツを視聴している視聴者を即座に特定することができ、さらに操作部１１を識別して、特定した視聴者が識別した操作部１１を操作した操作履歴情報を適切に取得することができる。
すなわち、本発明の第１実施形態によれば、赤外線リモコン装置、赤外線通信機能を有する携帯電話機等の赤外線出射型の操作部１１について、誰が、どの操作部１１を用いてどのような遠隔操作を行ったかという履歴情報を即座に且つ適切に取得することができる。
With this configuration, the television viewing support apparatus 20 can hold the
That is, according to the first embodiment of the present invention, who uses which
［第２の実施の形態］
上述した第１実施形態において、操作部１１は、例えば、パルス化した操作制御信号を赤外線Ｓにより送信する、赤外線リモコン装置、赤外線通信機能を有する携帯電話機等であるものとして説明した。本発明の第２実施形態では、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）パケット化した操作制御信号を、電気通信回線を介して送信する、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン等の携帯端末を操作部として用いた例について説明する。
なお、本実施形態において、第１実施形態と同一の構成については同一の符号を付し、その説明を省略する。
[Second Embodiment]
In the first embodiment described above, the
In the present embodiment, the same components as those in the first embodiment are denoted by the same reference numerals, and the description thereof is omitted.
図１２は、本発明の第２実施形態であるテレビジョン視聴支援装置を適用したテレビ視聴システムの全体構成を示すブロック図である。同図に示すように、テレビ視聴システム１ａは、テレビジョン受像機１０と、操作部１１ａと、テレビジョン視聴支援装置２０ａとを、ネットワーク３０を介して接続した構成を有する。
FIG. 12 is a block diagram showing the overall configuration of a television viewing system to which the television viewing support apparatus according to the second embodiment of the present invention is applied. As shown in the figure, the
ネットワーク３０は、有線および無線またはいずれか一方によるコンピュータネットワークである。ネットワーク３０は、例えばホームネットワーク等のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットである。 The network 30 is a wired and / or wireless computer network. The network 30 is, for example, a LAN (Local Area Network) such as a home network or the Internet.
操作部１１ａは、操作部１１ａの保持者（操作者）による操作にしたがって操作制御信号を発生させ、この操作制御信号を、ネットワーク３０を介してテレビジョン受像機１０および操作履歴情報取得部３００ａに送信する遠隔操作機器である。操作部１１ａは、ＩＰパケット化した操作制御信号を、ネットワーク３０を介して送信する赤外線非出射型の操作部であり、例えば、タブレットＰＣ、スマートフォン等の携帯端末により実現される。
なお、本実施形態における携帯端末は、この携帯端末を赤外線リモコン装置として機能させるためのリモコン用アプリケーションプログラムを実行している状態のものである。
The
Note that the mobile terminal in the present embodiment is in a state where a remote control application program for causing the mobile terminal to function as an infrared remote control device is being executed.
また、詳しくは後述するが、操作部１１ａの外装部分には、再帰性反射材が取り付けられている。再帰性反射材は、入射光を入射方向に反射させる再帰性の性質を有した反射材である。
Moreover, although mentioned later in detail, the retroreflection material is attached to the exterior part of the
テレビジョン視聴支援装置２０ａは、光センサ部２００ａと、操作履歴情報取得部３００ａとを備える。
光センサ部２００ａは、第１実施形態における光センサ部２００と同様に、テレビジョン受像機１０でコンテンツを視聴する一または複数の視聴者の顔と、テレビジョン受像機１０を遠隔操作する操作部１１ａとを赤外線波長領域および可視光波長領域それぞれの波長領域で撮影し、これらの撮影により得た赤外線画像信号とカラー画像信号とを、操作履歴情報取得部３００ａに供給する。
また、光センサ部２００ａは、上記の撮影方向に赤外光を照明する。光センサ部２００ａの構成の詳細については後述する。
The television viewing support device 20a includes an
Similar to the
In addition, the
操作履歴情報取得部３００ａは、第１実施形態における操作履歴情報取得部３００と同様に、利用操作部の特定処理と操作履歴情報の取得処理とを実行する。
利用操作部の特定処理において、操作履歴情報取得部３００ａは、光センサ部２００ａから供給される赤外線画像信号とカラー画像信号とを取り込み、これら赤外線画像信号とカラー画像信号との画像処理を行うことによって、テレビジョン受像機１０を遠隔操作する操作部１１ａと、操作部１１ａを操作する視聴者とを特定する。
Similar to the operation history
In the specifying process of the use operation unit, the operation history
また、操作履歴情報の取得処理において、操作履歴情報取得部３００ａは、ネットワーク３０を介して、操作部１１ａが送信した操作制御情報を取得する。操作履歴情報取得部３００ａは、その操作制御情報と、利用操作部の特定処理において特定した操作部１１ａと操作部１１ａを操作する視聴者とを対応付けた操作履歴情報を生成する。
操作履歴情報取得部３００ａの構成の詳細については後述する。
In the operation history information acquisition process, the operation history
Details of the configuration of the operation history
図１３は、操作部１１ａの概略の外観を示す斜視図である。同図は、操作部１１ａとしてスマートフォンを用いた例を示している。同図において、操作部１１ａを遠隔操作のために使用する際に、テレビジョン受像機１０側に向けられる操作部１１ａの端面には、再帰性反射材１０１が設けられている。再帰性反射材１０１は、例えば、ビーズタイプやプリズムタイプの再帰性反射テープや再帰性反射パネルであり、操作部１１ａの端面に貼付される。
なお、操作部１１ａのケースカバーを再帰性反射材により形成したり、操作部１１ａの外装ケースを再帰性反射材により形成したりしてもよい。
FIG. 13 is a perspective view showing a schematic appearance of the
Note that the case cover of the
図１４は、光センサ部２００ａの概略構成を模式的に示す断面図である。同図に示すように、光センサ部２００ａは、第１実施形態における光センサ部２００に、同軸赤外線照明２４０を備えたものである。
同軸赤外線照明２４０は、赤外照明光を照射する同軸照明である。同軸照明とは、照明光軸と撮像光軸とが同軸となる照明である。同軸赤外線照明２４０は、赤外線出射部２４１と、ハーフミラー２４２とを備える。赤外線出射部２４１は、赤外線を出射する発光部であり、例えば、赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により実現される。ハーフミラー２４２は、赤外線出射部２４１から到来する赤外照明光を反射させる一方、外部から到来する赤外線Ｓを透過させる。
同軸赤外線照明２４０は、赤外線出射部２４１が出射する赤外照明光の光軸と、赤外線撮像部２２０の撮像光軸とが一致するように設けられる。
FIG. 14 is a cross-sectional view schematically showing a schematic configuration of the
The coaxial
The coaxial
図１５は、操作履歴情報取得部３００ａの機能構成を示すブロック図である。同図に示すように、操作履歴情報取得部３００ａは、第１実施形態における操作履歴情報取得部３００に対して、操作部位置検出部３０５と操作制御情報取得部３０９とを、操作部位置検出部３０５ａと操作制御情報取得部３０９ａとに変更した構成を有する。
FIG. 15 is a block diagram illustrating a functional configuration of the operation history
操作部位置検出部３０５ａは、第１実施形態における操作部位置検出部３０５と同様に、画像信号取得部３０１から供給される赤外線画像データと、マスク画像生成部３０４から供給される背景画像データおよび最高輝度値とに基づいて、赤外線画像データから操作部１１ａの再帰性反射材の画像領域を検出する。
Similar to the operation unit
ただし、操作部位置検出部３０５ａは、クラスタ分析処理後の赤外線画像データについて、相対距離が所定距離以下であるクラスタ同士を統合する。この所定距離は、例えば操作部１１ａを視聴者が保持する場合に、指や手等によって再帰性反射材が分断されることを考慮して決められる。例えば、所定距離は、成人男性の頭の幅の寸法と操作部１１ａの一辺の寸法との比に基づいて決められる距離である。
操作部位置検出部３０５ａは、このクラスタ統合処理後の赤外線画像データをマスク画像生成部３０４に供給する。
However, the operation unit position detection unit 305a integrates clusters whose relative distances are equal to or less than a predetermined distance in the infrared image data after the cluster analysis processing. For example, when the viewer holds the
The operation unit position detection unit 305 a supplies the infrared image data after the cluster integration process to the mask
また、操作部位置検出部３０５ａは、クラスタ統合処理後の赤外線画像データから赤外線画像領域の操作部基準位置を計算し、この操作部基準位置を示す情報を操作部位置情報として操作部識別部３０７に供給する。
Further, the operation unit position detection unit 305a calculates the operation unit reference position of the infrared image region from the infrared image data after the cluster integration process, and uses the information indicating the operation unit reference position as operation unit position information as the operation
操作制御情報取得部３０９ａは、操作履歴情報の取得処理において、第１実施形態における操作制御情報取得部３０９と同様に、画像信号取得部３０１から供給される赤外線画像データと、マスク画像生成部３０４に記憶された背景画像全画素平均輝度値とに基づいて、利用操作部（赤外線リモコン装置）が送信した赤外線Ｓから操作制御情報を取得する。また、操作制御情報取得部３０９ａは、操作履歴情報の取得処理において、操作部１１ａが送信する操作制御データを、ネットワーク３０を介して受信し、この操作制御データを操作制御情報として取得する。
Similar to the operation control
次に、第２実施形態であるテレビジョン視聴支援装置２０ａの操作履歴情報取得部３００ａの動作について説明する。ここでは、第１実施形態であるテレビジョン視聴支援装置２０の動作と異なる動作についてのみ説明する。
Next, the operation of the operation history
マスク画像生成部３０４と操作部位置検出部３０５とが連携して実行するマスク画像生成処理のステップＳ３０４の処理において、マスク画像生成部３０４は、操作部位置検出部３０５ａから供給されるクラスタ統合処理後の赤外線画像データを取り込み、このクラスタ分析処理後の赤外線画像データをマスク画像データとして内部の記憶部に記憶させる。
In the process of step S304 of the mask image generation process executed in cooperation by the mask
また、操作部位置検出部３０５ａが実行する操作部位置情報取得処理のステップＳ４０８の処理において、操作部位置検出部３０５ａは、抽出した閉領域に対するクラスタ分析処理を実行する。次に、操作部位置検出部３０５ａは、クラスタ分析処理後の赤外線画像データについて、相対距離が所定距離以下にあるクラスタ同士を統合する。
次に、操作部位置検出部３０５ａは、クラスタ統合処理後の赤外線画像データをマスク画像生成部３０４に供給する。
In the process of step S408 of the operation unit position information acquisition process executed by the operation unit position detection unit 305a, the operation unit position detection unit 305a executes a cluster analysis process on the extracted closed region. Next, the operation unit position detection unit 305a integrates clusters having a relative distance equal to or less than a predetermined distance in the infrared image data after the cluster analysis processing.
Next, the operation unit position detection unit 305 a supplies the infrared image data after the cluster integration processing to the mask
また、操作履歴情報取得部３００ａが実行する操作履歴情報の取得処理において、操作制御情報取得部３０９ａは、操作部１１ａが送信する操作制御データを、ネットワーク３０を介して受信し、この操作制御データを操作制御情報として操作履歴情報生成部３１０に供給する。
In the operation history information acquisition process executed by the operation history
以上詳述したとおり、本発明の第２実施形態であるテレビジョン視聴支援装置２０ａにおいて、光センサ部２００ａは、テレビジョン受像機１０でコンテンツを視聴する一または複数の視聴者の顔といずれかの視聴者によって保持されて操作される赤外線非出射型の操作部１１ａとを撮像して赤外線画像信号およびカラー画像信号を生成する。
As described above in detail, in the television viewing support apparatus 20a according to the second embodiment of the present invention, the
また、操作履歴情報取得部３００ａにおいて、顔認識処理部３０３は、カラー画像データまたは赤外線画像データから、一または複数の視聴者の顔画像領域を検出して視聴者個人を特定し、検出した顔画像領域における顔基準位置を検出する。また、操作部位置検出部３０５ａは、赤外線画像データから、操作部１１ａの赤外線画像領域における操作部基準位置を検出する。また、操作部識別部３０７は、カラー画像データから、操作部位置検出部３０５ａが検出した操作部基準位置の周辺領域の色ヒストグラムに基づいて操作部１１ａを識別する。
In the operation history
また、特定部３０８は、顔認識処理部３０３が特定した視聴者個人を示す個人識別情報および検出した顔基準位置と、操作部位置検出部３０５ａが検出した操作部基準位置と、操作部識別部３０７が識別した操作部１１ａの操作部識別情報とを取得し、顔基準位置と操作部基準位置との距離に応じて操作部１１ａの操作者である視聴者個人を特定し、視聴者個人を示す個人識別情報および操作部１１ａの操作部識別情報を対応付ける。また、操作履歴情報生成部３１０は、特定部３０８が対応付けた視聴者個人を示す個人識別情報および操作部１１ａの操作部識別情報と操作制御情報取得部３０９ａが取得した操作制御情報とを対応付けて操作履歴情報を生成する。
Further, the specifying
このように構成したことにより、テレビジョン視聴支援装置２０ａは、操作部１１ａを保持しテレビジョン受像機１０でコンテンツを視聴している視聴者を即座に特定することができ、さらに操作部１１ａを識別して、特定した視聴者が識別した操作部１１ａを操作した操作履歴情報を適切に取得することができる。
すなわち、本発明の第２実施形態によれば、タブレットＰＣ、スマートフォン等の赤外線非出射型の操作部１１ａについて、誰が、どの操作部１１ａを用いてどのような遠隔操作を行ったかという履歴情報を即座に且つ適切に取得することができる。
With this configuration, the television viewing support device 20a can immediately identify a viewer who is holding the
That is, according to the second embodiment of the present invention, the history information indicating who performed what remote operation using which
［応用例］
次に、前述した第１実施形態および第２実施形態におけるテレビジョン視聴支援装置２０，２０ａが取得した操作履歴情報を用いる応用例について説明する。
第１の例は、情報処理装置（例えば、コンピュータ装置）が操作履歴情報と電子番組ガイドとに基づいてコンテンツ推薦リストを生成する例である。具体的には、情報処理装置は、操作履歴情報取得部３００，３００ａから操作履歴情報を取り込み、また、テレビジョン受像機１０または外部の電子番組ガイドサーバから電子番組ガイドを取り込む。情報処理装置は、操作履歴情報と電子番組ガイドとに基づいて、視聴者ごとに、視聴したコンテンツの属性と、遠隔操作によってコンテンツを切り替えるタイミングとを取得する。そして、情報処理装置は、切替間隔が短いほど当該コンテンツに興味がなく、切替時間が長いほど当該コンテンツに興味があると判定する。そして、情報処理装置は、興味があると判定したコンテンツの属性に同一または類似するコンテンツを、推薦順位を高くする一方、興味がないと判定したコンテンツの属性に同一または類似するコンテンツを、推薦順位を低くしたコンテンツ推薦リストを作成する。そして、情報処理装置は、このコンテンツ推薦リストを表示装置に表示させたり、テレビジョン受像機１０に供給したりする。
[Application example]
Next, an application example using the operation history information acquired by the television viewing support apparatuses 20 and 20a in the first embodiment and the second embodiment will be described.
In the first example, an information processing apparatus (for example, a computer apparatus) generates a content recommendation list based on operation history information and an electronic program guide. Specifically, the information processing apparatus captures operation history information from the operation history
上記の第１の例において、情報処理装置は、取得した属性（例えば、ジャンル）からキーワードを抽出して、このキーワードに基づいて視聴者個人の趣味や嗜好を推定し、この推定結果を用いてコンテンツ推薦リストを生成してもよい。 In the first example, the information processing apparatus extracts a keyword from the acquired attribute (for example, genre), estimates a viewer's personal hobbies and preferences based on the keyword, and uses the estimation result. A content recommendation list may be generated.
第２の例は、情報処理装置が操作履歴情報から視聴者ごとの周期性がある履歴を取得し、この取得結果に基づいた遠隔操作を行う例である。周期性がある履歴とは、例えば、ある視聴者は、毎週水曜日の２１時から特定の放送番組を視聴していることが示された履歴である。情報処理装置は、周期性がある履歴を取得した場合、その周期にしたがった内容の操作制御データを、ネットワーク３０を介してテレビジョン受像機１０に供給する。
The second example is an example in which the information processing apparatus acquires a history having periodicity for each viewer from the operation history information and performs a remote operation based on the acquisition result. The history having periodicity is, for example, a history indicating that a certain viewer is watching a specific broadcast program from 21:00 every Wednesday. When the information processing apparatus acquires a history having periodicity, the information processing apparatus supplies operation control data having contents according to the period to the
第３の例は、 操作部１１ａが、操作パネルのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を、視聴者ごとの操作履歴情報に基づいて変更する例である。具体的には、操作部１１ａは、操作履歴情報取得部３００ａから操作履歴情報を取り込む。操作部１１ａは、操作履歴情報に基づいて、使用頻度が高いＧＵＩボタンを使用頻度が低いＧＵＩボタンよりも大きく表示したりする。
The third example is an example in which the
なお、第１実施形態であるテレビジョン視聴支援装置２０において、カラー画像信号を用いない構成とすることもできる。このように構成する場合、光センサ部２００は、光束分離部２１０とカラー撮像部２３０とを省略することができる。また、顔認識処理部３００は、赤外線画像データのみを用いて顔画像検出処理を実行する。第２実施形態についても同様である。
Note that the television viewing support apparatus 20 according to the first embodiment may be configured not to use a color image signal. In the case of such a configuration, the
また、色ヒストグラム記憶部３０６と操作部識別部３０７とを省略することができる。このように構成する場合、操作履歴情報生成部３１０は、個人識別情報と操作制御情報とを関連付けた操作履歴情報を生成する。つまり、操作部１１はあらかじめ識別されていることが前提となる。第２実施形態についても同様である。
Further, the color
また、第１実施形態および第２実施形態では、テレビジョン受像機１０とテレビジョン視聴支援装置２０，２０ａとを分離してテレビ視聴システム１，１ａを構成したが、これ以外にも、テレビジョン受像機１０とテレビジョン視聴支援装置２０，２０ａとを一体的に構成してもよい。
In the first embodiment and the second embodiment, the
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。 As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the specific structure is not restricted to that embodiment, The design of the range which does not deviate from the summary of this invention, etc. are included.
１，１ａ テレビ視聴システム
１０ テレビジョン受像機
１１，１１ａ 操作部
２０，２０ａ テレビジョン視聴支援装置
３０ ネットワーク
１０１ 再帰性反射材
２００，２００ａ 光センサ部
２１０ 光束分離部
２２０ 赤外線撮像部
２３０ カラー撮像部
２４０ 同軸赤外線照明
２４１ 赤外線出射部
２４２ ハーフミラー
３００，３００ａ 操作履歴情報取得部
３０１ 画像信号取得部
３０２ 顔特徴情報記憶部
３０３ 顔認識処理部
３０４ マスク画像生成部
３０５，３０５ａ 操作部位置検出部
３０６ 色ヒストグラム記憶部
３０７ 操作部識別部
３０８ 特定部
３０９，３０９ａ 操作制御情報取得部
３１０ 操作履歴情報生成部
DESCRIPTION OF
Claims (4)
前記光センサ部が生成した前記赤外線画像データから前記視聴者の顔画像領域を検出して視聴者個人を特定し、前記赤外線画像データにおける前記顔画像領域の顔基準位置を検出する顔認識処理部と、
前記赤外線画像データにおける、前記操作部に対応する赤外線画像領域の操作部基準位置を検出する操作部位置検出部と、
前記顔認識処理部が特定した前記視聴者個人を示す個人識別情報および検出した前記顔基準位置と前記操作部位置検出部が検出した前記操作部基準位置とを取得し、前記赤外線画像データにおける前記顔基準位置と前記操作部基準位置との距離に応じて、前記操作部の操作者である視聴者個人を特定する特定部と、
前記光センサ部が生成する一連の赤外線画像データから前記操作部の操作制御情報を取得する操作制御情報取得部と、
前記特定部が特定した前記視聴者個人を示す個人識別情報と前記操作制御情報取得部が取得した前記操作制御情報とを対応付けて操作履歴情報を生成する操作履歴情報生成部と、
を備えることを特徴とするテレビジョン視聴支援装置。 An optical sensor unit that captures an image of a viewer's face and an infrared emitting operation unit operated by the viewer as a subject, and generates a series of infrared image data;
A face recognition processing unit that detects the viewer's face image region from the infrared image data generated by the optical sensor unit, identifies the viewer's individual, and detects a face reference position of the face image region in the infrared image data When,
An operation unit position detection unit for detecting an operation unit reference position of an infrared image region corresponding to the operation unit in the infrared image data;
The personal identification information indicating the viewer individual specified by the face recognition processing unit, the detected face reference position and the operation unit reference position detected by the operation unit position detection unit are acquired, and the infrared image data in the infrared image data A specifying unit for specifying a viewer individual who is an operator of the operation unit according to a distance between a face reference position and the operation unit reference position;
An operation control information acquisition unit for acquiring operation control information of the operation unit from a series of infrared image data generated by the optical sensor unit;
An operation history information generating unit that generates operation history information by associating personal identification information indicating the individual viewer specified by the specifying unit with the operation control information acquired by the operation control information acquiring unit;
A television viewing support apparatus comprising:
前記光センサ部が生成した前記カラー画像データから、前記操作部位置検出部が検出した前記操作部基準位置の周辺領域の色情報に基づいて前記操作部を識別する操作部識別部をさらに備え、
前記特定部は、前記顔認識処理部が特定した前記視聴者個人を示す個人識別情報および検出した前記顔基準位置と、前記操作部位置検出部が検出した前記操作部基準位置と、前記操作部識別部が識別した前記操作部の識別情報とを取得し、前記赤外線画像データにおける前記顔基準位置と前記操作部基準位置との距離に応じて前記操作部の操作者である視聴者個人を特定し、前記視聴者個人を示す個人識別情報および前記操作部の識別情報を対応付け、
前記操作履歴情報生成部は、前記特定部が対応付けた前記視聴者個人を示す個人識別情報および前記操作部の識別情報と前記操作制御情報取得部が取得した前記操作制御情報とを対応付けて操作履歴情報を生成する
ことを特徴とする請求項１記載のテレビジョン視聴支援装置。 The optical sensor unit images the subject to generate a series of color image data,
An operation unit identifying unit for identifying the operation unit based on color information of a peripheral region of the operation unit reference position detected by the operation unit position detection unit from the color image data generated by the optical sensor unit;
The identification unit includes personal identification information indicating the viewer individual identified by the face recognition processing unit, the detected face reference position, the operation unit reference position detected by the operation unit position detection unit, and the operation unit The identification information of the operation unit identified by the identification unit is acquired, and the individual viewer who is the operator of the operation unit is specified according to the distance between the face reference position and the operation unit reference position in the infrared image data The personal identification information indicating the viewer individual and the identification information of the operation unit are associated with each other,
The operation history information generation unit associates personal identification information indicating the viewer individual associated with the specifying unit, identification information of the operation unit, and the operation control information acquired by the operation control information acquisition unit. 2. The television viewing support apparatus according to claim 1, wherein operation history information is generated.
赤外線非出射型の操作部をも撮像する
ことを特徴とする請求項１または２記載のテレビジョン視聴支援装置。 The optical sensor unit further includes coaxial infrared illumination having an illumination optical axis coaxial with the imaging optical axis,
The television viewing support apparatus according to claim 1, wherein the infrared non-emission type operation unit is also imaged.
ことを特徴とする請求項３記載のテレビジョン視聴支援装置。 The operation unit position detection unit extracts a closed region from the infrared image data, executes a cluster analysis process, integrates clusters whose relative distances in the infrared image data are equal to or less than a predetermined distance, and adds infrared rays of the operation unit The television viewing support apparatus according to claim 3, wherein an operation region reference position of the infrared image region is detected as an image region.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011106128A JP5703120B2 (en) | 2011-05-11 | 2011-05-11 | Television viewing support device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011106128A JP5703120B2 (en) | 2011-05-11 | 2011-05-11 | Television viewing support device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012239004A true JP2012239004A (en) | 2012-12-06 |
| JP5703120B2 JP5703120B2 (en) | 2015-04-15 |
Family
ID=47461532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011106128A Expired - Fee Related JP5703120B2 (en) | 2011-05-11 | 2011-05-11 | Television viewing support device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5703120B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015177944A1 (en) * | 2014-05-19 | 2015-11-26 | 三菱電機株式会社 | Operation control device, operation control method, and reproduction device |
| US9542602B2 (en) | 2014-01-21 | 2017-01-10 | Fujitsu Limited | Display control device and method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009048479A (en) * | 2007-08-21 | 2009-03-05 | Hitachi Ltd | Equipment operation device |
| JP2009118423A (en) * | 2007-11-09 | 2009-05-28 | Canon Inc | Display device, and control method |
| JP2010068385A (en) * | 2008-09-12 | 2010-03-25 | Sony Corp | Image display device and detection method |
-
2011
- 2011-05-11 JP JP2011106128A patent/JP5703120B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009048479A (en) * | 2007-08-21 | 2009-03-05 | Hitachi Ltd | Equipment operation device |
| JP2009118423A (en) * | 2007-11-09 | 2009-05-28 | Canon Inc | Display device, and control method |
| JP2010068385A (en) * | 2008-09-12 | 2010-03-25 | Sony Corp | Image display device and detection method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9542602B2 (en) | 2014-01-21 | 2017-01-10 | Fujitsu Limited | Display control device and method |
| WO2015177944A1 (en) * | 2014-05-19 | 2015-11-26 | 三菱電機株式会社 | Operation control device, operation control method, and reproduction device |
| US9948718B2 (en) | 2014-05-19 | 2018-04-17 | Mitsubishi Electric Corporation | Operation control device and operation control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5703120B2 (en) | 2015-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021017561A1 (en) | Face recognition method and apparatus, electronic device, and storage medium | |
| US20210357623A1 (en) | Method and device to speed up face recognition | |
| US9189611B2 (en) | Adapting content and monitoring user behavior based on facial recognition | |
| CN108399349B (en) | Image recognition method and device | |
| US20090174805A1 (en) | Digital camera focusing using stored object recognition | |
| WO2017059634A1 (en) | Method and device for adjusting displayed image | |
| US20070253604A1 (en) | Face authentication apparatus, control method and program, electronic device having the same, and program recording medium | |
| KR20120051209A (en) | Method for providing display image in multimedia device and thereof | |
| EP2453596A2 (en) | Multimedia device, multiple image sensors having different types and method for controlling the same | |
| KR101906748B1 (en) | Iris image acquisition method and apparatus, and iris recognition device | |
| WO2015131589A1 (en) | Colour cast compensation device and display device | |
| KR20180104970A (en) | Terminal and method of controlling the same | |
| KR20170001430A (en) | Display apparatus and image correction method thereof | |
| KR20120051211A (en) | Method for recognizing user gesture in multimedia device and multimedia device thereof | |
| US9046921B2 (en) | Display apparatus and control method thereof | |
| JP5703120B2 (en) | Television viewing support device | |
| US11574502B2 (en) | Method and device for identifying face, and computer-readable storage medium | |
| KR20120050615A (en) | Multimedia device, multiple image sensors having different types and the method for controlling the same | |
| KR20120051210A (en) | Method and apparatus for providing optimized viewing conditions in multimedia device | |
| CN105847654B (en) | Information processing method and device | |
| CN105959563A (en) | Image storing method and image storing apparatus | |
| KR101478560B1 (en) | A mobile terminal for photographing image by remote control and a method therefor | |
| US20150178589A1 (en) | Apparatus for processing digital image and method of controlling the same | |
| US10193991B2 (en) | Methods and apparatuses for providing information of video capture device | |
| CN106713782B (en) | A kind of method and apparatus of image taking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141111 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150223 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5703120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |