JP2015226754A - 画像認識装置および画像認識プログラム - Google Patents

Abstract

【課題】撮影した画像から様々な情報を認識する画像認識装置を提供する。
【解決手段】解析部６１１は、インカメラ６３が撮影した画像のデータを入力する。解析部６１１は、入力された複数の画像データから、特定の画像を抽出する。例えば、解析部６１１は、目の画像を特定の画像として抽出する。解析部６１１は、複数の画像データから、目の画像の時間変化を解析する。例えば、瞳が目の中心位置に存在する状態を基準（Ｃ）として、各画像データにおける基準（Ｃ）からの瞳の左右のずれを算出する。情報認識部６１３は、解析部６１１の解析結果から、目の画像に関係する所定の情報を認識する。ここでは、情報認識部６１３は、所定の情報として、眼球の動きが安定しているか、痙攣していないか、等の健康状態を示す情報（人体に係る情報）を認識する。
【選択図】図１４

Description

本発明は、画像認識を行う画像認識装置に関する。

従来、リモコン信号を変調した信号に基づいて例えばＬＥＤを点滅させることにより、当該リモコン信号を送信するリモコンが知られている。具体的には、リモコンは、デジタル信号であるリモコン信号をパルス位置変調（ＰＰＭ；Ｐｕｌｓｅ Ｐｏｓｉｔｉｏｎ Ｍｏｄｕｌａｔｉｏｎ）し、さらに各パルスのＨＩＧＨ状態（ＯＮ状態ともいう）を例えば３８ｋＨｚのキャリア周波数で振幅変調（ＡＭ；Ａｍｐｌｉｔｕｄｅ Ｍｏｄｕｌａｔｉｏｎ）する。そして、リモコンは、振幅変調したパルス信号に基づいてＬＥＤを点滅させる。

また、従来、リモコン信号を認識するリモコン信号認識機として、リモコン信号解析機が知られている。リモコン信号解析機は、ＬＥＤからの光（赤外線）を赤外線受光素子で受光し、受光による検出信号を復調して正規のリモコン信号であるか否かを解析する（例えば特許文献１を参照。）。

特開２００７−１９４９４９号公報

しかし、特許文献１では、リモコン信号を認識する旨の構成しか開示されていない。

本発明の目的は、撮影した画像から様々な情報を認識する画像認識装置を提供することである。

本発明の画像認識装置は、連続して複数の画像を撮像する撮像部と、前記撮像部が撮像した複数の画像のうち、特定の画像の時間変化を解析する解析部と、前記解析部が解析した結果から、前記特定の画像に関係する所定の情報を認識する情報認識部と、を備えたことを特徴とする。

特定の画像とは、例えば人の目の画像等である。解析部は、撮影した目の画像の時間変化を解析する。例えば、解析部は、所定時間あたりの眼球の移動量を算出する。情報認識部は、当該眼球の移動量から、所定の情報として眼球の動きが安定しているか（痙攣していないか）、等の健康状態を示す情報（人体に係る情報）を認識する。また、画像認識装置は、例えば目の色の変化を解析することで疲労度を認識する、顔色を解析することで体調を認識する、首筋の血管の拡張収縮を解析することで脈拍数を認識する、等の種々の情報を認識することができる。

これにより、ユーザは、例えばスマートフォン等の情報処理装置で自身の顔を撮影するだけで、自身の健康状態を容易に把握することができる。また、ユーザは、例えば自ら言葉を発することができない程の小さな子供の顔を撮影するだけで、当該子供の健康状態を把握することもできる。

また、画像認識装置は、前記撮像部が撮像した複数の画像における前記特定の画像の領域を選択する領域選択部、を備え、前記解析部は、前記領域選択部が選択した領域における前記特定の画像の時間変化を解析することが好ましい。

例えば、領域選択部は、上述の人の目に対応する画素を含む領域を選択する。これにより、画像処理に係る画素領域が減少するため、処理負担が軽減される。

また、解析部は、前記特定の画像のリファレンス状態を抽出し、前記撮像部が撮像した複数の画像における特定の画像と、前記リファレンス状態との差を解析し、情報認識部は、前記リファレンス状態との差に基づいて、前記所定の情報を認識することも可能である。

例えば、解析部は、瞳が目の中心位置に存在する状態をリファレンス状態として抽出し、リファレンス状態からの瞳の左右のずれを算出する。あるいは、例えば、ユーザが、自身が健康であると自認している状態において自身の顔を撮影し、解析部は、その時の目の色をリファレンス状態として、リファレンス状態からの目の色の変化を解析することも可能である。あるいはサーバ等から健康状態における目の色を示す情報をダウンロードし、リファレンス状態とすることも可能である。これにより、画像認識装置は、リファレンス状態の比較を行うだけで、容易に健康状態を示す情報（人体に係る情報）を認識することができる。

なお、認識した所定の情報は、他の機器に送信してもよいし、当該所定の情報を表示部に表示してもよい。他の機器に送信する場合には、例えばユーザが眠気を感じている状態であるとの情報を認識した場合、照明を明るくするリモコン信号を送信して、ユーザの眠気を覚まさせる動作を行う。あるいは、画像認識装置は、時計機能を備えている場合、例えば午後８時以降であると判断した場合には照明を暗くするリモコン信号を送信して、ユーザの就寝を促進する動作を行う。

本発明の画像認識装置は、撮影した画像から様々な情報を認識することができる。

実施形態１に係るリモコン信号認識システムの概要を説明するための設置図である。 リモコン信号認識機の構成の一部を示すブロック図である。 リモコン信号認識機の機能ブロック図である。 （Ａ）及び（Ｂ）は、それぞれ撮像画像であり、（Ｃ）は、差分画像である。 （Ａ）は、露光間隔を説明するための振幅変調後のパルス信号の時間変化を示す模式図であり、（Ｂ）は、選択領域の平均画素値の時間変化を示す模式図であり、（Ｃ）は、パルス波形の模式図である。 フォーマットＤＢの例を示す図である。 実施形態２に係るリモコン信号認識システムの機能ブロック図である。 実施形態３に係るＡＶシステムの機能ブロック図である。 ＡＶシステムの設置例を示す図である。 実施形態４に係る画像認識システムの概略図である。 スマートフォンの構成を示す図である。 制御部の機能的ブロック図である。 スマートフォンの動作を示すフローチャートである。 目の画像を特定の画像として認識する例を示す図である。 首筋の血管の画像を特定の画像として認識する例を示す図である。

まず、本発明の画像認識装置を備えたリモコン信号認識システム１を示す。図１は、リモコン信号認識システム１の概要を説明するための設置図である。図２は、リモコン信号認識機１０の構成の一部を示すブロック図である。図３は、リモコン信号認識機１０の機能ブロック図である。図３において、点線は、撮像画像データの経路を示し、実線は、撮像画像データ以外のデータの経路を示している。

図１に示すように、リモコン信号認識システム１は、テレビ９００、バースピーカ８００、リモコン９１０、及びリモコン信号認識機１０を備えている。

バースピーカ８００は、直方体形状であり、テレビ９００から出力される音声信号に基づいて放音する。バースピーカ８００は、テレビ９００の前方（テレビの表示面側の方向）に配置されている。これにより、リモコン９１０が出力する光（例えば赤外線）は、バースピーカ８００に阻害されるため、テレビ９００の受光部（不図示）に届かない。そこで、リモコン信号認識システム１では、リモコン信号認識機１０がリモコン９１０から送信されたリモコン信号を認識し、認識したリモコン信号をテレビ９００に出力することで、リモコン９１０によるテレビ９００の動作を実現する。

リモコン信号認識機１０は、本発明の画像認識装置の一例である。リモコン信号認識機１０は、バースピーカ８００の前方に設置されている。リモコン信号認識機１０は、ＭＨＬ（；Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）ケーブル８０１により、テレビ９００に接続されている。ただし、リモコン信号認識機１０は、テレビ９００の前方に限らず、リモコン９１０からの光を撮影できる範囲に設置されればよい。

図２に示すように、リモコン信号認識機１０は、ＣＰＵ１００、ＦＲＯＭ１０１、ＲＡＭ１０２、イメージセンサ１０３、及びＭＨＬＩ／Ｆ１０４を備えている。ＣＰＵ１００、ＦＲＯＭ１０１、ＲＡＭ１０２、イメージセンサ１０３、及びＭＨＬＩ／Ｆ１０４は、バスを介して互いに接続されている。

ＦＲＯＭ１０１は、不揮発性のメモリであり、プログラム、及びリモコン信号のフォーマット情報が記憶されている。ＲＡＭ１０２は、ＦＲＯＭ１０１に比べて高速に読み書き可能なメモリであり、ＣＰＵ１００のワークエリアとして用いられる。

イメージセンサ１０３は、例えばＣＣＤ（；Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサである。イメージセンサ１０３は、検出した光に基づいた電気的信号を出力する。イメージセンサ１０３は、リモコン９１０のボタン９１２が押下されることでＬＥＤ９１１から出力される光を検出する。イメージセンサ１０３としては、ＣＣＤイメージセンサに限らず、ＣＭＯＳ等の一般的なものを用いることができる。一般的なイメージセンサであっても、例えば赤外線（波長９４０ｎｍ）の光を検出する。

ＭＨＬＩ／Ｆ１０４は、ＭＨＬ規格で情報の送受信、及びＭＨＬ親機（テレビ９００）からＭＨＬ子機（リモコン信号認識機１０）への電力供給を同時に行うインターフェースである。ＭＨＬＩ／Ｆ１０４は、テレビ９００のＭＨＬＩ／Ｆ９０１にＭＨＬケーブル８０１を介して接続されている。これにより、リモコン信号認識機１０は、ＭＨＬケーブル８０１を介して、テレビ９００から電力供給を受けて動作する。また、リモコン信号認識機１０は、ＭＨＬケーブル８０１を介して各種情報をテレビ９００に出力する。本実施形態では、リモコン信号認識機１０は、認識したリモコン信号をテレビ９００に出力する。

ＣＰＵ１００は、リモコン信号認識機１０の各構成を統括的に制御する。ＣＰＵ１００は、ＦＲＯＭ１０１からプログラムを読み出してＲＡＭ１０２に展開することにより、各機能部の機能を実現する。

図３に示すように、リモコン信号認識機１０は、撮像部１１、第１記憶部１２Ａ、領域選択部１３、発光パターン抽出部１４、量子化部１５、解析部１６、第２記憶部１２Ｂ、及び出力部１７の各機能を実現している。

撮像部１１は、イメージセンサ１０３が出力する電気的信号を画素値に変換することにより、連続して複数の画像を撮像して、複数の撮像画像（例えばＲＧＢ画像）のデータを第１記憶部１２Ａ（ＲＡＭ１０２により実現される）に記憶させる。撮像部１１は、例えば２ｋＨｚのフレームレートで撮像する。

領域選択部１３は、第１記憶部１２Ａから複数の撮像画像データを読み出して、以下の解析処理を行った後に、選択情報を第１記憶部１２Ａに記憶させる。選択情報とは、画素値が周期的に変化する画素を含む領域を選択する情報である。

領域選択部１３の処理例について図４を用いて説明する。図４（Ａ）及び図４（Ｂ）は、それぞれ撮像画像であり、図４（Ｃ）は、差分画像である。図４（Ｃ）の差分画像は、図４（Ａ）に示す撮像画像と図４（Ｂ）に示す撮像画像との差分を示している。また、図４（Ａ）に示す撮像画像は、時刻ｔで撮像され、図４（Ｂ）に示す撮像画像は、時刻ｔ＋１で撮像されたものである。時刻ｔ＋１は、時刻ｔから０．５ｍｓ（フレームレート２ｋＨｚに対応する）経過後のタイミングである。

図４（Ａ）に示すように、撮像画像９２０（ｔ）には、利用者９２２、リモコン９１０のＬＥＤ９１１、及び家具９２３が含まれている。同様に、撮像画像（ｔ＋１）にも、利用者９２２、リモコン９１０のＬＥＤ９１１、及び家具９２３が含まれている。

領域選択部１３は、撮像画像９２０の各画素について、時刻ｔ＋１の画素値から時刻ｔの画素値の差分を算出し、図４（Ｃ）に示す差分画像９３０（ｔ＋１）を求める。すると、差分画像９３０（ｔ＋１）において、時刻ｔから時刻ｔ＋１までの０．５ｍｓ間で画素値が変化した画素以外は、画素値が０となる。領域選択部１３は、時刻ｔ毎に差分画像９３０（ｔ）を求める。

領域選択部１３は、周期的に変化する画素値を含む領域をリモコン９１０のＬＥＤ９１１が含まれる領域として選択する。図４（Ｃ）に示す例において、領域選択部１３は、選択領域９３１（ｔ＋１）のみをリモコン９１０のＬＥＤ９１１が含まれる領域として選択する。領域選択部１３は、選択領域９３１の情報（例えば位置および大きさ）を第１記憶部１２Ａに記憶させる。

なお、領域選択部１３は、差分画像９３０（ｔ＋１）に生じるノイズの影響を減らすために、例えば撮像画像９２０（ｔ）及び撮像画像９２０（ｔ＋１）を平滑処理（例えばメディアンフィルタによる処理）した後、画素値の差分を算出してもよい。

ここで、撮像部１１のフレームレートと、リモコン９１０のＬＥＤ９１１の発光パターンとの関係について図５（Ａ）を参照して説明する。図５（Ａ）は、露光間隔を説明するための振幅変調後のパルス信号の時間変化を示す模式図である。

まず、リモコン信号の送信について説明する。送信されるべきリモコン信号（デジタル信号）は、送信前の変調処理として、パルス位置変調（ＰＰＭ；Ｐｕｌｓｅ Ｐｏｓｉｔｉｏｎ Ｍｏｄｕｌａｔｉｏｎ）された後、振幅変調（ＡＭ；Ａｍｐｌｉｔｕｄｅ Ｍｏｄｕｌａｔｉｏｎ）される。

例えば、パルス位置変調では、パルス信号において、０．５６ｍｓでＨＩＧＨ状態とした後に、０．５６ｍｓ又は１．６９ｍｓのどちらか一方の時間でＬＯＷ状態にすることにより、ｂｉｔ０又はｂｉｔ１を示す。すなわち、パルス位置変調では、０．５６ｍｓのＨＩＧＨＴ状態の位置がずれることにより、リモコン信号を変調する。例えば、振幅変調では、パルス位置変調後のパルス信号のＨＩＧＨ状態をデューティ比１／３、かつ周波数３８ｋＨｚのパルスに置き換えて変調する。この周波数３８ｋＨｚは、振幅変調のキャリア周波数である。リモコン９１０は、パルス位置変調及び振幅変調されたリモコン信号に基づいてＬＥＤ９１１を点滅させる。すなわち、リモコン９１０は、振幅変調後のパルス信号のＨＩＧＨ状態でＬＥＤ９１１を点灯させ、ＬＯＷ状態でＬＥＤ９１１を消灯させる。

図５（Ａ）に示すように、振幅変調後のパルス信号は、例えば周波数３８ｋＨｚのパルス９４０（ｔ）〜パルス９４０（ｔ＋７）が連続した後、ＬＯＷ状態となる。撮像部１１は、振幅変調のキャリア周波数より低く、かつパルス位置変調周波数より高いフレームレートで撮像する。パルス位置変調周波数とは、パルス位置変調後のパルス信号において、のＨＩＧＨ状態の時間（０．５６ｍｓ）に対応する周波数１，７８６Ｈｚである。図５（Ａ）に示す例では、撮像部１１は、０．５ｍｓ（フレームレート２ｋＨｚに対応する）の時間間隔で撮像を繰りかえす。

図５（Ａ）に示す例において、イメージセンサ１０３は、０．５ｍｓの露光間隔９４１（ｓ）において露光すると、パルス９４０（ｔ）からパルス９４０（ｔ＋７）までの８個のパルス分のＬＥＤ９１１の点滅を蓄光する。すなわち、撮像部１１は、露光間隔９４１（ｓ）において、８個のパルス分のＬＥＤの点滅を積分して撮像する。撮像部１１は、露光間隔９４１（ｓ＋１）において、０個のパルス分のＬＥＤ９１１の点滅を積分して撮像する。これにより、撮像部１１は、露光間隔９４１（ｓ）において、ＬＥＤ９１１が点灯しているように撮像し、露光間隔９４１（ｓ＋１）において、ＬＥＤ９１１が消灯しているように撮像する。その結果、露光間隔９４１（ｓ）に対応する撮像画像では、ＬＥＤ９１１の位置に対応する画素値（例えば赤色成分）が多くなり、露光間隔９４１（ｓ＋１）に対応する撮像画像では、ＬＥＤ９１１の位置に対応する画素値が少なくなる。

撮像部１１は、積分して撮像するため、例えば振幅変調のキャリア周波数が４０ｋＨｚの場合であっても、イメージセンサ１０３にＬＥＤ９１１の点滅を蓄光させることが可能である。

また、撮像部１１は、ＬＥＤ９１１からの光の波長によらず、イメージセンサ１０３の検出可能範囲（例えば可視光の波長から赤外線の波長（９４０ｎｍ）までの範囲）で、ＬＥＤ９１１の点滅を撮像することが可能である。

図３に戻り、発光パターン抽出部１４は、第１記憶部１２Ａを参照して、複数の撮像画像データを読み出して、リモコン９１０のＬＥＤ９１１の発光パターンを抽出する。発光パターン抽出部１４は、処理負荷の軽減のために、領域選択部１３が設定した選択領域９３１のみについて、撮像画像データを読み出す。

発光パターン抽出部１４は、選択領域における画素値の時間変化を求める。例えば、発光パターン抽出部１４は、１００枚の撮像画像において、例えば、選択領域９３１の赤色成分（Ｒ）の平均画素値の時間変化を求める。選択領域９３１の赤色成分（Ｒ）の平均画素値の時間変化は、ＬＥＤ９１１の発光パターンに対応する。

ただし、発光パターン抽出部１４は、平均画素値に限らず、選択領域９３１における最大画素値の時間変化を発光パターンとして求めてもよい。また、発光パターン抽出部１４は、赤色成分の平均画素値に限らず、ＲＧＢデータに応じた輝度の時間変化を発光パターンとして求めてもよい。ただし、リモコン信号認識機１０は、赤色成分のみで発光パターンを求めることにより、計算処理をより少なくすることができる。

量子化部１５は、発光パターン抽出部１４が抽出した発光パターンに示す各平均画素値を量子化してパルス状の波形データを生成する。例えば、量子化部１５は、画素値の閾値を用いて、各平均画素値を２分して量子化する。すると、各平均画素値は、２値（ＨＩＧＨ状態／ＬＯＷ状態）に分けられる。そして、量子化部１５は、２値に分けられた各画素点を繋ぐことにより、パルス波形を生成する。

発光パターン抽出部１４及び量子化部１５の処理例について、図５（Ｂ）及び図５（Ｃ）を用いて説明する。図５（Ｂ）は、選択領域の平均画素値の時間変化を示す模式図であり、図５（Ｃ）は、パルス波形の模式図である。

図５（Ｂ）に示すように、選択領域９３１において、赤色成分（Ｒ）の平均画素値は、画素点９４５（ｔ）〜画素点９４５（ｔ＋６）に示す高い値が続いた後、画素点９４５（ｔ＋７）、画素点９４５（ｔ＋８）、及び画素点９４５（ｔ＋９）のそれぞれに示す低い値が続いている。高い平均画素値が続いている部分は、積分して撮像した結果、リモコンのＬＥＤ９１１が点灯している状態を示す。発光パターン抽出部１４は、このように、平均画素値の時間変化を求める。

そして、量子化部１５は、閾値（例えば８ｂｉｔ階調において画素値１００）を用いて、各平均画素値を２値に量子化し、各画素点を繋ぐ。すると、図５（Ｃ）に示すように、パルス波形は、１ｍｓから１０ｍｓまでＨＩＧＨ状態となり、１０ｍｓから１４．５ｍｓまでＬＯＷ状態となる。このパルス波形は、リモコン信号をパルス位置変調したパルス信号に相当する。従って、図５（Ｃ）に示すパルス波形に対して、パルス位置変調に対応する復調を行うことにより、リモコン信号が抽出される。ただし、本実施形態に係るリモコン信号認識機１０は、リーダーパルス、及びストップビット、等のパルス位置変調に従わないパルスが波形データに含まれるため、まず、以下のようにフォーマットを特定する。

図３に戻り、量子化部１５が作成したパルス波形データは、解析部１６に出力される。解析部１６は、入力されたパルス波形データがリモコン信号のフォーマットに適合するか否かを判断する。解析部１６は、入力された波形データがリモコン信号のフォーマットに適合する場合、適合したフォーマットに基づいて波形データからリモコン信号を抽出する。

解析部１６は、第２記憶部１２Ｂ（ＦＲＯＭ１０１によって実現される）を参照して、リモコン信号のフォーマットＤＢを読み出し、入力されたリモコン信号がリモコン信号のフォーマットに適合するか否かを判断する。

図６は、フォーマットＤＢに記憶されるリモコン信号のフォーマットの例を示す図である。フォーマットＤＢは、図６に示すように、それぞれフォーマット名とパルスの数やパルス幅等の規定（判断条件）を対応付けている。フォーマットＤＢは、リモコン信号として用いられる全種類フォーマットを定義するが、説明を容易にするため、ＦＭＴ＿Ａ、ＦＭＴ＿Ｂ、及びＦＭＴ＿Ｃの３種類を代表して示す。例えば、フォーマットＦＭＴ＿Ａでは、パルス数が３４個で、パルス幅（ＨＩＧＨ状態の幅）が０．５６ｍｓ〜９．０ｍｓと定義されている。

図５（Ｃ）に示す波形データは、９ｍｓのＨＩＧＨ状態が続いた後、４．５ｍｓのＬＯＷ状態が続いている。従って、解析部１６は、図５（Ｃ）に示す波形データが、リーダーパルスの特徴から、図６に示すＦＭＴ＿Ａに定義されるフォーマットに適合すると判断する。そして、解析部１６は、ＦＭＴ＿Ａが定義するように、リーダーパルスに続く３４個のパルスについて、パルス位置変調に対応した復調を行い、リモコン信号を抽出する。

解析部１６は、量子化部１５が生成したパルス波形データがフォーマットＤＢに定義するいずれのフォーマットにも適合しない場合、リモコン信号を抽出しない。これにより、リモコン信号認識機１０は、不正なリモコン信号を認識することを防ぐことができる。

解析部１６が抽出したリモコン信号は、出力部１７に出力される。出力部１７は、ＭＨＬ規格に適合させて、抽出されたリモコン信号をテレビ９００のＭＨＬＩ／Ｆ９０１に出力する。すると、テレビ９００のＣＰＵ９０２は、ＭＨＬＩ／Ｆ９０１に入力されたリモコン信号に基づいて動作して、例えばディスプレイ９０３の表示内容を変更する。

以上のように、リモコン信号認識機１０は、振幅変調のキャリア周波数（例えば３８ｋＨｚ）に依存することなく、リモコン信号に基づいたＬＥＤ９１１の発光パターンを撮像することにより、リモコン信号を抽出することができる。

また、リモコン信号認識機１０は、リモコン信号用の赤外線（波長９４０ｎｍ）に限らず、ＩｒＤＡ規格の赤外線（波長８５０ｎｍ〜９００ｎｍ）もイメージセンサ１０３で検出されるため、キャリアに用いられる光の波長によらず、リモコン信号を抽出することができる。

また、従来技術の赤外線受光素子は、素子構造の為、例えば受光角度が３０°と狭いが、リモコン信号認識機１０は、広画角のイメージセンサ１０３を用いることにより、例えば１００°の受光角度を実現することができる。

また、量子化部１５の量子化において、例えば平均画素値の閾値を小さく設定することにより、ＬＥＤ９１１の光が弱くても当該光を撮像できるため、リモコン信号を抽出することができる。また、リモコン信号認識機１０は、量子化部１５において平均画素値の閾値を大きく設定することにより、ノイズとなる点滅光からリモコン信号を抽出することを防止できる。このように、閾値を調整することにより、リモコン信号認識機１０の受光感度を調整することができる。

なお、本実施形態において、領域選択部１３を実現することは必須ではない。リモコン信号認識機１０は、撮像画像においてリモコン９１０のＬＥＤ９１１の領域を選択しない場合、差分画像全体から赤色成分の画素値の最大値の変化を求めて発光パターンを抽出する。

また、領域選択部１３は、周期的に変換する画素値の変化パターンに基づいてリモコン９１０のＬＥＤ９１１が含まれる領域を選択してもよい。例えば、領域選択部１３は、１．５ｋＨｚ〜２．５ｋＨｚで周期的に変化する画素の領域のみを選択する。換言すれば、領域選択部１３は、例えば５００Ｈｚで点滅する画素（例えば５００Ｈｚの高調波成分で点滅する蛍光灯の画素）を選択しない。これにより、領域選択部１３は、蛍光灯等のリモコン信号のノイズ源が撮像されても、リモコン９１０のＬＥＤ９１１の領域のみを選択することができる。

なお、本実施形態において、解析部１６がリモコン信号のフォーマットに適合するか否かを判断することは必須ではない。解析部１６は、例えばＦＭＴ＿Ａのみに対応してパルス位置変調に応じた復調を行うだけでもよい。

次に、実施形態２に係るリモコン信号認識システム１００Ａについて図を参照して説明する。図７は、リモコン信号認識システム１００Ａの機能ブロック図である。

リモコン信号認識システム１００Ａは、実施形態１に係るリモコン信号認識機１０の解析部１６及び第２記憶部１２Ｂが、別体の情報処理装置（サーバ）２０に備えられる点、及びリモコン信号認識機１０Ａと情報処理装置２０とがネットワークを介して接続されている点において、実施形態１に係るリモコン信号認識システム１と相違する。重複する構成の説明は省略する。

図７に示すように、リモコン信号認識機１０Ａは、送受信部１８Ａを備えている。情報処理装置２０は、送受信部１８Ｂ、解析部１６、及び第２記憶部１２Ｂを備えている。

送受信部１８Ａ及び送受信部１８Ｂは、例えばインターネットを介して互いにデータの送受信を行う。

量子化部１５が生成したパルス波形データは、送受信部１８Ａに出力される。送受信部１８Ａは、当該パルス波形データを情報処理装置２０の送受信部１８Ｂに送信する。解析部１６は、送受信部１８Ｂからパルス波形データを受け取り、当該パルス波形データからリモコン信号を抽出する。当該リモコン信号は、送受信部１８Ｂから送受信部１８Ａへの送信を介して、出力部１７に入力される。

リモコン信号認識機１０Ａは、自装置にフォーマットＤＢを記憶していなくても、撮像したリモコン９１０のＬＥＤ９１１の発光パターンがいずれのリモコン信号のフォーマットに適合するか否かを情報処理装置２０に判断させることができる。

なお、情報処理装置２０は、解析部１６が抽出したリモコン信号をリモコン信号認識機１０に返送する例に限らず、返送せずに自装置で用いてもよい。例えば、情報処理装置２０は、抽出したリモコン信号に含まれる情報をテレビ９００の試聴情報として収集し、視聴率を算出する。

次に、図８は、実施形態３に係るＡＶシステム１００Ｂの機能ブロック図である。ＡＶシステム１００Ｂは、リモコン信号認識機１０、テレビ９００Ｂ１、及びＡＶレシーバ９００Ｂ２を備える点において、実施形態１に係るリモコン信号認識システム１と相違する。重複する構成の説明は省略する。

ＡＶシステム１００Ｂでは、リモコン信号認識機１０が抽出したリモコン信号は、テレビ９００Ｂ１に出力され、さらに、テレビ９００Ｂ１によってＡＶレシーバ９００Ｂ２に転送される。

テレビ９００Ｂ１は、入力部９３１Ｂ１、制御部９３２、及び出力部９３３を備えている。入力部９３１Ｂ１には、リモコン信号認識機１０からＭＨＬ規格で出力されたリモコン信号が入力される。制御部９３２は、入力部９３１Ｂ１に入力されたリモコン信号を解析し、自装置用のリモコン信号ではないと判断すると、出力部９３３を制御して当該リモコン信号を出力させる。ただし、制御部９３２は、例えばリモコン信号に含まれるカスタマーデータ（パルス位置変調後のカスタマーコードセクションに埋められた情報）に基づいて自装置用のリモコン信号であるか否かを判断する。

出力部９３３は、例えばＨＤＭＩ−ＣＥＣ（；Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ−Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ。ただしＨＤＭＩは登録商標。）規格でＨＭＤＩケーブルを介してリモコン信号をＡＶレシーバ９００Ｂ２に出力する。ＡＶレシーバ９００Ｂ２は、入力部９３１Ｂ２に入力されたリモコン信号に基づいて動作する。

図９は、ＡＶシステム１００Ｂの設置例を示す図である。図９に示すように、テレビ９００Ｂ１の表示面の上方にリモコン信号認識機１０が設置されている。ＡＶレシーバ９００Ｂ２は、テレビ９００Ｂ１の載置台であるＴＶラック９５０の内部に設置されている。これによりＡＶレシーバ９００Ｂ２の赤外線受信部は、光が届きにくくなっている。

そこで、ＡＶシステム１００Ｂでは、上述のように、リモコン信号認識機１０によって抽出されたリモコン信号をテレビ９００Ｂ１がＡＶレシーバ９００Ｂ２に転送する。従って、利用者は、リモコン信号認識機１０のイメージセンサ１０３が広角に受光可能なため、テレビ９００Ｂ１の試聴環境のどこからでもリモコン９１０によってＡＶレシーバ９００Ｂ２に動作指示を与えることができる。

次に、図１０は、実施形態４に係る画像認識システムの概略図である。実施形態４に係る画像認識システムでは、ユーザが情報処理装置（この例ではスマートフォン６）を用いて特定の撮影対象物（例えば自身の顔）を撮影し、スマートフォン６が撮影した画像から所定の情報を認識するものである。

図１１（Ａ）は、スマートフォン６の主要構成を示すブロック図であり、図１１（Ｂ）は、平面図であり、図１１（Ｃ）は裏面図である。

スマートフォン６は、制御部６１、アウトカメラ６２、インカメラ６３、通信部６４、操作部６５、および表示部６６を備えている。

制御部６１は、フラッシュＲＯＭ（不図示）等の媒体に記憶されている動作用プログラムを読み出し、スマートフォン６の動作を統括的に制御する。制御部６１は、当該動作用プログラムにより、本発明の解析部、情報認識部、および領域選択部を構成する。

アウトカメラ６２およびインカメラ６３は、本発明の撮像部に相当する。アウトカメラ６２は、スマートフォン６の背面に設けられ、ユーザが所望する画像を撮像するためのカメラである。インカメラ６３は、スマートフォン６の正面に設けられ、ユーザ自身を撮像するためのカメラである。

制御部６１は、アウトカメラ６２またはインカメラ６３で連続して撮像した複数の画像（動画等）から、顔画像を検出し、検出した顔画像の中から目の画像を抽出する。なお、図１０および図１１の例では、情報処理装置の例としてスマートフォン６について示しているが、情報処理装置は、他にも例えば眼鏡の形状をした装着型の情報処理装置とする態様も可能である。

表示部６６は、スマートフォン６の正面に設けられ、各種画像を表示する。ここでは、表示部６６は、アウトカメラ６２またはインカメラ６３で撮像した画像を表示する。ユーザは、表示部６６に表示される画像を確認することで、アウトカメラ６２またはインカメラ６３で撮像した画像を確認することができる。また、表示部６６には、タッチパネルが設けられ、ユーザインタフェースである操作部６５の機能を兼ねている。例えば、ユーザが表示部６６に表示されているアイコン等を指で触ると、制御部６１は、所定のアプリケーションプログラムを起動する。ここでは、画像認識プログラムを起動する例を示す。

ユーザは、上記画像認識プログラムを起動した後、スマートフォン６を操作し、アウトカメラ６２またはインカメラ６３で撮影対象物を撮像する。この例では、ユーザがインカメラ６３で自身の顔を撮影する。

図１２は、制御部６１の機能的ブロック図である。図１３は、制御部６１の動作を示すフローチャートである。ユーザがインカメラ６３で画像を撮影すると（ｓ１１）、解析部６１１は、インカメラ６３が撮影した画像のデータを入力する（ｓ１２）。インカメラ６３は、連続して複数の画像を撮像する（動画）ため、解析部６１１には、連続して複数の画像データが入力される。

解析部６１１は、入力された複数の画像データから、特定の画像を抽出する（ｓ１３）。例えば、図１４（Ａ）に示すように、解析部６１１は、目の画像を特定の画像として抽出する。なお、解析部６１１は、このときに画像の傾きを補正したり、大きさを揃える補正を行ったりする。

そして、解析部６１１における領域選択部６１２は、抽出した目の画像の画素を含む領域を選択する（ｓ１４）。これにより、画像処理に係る画素領域が減少するため、処理負担が軽減される。ただし、領域選択部６１２による領域の選択処理は、本発明において必須の処理ではない。

次に、解析部６１１は、複数の画像データから、目の画像の時間変化を解析する（ｓ１６）。例えば、図１４（Ａ）に示すように、瞳が目の画像の中心位置に存在する状態をリファレンス状態である基準（Ｃ）として、各画像データにおける基準（Ｃ）からの瞳の位置（中心位置からの左右のずれ）を算出する。そして、解析部６１１は、図１４（Ｂ）に示すように、瞳の位置（中心位置からの左右のずれ）を時間軸上に表すことで、所定時間あたりの眼球の移動量を算出する。

そして、情報認識部６１３は、解析部６１１の解析結果から、目の画像に関係する所定の情報を認識する（ｓ１６）。ここでは、情報認識部６１３は、所定の情報として、眼球の動きが安定しているか、痙攣していないか、等の健康状態を示す情報（人体に係る情報）を認識する。

例えば、図１４（Ｂ）の例では、眼球の移動量の近似曲線（図中の破線）が、基準（Ｃ）と交わる回数が少なく、眼球の動きが安定した状態である。図１４（Ｃ）の例では、近似曲線（図中の破線）が基準（Ｃ）と交わる回数が多く、痙攣した状態である。したがって、情報認識部６１３は、所定時間あたりの、上記近似曲線と基準（Ｃ）とが交わる回数を算出し、当該回数が閾値未満である場合に眼球の動きが安定した状態であると認識し、当該回数が閾値以上である場合に痙攣した状態であると認識する。

その後、情報認識部６１３が認識した情報は、例えば表示部６６に表示される（ｓ１７）。このようにして、ユーザは、スマートフォン６で自身の顔を動画撮影するだけで、自身の健康状態を容易に把握することができる。あるいは、ユーザは、スマートフォン６のアウトカメラ６２を用いて、例えば自ら言葉を発することができない程の小さな子供の顔を動画撮影するだけで、当該子供の健康状態を把握することもできる。

なお、スマートフォン６は、目の色を解析することでも、健康状態を示す情報を認識することが可能である。この場合、白色をリファレンス状態としてもよいし、例えば、ユーザが、自身が健康であると自認している状態において自身の顔を撮影し、解析部６１１は、その時の目の色をリファレンス状態としてもよい。あるいはサーバ等から健康状態における目の色を示す情報をダウンロードし、リファレンス状態としてもよい。

目の色を解析する場合、健康状態は、例えばリファレンス状態からの目の色の変化に応じた疲労度として定量化することができる。

また、目に係る健康状態を示す情報としては、例えば、まぶたの開き具合、眼球の色（虹彩）、瞳孔の大きさ、左右の目の状態の差異、等を認識することができる。まぶたの開き具合は、眠気を示す健康状態とすることができる。この場合も、ユーザが、自身が眠気を感じていないと自認している状態において自身の顔を動画撮影、保存し、解析部６１１は、その時の目の画像またその時間変化をリファレンス状態としてもよい。あるいはサーバ等から覚醒状態における目の画像をダウンロードし、リファレンス状態としてもよい。

また、スマートフォン６は、図１５に示すように、首筋の血管の拡張および収縮を連続して撮像した複数の画像とその時間間隔から解析することで脈拍数（１分間あたりの脈拍数）を認識することが可能である。脈拍数を認識する場合、制御部６１は、当該脈拍数をそのまま表示部６６に表示してもよいし、脈拍数に応じた健康状態（正常範囲内、頻脈、徐脈等）を表示してもよい。

健康状態に係る情報は、その他にも胸元の拡張および収縮を解析することで呼吸数を認識することも可能であるし、血圧を認識することも可能である。血圧を認識するためには、まず血圧計を用いて自身の血圧を測定し、その時の自身の顔（特に首筋）をスマートフォン６で撮影する。制御部６１は、この時の首筋の血管の最大拡張時の画像を含む連続した画像を測定した血圧と対応づけてリファレンス状態として保存する。その後、リファレンスの状態に対して、撮影した動画の血管の隆起状態を判定することで、血圧を推定・認識することができる。

なお、健康状態を示す情報は、表示部６６に表示される例に限らず、例えば通信部６４を介して他の装置に送信される態様としてもよい。他装置には、健康状態を示す情報をそのまま送信してもよいが、例えば健康状態を示す情報に関連する他の情報を送信するようにしてもよい。例えば、ユーザが眠気を感じている状態であるとの情報を認識した場合、照明を明るくするリモコン信号を送信して、ユーザの眠気を覚まさせる動作、またはその反対に照明を暗くするリモコン信号を送信して、睡眠を促す動作を行う。あるいは、スマートフォン６は、一般的に時計機能を備えているため、ユーザが眠気を感じている状態であるとの情報を認識した場合、例えば午後８時以降である場合には照明を暗くするリモコン信号を送信して、ユーザの就寝を促進する動作を行ってもよい。

また、本実施形態４では、ユーザが所持するスマートフォン６を用いて撮影を行う例を示したが、例えば室内に設置された定点カメラ（例えば集中治療室内の監視カメラ）で撮影し、当該定点カメラに接続される情報処理装置で動画像を解析してもよい。この場合、情報処理装置は、連続する複数の画像から患者の動作と患者の顔色を解析することで健康状態に係る情報を認識（例えば、歩行での移動などしていないのに顔色が変化する等）し、例えばリファレンス状態との顔色の差が所定範囲外であり、体調が優れないと判断した場合に、自動的にナースコールを行ってもよい。

また、認識した情報は、表示部６６に表示したり、他の装置に送信したりする例に限るものではなく、例えばフラッシュＲＯＭ（不図示）等の記憶媒体に記憶してログとして保存するだけでもよい。

１０，１０Ａ…リモコン信号認識機
１１…撮像部
１２Ａ…第１記憶部
１２Ｂ…第２記憶部
１３…領域選択部
１４…発光パターン抽出部
１５…量子化部
１６…解析部
１７…出力部
１８Ａ，１８Ｂ…送受信部
２０…情報処理装置
１，１００Ａ…リモコン信号認識システム
１００Ｂ…ＡＶシステム
１００…ＣＰＵ
１０１…ＦＲＯＭ
１０２…ＲＡＭ
１０３…イメージセンサ
１０４…ＭＨＬＩ／Ｆ
８００…バースピーカ
８０１…ＭＨＬケーブル
９００，９００Ｂ１…テレビ
９００Ｂ２…ＡＶレシーバ
９０１…ＭＨＬＩ／Ｆ
９０２…ＣＰＵ
９０３…ディスプレイ
９１０…リモコン
９１１…ＬＥＤ
９１２…ボタン
９２１…ＬＥＤ
９３１Ｂ１…入力部
９３１Ｂ２…入力部
９３２…制御部
９３３…出力部
６…スマートフォン
６１…制御部
６２…アウトカメラ
６３…インカメラ
６４…通信部
６５…操作部
６６…表示部
６１１…解析部
６１２…領域選択部
６１３…情報認識部

Claims (7)

1. 連続して複数の画像を撮像する撮像部と、
   前記撮像部が撮像した複数の画像のうち、特定の画像の時間変化を解析する解析部と、
   前記解析部が解析した結果から、前記特定の画像に関係する所定の情報を認識する情報認識部と、
   を備えた画像認識装置。
2. 前記撮像部が撮像した複数の画像における前記特定の画像の領域を選択する領域選択部、を備え、
   前記解析部は、前記領域選択部が選択した領域における前記特定の画像の時間変化を解析する請求項１に記載の画像認識装置。
3. 前記解析部は、前記特定の画像のリファレンス状態を抽出し、前記撮像部が撮像した複数の画像における特定の画像と、前記リファレンス状態との差を解析し、
   前記情報認識部は、前記リファレンス状態との差に基づいて、前記所定の情報を認識する請求項１または請求項２に記載の画像認識装置。
4. 前記所定の情報を他の機器に送信する送信部を備えた請求項１乃至請求項３のいずれかに記載の画像認識装置。
5. 前記所定の情報を表示する表示部を備えた請求項１乃至請求項４のいずれかに記載の画像認識装置。
6. 前記所定の情報は、人体に係る情報を含む請求項１乃至請求項５のいずれかに記載の画像認識装置。
7. 連続して複数の画像を撮像する撮像ステップと、
   前記撮像ステップで撮像した複数の画像のうち、特定の画像の時間変化を解析する解析ステップと、
   前記解析ステップで解析した結果から、前記特定の画像に関係する所定の情報を認識する情報認識ステップと、
   を情報処理装置に実行させる画像認識プログラム。

Images