JP2018022416A - 顔方向推定装置及びそのプログラム - Google Patents
顔方向推定装置及びそのプログラム Download PDFInfo
- Publication number
- JP2018022416A JP2018022416A JP2016154536A JP2016154536A JP2018022416A JP 2018022416 A JP2018022416 A JP 2018022416A JP 2016154536 A JP2016154536 A JP 2016154536A JP 2016154536 A JP2016154536 A JP 2016154536A JP 2018022416 A JP2018022416 A JP 2018022416A
- Authority
- JP
- Japan
- Prior art keywords
- face direction
- face
- image
- unit
- direction estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明に係る顔方向推定装置は、顔画像の領域毎に色ヒストグラムを計算するので、顔画像内での頭部位置の変化、顔画像の解像度低下やノイズ重畳の影響を受けにくく、特徴量の次元数を少なくできる。これにより、顔方向推定装置は、学習及び識別の処理負荷を軽減し、被写体の顔方向をリアルタイムで推定することができる。さらに、顔方向推定装置は、色ヒストグラムと、色ヒストグラム以外の第2特徴量とを併用するので、被写体の顔方向を高精度に推定することができる。
[顔方向推定システムの概略]
図1を参照し、本発明の第1実施形態に係る顔方向推定システム100の概略について説明する。
顔方向推定システム100は、サッカー選手(被写体)の顔方向をリアルタイムで推定し、推定したサッカー選手の顔方向を中継映像にCG合成する。図1に示すように、顔方向推定システム100は、第1撮影部C1と、第2撮影部C2と、顔方向推定装置1と、CG合成装置2と、を備える。
これにより、顔方向推定システム100は、サッカー選手の動きを視聴者が把握し易くなり、より臨場感が高いスポーツ映像を提供することができる。
図3を参照し、本発明の実施形態に係る顔方向推定装置1の構成について説明する。
顔方向推定装置1は、色ヒストグラム、及び、色ヒストグラムと異なる1種類以上の第2特徴量を用いて、サッカー選手の顔画像から顔方向を推定する。本実施形態では、顔方向推定装置1は、第2特徴量として、HOGを用いることとした。つまり、顔方向推定装置1は、色に関連した特徴量である色ヒストグラム、及び、形状に関連した特徴量であるHOGのように、特性が異なる特徴量を併用している。
学習モードは、顔方向推定装置1が識別器を生成するモードである。学習モードの場合、顔方向推定装置1は、特徴量計算装置3、画像サイズ正規化部11、第1識別部14、第2特徴量計算部15、及び、第2識別部16が機能する。
推定モードは、顔方向推定装置1がサッカー選手の顔方向を推定するモードである。推定モードの場合、顔方向推定装置1の全手段が機能する。
参考文献1:西濃拓郎、滝口哲也、有木康雄、「単眼動画像におけるボールと選手の3次元位置推定」、2009年電子情報通信学会総合大会(情報・システム講演論文集2)、p213
参考文献2:ChyronHego, “TRACAB Optical Tracking”, URL<http://chyronhego.com/sports-data/tracab>
また、操作者は、操作手段により、顔方向の推定対象となるサッカー選手を指定してもよい。この場合、顔方向推定装置1は、操作者が指定したサッカー選手の顔方向を推定することになる。
また、画像サイズ正規化部11は、学習モードの場合、操作者が入力した訓練データを、推定モードと同様に正規化する。なお、訓練データの詳細は、後記する。
また、画像領域分割部12は、学習モードの場合、画像サイズ正規化部11から入力した訓練データを、推定モードと同様に分割する。
また、第1特徴量計算部13は、学習モードの場合、画像領域分割部12から入力した訓練データ全体の色ヒストグラムを、推定モードと同様に求める。
以下、図6を参照し、色ヒストグラムの計算について説明する(適宜図3参照)。
第1特徴量計算部13は、図6(a)の領域画像について、各原色の画像における画素値(輝度値)のヒストグラムを求める。図6(a)の領域画像は、図5の顔画像で左上の領域に対応する画像である。
第1識別部14は、学習モードの場合、顔方向が異なる訓練データの色ヒストグラムを学習した識別器を生成する。また、第1識別部14は、推定モードの場合、この識別器により、顔画像全体の色ヒストグラムから、被写体が各顔方向を向いている確率である信頼度を計算する。
以下、識別器の生成と、識別器による信頼度の計算とを順に説明する。
識別器の生成に必要な訓練データを準備する。この訓練データは、サッカー選手の顔方向を表した教師信号(アノテーション)と、サッカー選手の顔画像とを対応付けたデータである。例えば、図8に示すように、訓練データとして、0°から315°までの方向を向いたサッカー選手の顔画像を準備する。
また、訓練データは、実際にサッカーの試合を撮影した映像から生成してもよく、所定のデータセットを利用してもよい(例えば、参考文献3)。
第2特徴量計算部15は、推定モードの場合、画像サイズ正規化部11から入力した顔画像のHOGを計算する。
また、第2特徴量計算部15は、学習モードの場合、画像サイズ正規化部11から入力した訓練データのHOGを、推定モードと同様に求める。
以下、図9を参照して、HOGの計算について説明する(適宜図3参照)。
このHOGは、顔画像の局所領域(セル)での輝度の勾配方向をヒストグラム化したものである。図9(a)に示すように、顔画像全体を1ブロックとし、セルのサイズを縦横に4ピクセルとした。つまり、1ブロックは、縦横に5個のセルを有する。
第2識別部16は、学習モードの場合、訓練データのHOGを学習した識別器を生成する。また、第2識別部16は、推定モードの場合、この識別器により、顔画像のHOGから信頼度を計算する。
なお、第2識別部16は、色ヒストグラムの代わりにHOGを用いる以外、第1識別部14と同様のため、詳細な説明を省略する。
なお、説明を簡易にするため、クラス3〜7の事後確率の計算は省略した。
なお、出力部18は、顔方向を任意の形式で出力可能であり、顔方向を表したCGを生成、出力してもよい。
以上のように、本発明の第1実施形態に係る顔方向推定装置1は、各画素の位置情報を記述するために顔画像を領域分割し、それぞれの領域で色ヒストグラムを計算するので、従来技術に比べて、特徴量の次元数を少なくできる(例えば、RGB各色のビン数が4なので、色ヒストグラムで合計12次元)。さらに、顔方向推定装置1は、顔画像の領域毎に色ヒストグラムを計算するので、顔画像内での頭部位置の変化、顔画像の解像度低下やノイズ重畳の影響を受けにくくなる。これにより、顔方向推定装置1は、学習及び識別の処理負荷を軽減し、サッカー選手の顔方向をリアルタイムで推定することができる。
なお、顔方向推定装置1の動作は、第2実施形態で説明する。
[顔方向推定装置の構成]
図10を参照し、本発明の第2実施形態に係る顔方向推定装置1Bの構成について、第1実施形態と異なる点を説明する。
なお、第2特徴量計算部15(152〜15N)は、学習モード及び推定モードでの処理内容が第1実施形態と同様のため、これ以上の説明を省略する。
なお、第2識別部16(162〜16N)は、学習モード及び推定モードでの処理内容が第1実施形態と同様のため、これ以上の説明を省略する。
図11を参照し、顔方向推定装置1Bの学習モードの動作について説明する(適宜図10参照)。この学習モードでは、操作者が顔方向推定装置1Bに複数の訓練データを入力し、顔方向推定装置1Bが訓練データを1個ずつ学習する。
なお、図11では、n種類目の特徴量を特徴量(n)と図示した(図12も同様)。
顔方向推定装置1Bは、何種類目の特徴量であるかを表す整数nを1に初期化する(ステップS11)。
第1特徴量計算部13は、訓練データのそれぞれの領域について、色ヒストグラムを計算する。そして、第1特徴量計算部13は、それぞれの領域の色ヒストグラムを連結し、訓練データ全体の色ヒストグラムを求める(ステップS14)。
第1識別部14は、訓練データの色ヒストグラムを学習した識別器を生成する(ステップS15)。
第2識別部16nは、訓練データのn種類目の特徴量を学習した識別器を生成する(ステップS17)。
整数nが最大種類数Nに一致しない場合(ステップ18でNo)、顔方向推定装置1Bは、整数nをインクリメントし(ステップS19)、ステップS12の処理に戻る。
全訓練データの学習を終了していない場合(ステップS20でNo)、顔方向推定装置1Bは、ステップS10の処理に戻り、次の訓練データを学習する。
全訓練データの学習を終了した場合(ステップS20でYes)、顔方向推定装置1Bは、学習モードを終了する。
このように、学習モードにより、顔方向推定装置1Bは、サッカー選手の顔方向の推定に必要な識別器を生成できる。
図12を参照し、顔方向推定装置1Bの推定モードの動作について説明する(適宜図10参照)。
顔画像抽出部10は、映像に被写体追跡処理を施し、サッカー選手の位置を求める。そして、顔画像抽出部10は、サッカー選手の位置を基準にして、サッカー選手の顔画像を抽出する(ステップS31)。
顔方向推定装置1Bは、何種類目の特徴量であるかを表す整数nを1に初期化する(ステップS33)。
顔方向推定装置1Bは、図11のステップS12と同様、n種類目の特徴量で領域分割が必要か否かを判定する(ステップS34)。
第1特徴量計算部13は、顔画像のそれぞれの領域について、色ヒストグラムを計算する。そして、第1特徴量計算部13は、それぞれの領域の色ヒストグラムを連結し、顔画像全体の色ヒストグラムを求める(ステップS36)。
第1識別部14は、色ヒストグラムを学習した識別器により、顔画像全体の色ヒストグラムから信頼度を計算する(ステップS37)。
第2識別部16nは、n種類目の特徴量を学習した識別器により、顔画像でn種類目の特徴量から信頼度を計算する(ステップS39)。
整数nが最大種類数Nに一致しない場合(ステップ40でNo)、顔方向推定装置1Bは、整数nをインクリメントし(ステップS41)、ステップS34の処理に戻る。
顔方向推定装置1Bは、全顔画像の顔方向の推定を終了したか否かを判定する(ステップS43)。
全顔画像の顔方向の推定を終了していない場合(ステップS43でNo)、顔方向推定装置1Bは、ステップS32の処理に戻り、次の顔画像の顔方向を推定する。
このように、推定モードにより、顔方向推定装置1Bは、サッカー選手の顔方向を推定できる。
本発明の第2実施形態に係る顔方向推定装置1Bは、顔画像の領域毎に色ヒストグラムを計算するので、第1実施形態と同様、特徴量の次元数を少なくし、サッカー選手の顔方向をリアルタイムで推定することができる。さらに、顔方向推定装置1Bは、色ヒストグラム、及び、1以上の任意の第2特徴量を併用するので、サッカー選手の顔方向を高精度に推定することができる。
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した各実施形態では、顔方向を8方向で識別することとして説明したが、これに限定されない。例えば、顔方向推定装置は、顔方向を4方向又は16方向で推定してもよい。
本発明に係る顔方向推定プログラムをコンピュータにインストールし、第1実施形態と同様の構成とした。このコンピュータは、CPUがインテル株式会社製の「Core(登録商標) i7‐4790 3.60GHz」であり、RAMが16GBであり、OSがマイクロソフト社製の「WINDOWS(登録商標)7 Pro SP1 64bit」である。また、顔方向推定プログラムは、Python3.5.1の環境においてシングルスレッドで実装した。以下、顔方向推定プログラムを実装したコンピュータを、顔方向推定装置とする。
3 特徴量計算装置
10 顔画像抽出部
11 画像サイズ正規化部
12 画像領域分割部
13 第1特徴量計算部
14 第1識別部
15,152〜15N 第2特徴量計算部
16,162〜16N 第2識別部
17,17B 識別結果統合部(顔方向推定部)
18 出力部
Claims (5)
- 色ヒストグラム、及び、前記色ヒストグラムと異なる1種類以上の第2特徴量を用いて、被写体の顔画像から前記被写体の顔方向を推定する顔方向推定装置であって、
前記顔画像を入力し、入力した前記顔画像を複数の領域に分割する画像領域分割部と、
前記領域毎の色ヒストグラムを計算し、計算した前記領域毎の色ヒストグラムを連結することで、前記顔画像全体の色ヒストグラムを求める第1特徴量計算部と、
顔方向が異なる訓練データの色ヒストグラムを学習した識別器により、前記顔画像全体の色ヒストグラムから、前記被写体が各顔方向を向いている確率である信頼度を計算する第1識別部と、
前記第2特徴量の種類毎に、前記顔画像の第2特徴量を計算する第2特徴量計算部と、
前記第2特徴量の種類毎に、前記訓練データの第2特徴量を学習した識別器により、前記顔画像の第2特徴量から、前記信頼度を計算する第2識別部と、
色ヒストグラム及び前記第2特徴量の種類毎に計算した信頼度を統合することで、前記被写体の顔方向を推定する顔方向推定部と、
を備えることを特徴とする顔方向推定装置。 - 前記第2特徴量計算部は、前記第2特徴量として、前記顔画像のHOGを計算し、
前記第2識別部は、前記訓練データでHOGを学習した識別器により、前記顔画像のHOGから前記信頼度を計算することを特徴とする請求項1に記載の顔方向推定装置。 - 前記顔方向推定部は、前記顔方向毎に前記色ヒストグラムで計算した信頼度と前記HOGで計算した信頼度とを乗算し、乗算した当該信頼度が最も高くなる顔方向を前記被写体の顔方向として推定することを特徴とする請求項2に記載の顔方向推定装置。
- 前記被写体を撮影した映像を入力し、入力した前記映像から低解像度の前記顔画像を抽出する顔画像抽出部と、
前記低解像度の顔画像を予め設定したサイズに正規化する画像サイズ正規化部と、をさらに備え、
前記画像領域分割部は、正規化した前記顔画像を前記複数の領域に分割することを特徴とする請求項1から請求項3の何れか一項に記載の顔方向推定装置。 - コンピュータを、請求項1から請求項4の何れか一項に記載の顔方向推定装置として機能させるための顔方向推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016154536A JP6770363B2 (ja) | 2016-08-05 | 2016-08-05 | 顔方向推定装置及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016154536A JP6770363B2 (ja) | 2016-08-05 | 2016-08-05 | 顔方向推定装置及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018022416A true JP2018022416A (ja) | 2018-02-08 |
JP6770363B2 JP6770363B2 (ja) | 2020-10-14 |
Family
ID=61165983
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016154536A Active JP6770363B2 (ja) | 2016-08-05 | 2016-08-05 | 顔方向推定装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6770363B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020074055A (ja) * | 2018-03-05 | 2020-05-14 | 日本テレビ放送網株式会社 | 画像識別装置、分類システム、制作支援システム、それらの方法及びプログラム |
JP2020187657A (ja) * | 2019-05-16 | 2020-11-19 | 株式会社キーエンス | 画像検査装置 |
-
2016
- 2016-08-05 JP JP2016154536A patent/JP6770363B2/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020074055A (ja) * | 2018-03-05 | 2020-05-14 | 日本テレビ放送網株式会社 | 画像識別装置、分類システム、制作支援システム、それらの方法及びプログラム |
JP7122243B2 (ja) | 2018-03-05 | 2022-08-19 | 日本テレビ放送網株式会社 | 画像識別装置、分類システム、制作支援システム、それらの方法及びプログラム |
JP2020187657A (ja) * | 2019-05-16 | 2020-11-19 | 株式会社キーエンス | 画像検査装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6770363B2 (ja) | 2020-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11256955B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
Bak et al. | One-shot metric learning for person re-identification | |
JP6438403B2 (ja) | 結合された深度キューに基づく平面視画像からの深度マップの生成 | |
CN112686812B (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
Tian et al. | Salient region detection by fusing bottom-up and top-down features extracted from a single image | |
US20170032222A1 (en) | Cross-trained convolutional neural networks using multimodal images | |
EP1891579A2 (en) | Image segmentation | |
JP7142420B2 (ja) | 画像処理装置、学習方法、学習済モデル、画像処理方法 | |
EP3093822B1 (en) | Displaying a target object imaged in a moving picture | |
Li et al. | Face spoofing detection with image quality regression | |
US10007678B2 (en) | Image processing apparatus, image processing method, and recording medium | |
US11783192B2 (en) | Hybrid deep learning method for recognizing facial expressions | |
US10810433B2 (en) | Method and system for tracking objects | |
Bouachir et al. | Structure-aware keypoint tracking for partial occlusion handling | |
US10891740B2 (en) | Moving object tracking apparatus, moving object tracking method, and computer program product | |
JP6511950B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6770363B2 (ja) | 顔方向推定装置及びそのプログラム | |
WO2017221860A1 (ja) | 領域識別装置と領域識別方法および領域識別プログラム | |
JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP3962517B2 (ja) | 顔面検出方法及びその装置、コンピュータ可読媒体 | |
CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 | |
KR101741761B1 (ko) | 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법 | |
US20210034915A1 (en) | Method and apparatus for object re-identification | |
Lau et al. | Atdetect: Face detection and keypoint extraction at range and altitude | |
JP6717769B2 (ja) | 情報処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190703 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6770363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |