JP2011030030A

JP2011030030A - 記録装置及び記録方法

Info

Publication number: JP2011030030A
Application number: JP2009174788A
Authority: JP
Inventors: Koji Mada; 浩二磨田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-07-27
Filing date: 2009-07-27
Publication date: 2011-02-10
Anticipated expiration: 2029-07-27
Also published as: JP5235808B2

Abstract

【課題】分割領域毎の顔検出処理では検出できなかった顔に対しても検出できるようにする。
【解決手段】入力された画像信号を複数に分割し、分割領域毎に第１の映像信号処理部と、第１の顔検出部と、符号化部とを備える記録装置に、前記入力された画像信号に係る画像を間引き処理する解像度変換部と、前記解像度変換部により間引かれた画像を映像信号に変換し、第２の映像信号を生成する第２の映像信号処理部と、前記第２の映像信号処理部により生成される第２の映像信号から顔を検出する第２の顔検出部とを設け、前記符号化手段は、前記第１の顔検出部から出力された情報と、前記第２の顔検出部から出力された情報とを選択的に用いて符号化処理を行うようにすることにより、分割領域の境界部を跨ぐ画像を保護して、分割された画像からでは検出できない情報（顔）を検出できるようにする。
【選択図】図１

Description

本発明は記録装置及び記録方法に関し、特に、静止画あるいは動画などの映像情報を媒体に記録するために用いて好適な技術に関する。

近年、記憶媒体にディスク媒体やハードディスク、メモリを用いてハイビジョン記録を行うビデオカメラが製品化され始めた。これらのビデオカメラは、小型で持ち運びも容易であり、かつ高画質の映像を記録できるため、今後ますます普及していくと思われる。

このような機器では、ハイビジョン記録を行うため、記録時にはMPEG4 part-10:AVC(ISO/IEC 14496-10、別名Ｈ．２６４)のような圧縮符号化されたビデオストリームで記録媒体に映像を保存する。

また、顔検出技術の進歩に伴って、顔検出を用いた高画質化処理を行うビデオカメラも登場してきた。顔検出で人物の顔領域を特定し、その領域の符号化劣化を抑えることで、注視領域である人物の顔を高画質化することができる。また、ハイビジョンを超えた更なる多画素化を実現するために、画面を複数に分割し、分割された領域毎に映像信号処理と符号化処理を行う構成が提案されている。

以下、従来の顔検出を用いた顔の高画質化処理について説明する。
顔検出で人物の顔領域を特定し、その領域の符号化劣化を抑えることで、注視領域である人物の顔を高画質化している。例えば、撮像素子（図示せず）より入力された画像信号を複数の領域に分割する。ここでは簡単のため、図７（ａ）に示すように、入力画像７０１を縦に４分割して、図７（ｂ）に示すように、領域Ａ、領域Ｂ、領域Ｃ、領域Ｄとすることとする。

図８は、顔検出を用いた従来の符号化処理の一例を示すフローチャートである。
ステップＳ８０１では、符号量制御を行い、量子化コードを算出する。
ステップＳ８０２では、顔検出を行って検出された領域を顔検出領域として取得する。
ステップＳ８０３では、ステップＳ８０２において取得した顔検出領域において、顔が検出されたか否かを判断する。

ステップＳ８０３の判断の結果、顔が検出されていればステップＳ８０４へ分岐し、そうでなければステップＳ８０５へと分岐する。ステップＳ８０４では、算出した量子化コード設定から、所定の値である量子化コード補正量Nを差し引いた値に補正する処理を行う。その後、ステップＳ８０５に移行する。ステップＳ８０５では、量子化コード設定を用いて符号化を行う。

このように、従来は、顔検出された領域に対して、量子化コードを小さくして細かく量子化するように量子化コードを補正することで、顔検出された領域の画質を高画質化している。したがって、分割領域毎における符号化部の顔検出を用いた顔の高画質化処理であり、従来の記録装置は、分割領域毎に符号化処理を行うものである（例えば、特許文献１参照）。

特開２００３−３４８５９７号公報

従来の顔検出処理においては、分割領域毎に顔検出を行うようにしているため、図９において、符号９０１で示した画像のように、顔の一部しか画面内にない場合は、人物の顔として特定することができない場合が発生する。

例えば、図１０に示す入力画像１０００には、３名の人物の顔が存在するにもかかわらず、分割領域Ａ〜Ｄ毎の顔検出処理では分割領域Ｂにある１名の人物１００１の顔しか検出することができず、他の２名は検出できていないという問題があった。
本発明は前述の問題点に鑑み、分割領域毎の顔検出処理では検出できなかった顔に対しても検出できるようにすることを目的とする。

本発明の記録装置は、入力された画像信号に係る画像を複数の領域に分離する分離手段と、前記分離手段により複数に分割された画像領域のそれぞれを映像信号に変換し、第１の映像信号を出力する複数の第１の映像信号処理手段と、前記複数の第１の映像信号処理手段からそれぞれ出力される各画像領域に係る第１の映像信号から顔を検出する複数の第１の顔検出手段と、前記複数の第１の顔検出手段により顔検出された情報を用いて映像信号を圧縮符号化し、符号化ストリームを生成する複数の符号化手段と、前記複数の符号化手段により生成される複数の符号化ストリームを記録する記録媒体とを備える記録装置であって、前記入力された画像信号に係る画像を間引き処理する解像度変換手段と、前記解像度変換手段により間引かれた画像を映像信号に変換し、第２の映像信号を生成する第２の映像信号処理手段と、前記第２の映像信号処理手段により生成される第２の映像信号から顔を検出する第２の顔検出手段とを備え、前記符号化手段は、前記複数の第１の顔検出手段から出力された情報と、前記第２の顔検出手段から出力された情報とを選択的に用いて符号化処理を行うことを特徴とする。

本発明によれば、分割領域毎の顔検出結果の他に、画面全体を縮小した領域に対して顔検出を行い、その検出結果を符号化に使用するようにした。これにより、分割領域毎の顔検出処理では検出できなかった顔に対しても符号化時に高画質化を行うことが可能となり、使用者にとって好適なビデオカメラを提供することができる。

本実施形態における記録装置の構成例を示すブロック図である。本実施形態における顔検出結果伸長部による、第２の顔検出されたＭＢ座標から第３の顔検出されたＭＢ座標への伸長方法を示す図である。本実施形態における符号化部の符号化処理における顔検出されたＭＢの決定手順の一例を説明するフローチャートである。本実施形態における分割領域内で顔検出が行われた場合の、符号化処理における高画質化処理を適用するＭＢを示す図である。本実施形態における分割領域の境界に顔があるが、分割領域内で顔検出ができなかった場合の、符号化処理における高画質化処理を適用するＭＢを示す図である。本実施形態における画面内に３名の人物が存在し、うち２名の顔が分割領域の境界に跨っている場合の、顔高画質化処理の適用範囲を示す図である。従来例を示し、撮像素子より入力された画像の分割方法を示す概念図である。従来例を示し、顔検出を用いた符号化処理の一例を示すフローチャートである。従来例を示し、顔が一部しか存在しない場合の分割領域を示す概念図である。従来例を示し、人物が３名存在する場合の顔検出領域を示す概念図である。

図１は、本発明の実施形態を示し、記録装置の構成例を示すブロック図である。
以下、図１を用いて、本発明における解像度変換処理、解像度変換された画像に対する映像信号処理、顔検出処理と、符号化処理について説明する。

図１において、１０１は撮像素子であり、外部からの画像を取り込み、画像信号へと変換する。１０２は分離部であり、撮像素子１０１より入力された画像信号を複数の領域に分割する。ここでは簡単のため、図７（ａ）、（ｂ）のように領域を縦に４分割（領域Ａ、Ｂ、Ｃ、Ｄ）することとする。

１０３は分割領域毎の映像プロセッサであり、第１の映像信号処理部１０４、第１の顔検出部１０５、符号化部１０６を備えている。本実施形態においては、分割領域毎に映像エンジン１０３Ａ〜１０３Ｄ、第１の映像信号処理部１０４Ａ〜１０４Ｄ、第１の顔検出部１０５Ａ〜１０５Ｄ、符号化部１０６Ａ〜１０６Ｄを備えている。

１０４（１０４Ａ〜１０４Ｄ）はそれぞれ映像信号処理部であり、分離部１０２により複数に分割された画像領域のそれぞれを映像信号に変換し、電気的な映像信号を出力する。１０５（１０５Ａ〜１０５Ｄ）はそれぞれ顔検出部であり、第１の映像信号処理部１０４より出力された映像信号を入力し、その中に人物の顔が含まれているかを検出し、人物の顔と判定された第１のマクロブロック座標を符号化部へと通知する。

１０６（１０６Ａ〜１０６Ｄ）はそれぞれ符号化部であり、符号化単位ブロックであるマクロブロック（以後、ＭＢと定義する）ごとに動き予測及び動き補償を行う。さらに、顔検出された情報を用いてＭＢの画像データを量子化し、エントロピー符号化して映像信号を圧縮符号化し、符号化ストリームを生成する。

第１の映像信号処理部１０４より入力された映像信号、そして第１の顔検出部１０５より入力された、人物の顔と判定された第１のＭＢの座標を用いて、人物の顔と判定された第１のＭＢの符号化劣化を抑えるように量子化制御しながら、符号化を行う。顔検出を用いた高画質化処理について、詳細は後に説明する。１０７は記録媒体であり、符号化部１０６より出力される符号化ストリームを記録する。

＜解像度変換処理と縮小画像の顔検出処理＞
撮像素子１０１から入力された画像信号を、分離部１０２の入力とは別に解像度変換部１０８へと入力する。解像度変換部１０８は、入力された画像を、縦、横それぞれ所定の縮小率で縮小させて、第２の映像信号処理部１０９へと出力する。ここでは、簡単のため縦１/２、横１/２の縮小率とする。具体的には、撮像素子１０１より入力された画像信号を間引き処理して解像度変換を行い、縦横の縮小を行う。

第２の映像信号処理部１０９では、入力された縦１/２、横１/２に縮小された画像を電気的な映像信号に変換し出力する。第２の顔検出部１１０では、入力された映像信号に対して顔検出処理を行い、顔と検出された第２のＭＢの座標を顔検出結果伸長部１１１へと通知する。

顔検出結果伸長部１１１では、第２の顔検出部１１０より通知された顔検出されたＭＢを、解像度変換部１０８の縮小率に応じて縮小前のＭＢに対応させるように、マクロブロック毎に伸長した第３のＭＢ座標を複数算出する。そして、顔検出結果伸長部１１１は、算出した情報を符号化部１０６Ａ〜１０６Ｄへとそれぞれ通知する。

＜縮小画像の顔検出結果の符号化処理への適用方法＞
符号化部１０６は、第２の顔検出部１１０から顔検出された第２のＭＢの座標を受け取るが、受け取った座標は縮小された映像信号に対してのＭＢ座標であるため、元の解像度へ伸長する必要がある。

図２は、符号化部１０６における、第２の顔検出部１１０から顔検出された第２のＭＢの座標の伸長方法を示す図である。
図２において、２０１は第２の顔検出部１１０より出力された第２のＭＢの座標（Ａ,Ｂ）〜（Ａ＋１,Ｂ＋１）、２０２は顔検出結果伸長部１１１で伸長後の、第３のＭＢの座標を示している。本実施形態では縦１/２、横１/２の縮小率としている。このため、第２の顔検出部１１０より出力された第２のＭＢの座標に対して顔検出結果伸長部１１１で縦、横それぞれ２倍伸長して、そこに含まれるＭＢを第２の顔検出部１１０により顔検出された第３のＭＢ座標を符号化部１０６Ａ〜１０６Ｄに通知する。

例えば、第２の顔検出部１１０より出力された第２のＭＢの座標（Ａ,Ｂ）に対しては、以下のようになる。すなわち、（２Ａ,２Ｂ）、（２Ａ＋１,２Ｂ）、（２Ａ,２Ｂ＋１）、（２Ａ＋１,２Ｂ＋１）の４つのＭＢが、顔検出された第３のＭＢとして符号化に使用されることになる。

＜符号化処理における顔検出されたＭＢの決定方法＞
図３は、符号化部１０６の符号化処理における顔高画質化処理を行うＭＢの決定方法の処理手順を示すフローチャートである。
以下、図３のフローチャートを参照しながら符号化処理における顔高画質化処理を行うＭＢの決定方法について説明する。

ステップＳ３０１では、第１の顔検出部１０５より分割領域内の顔検出結果である第１のＭＢ座標を受け取る。
ステップＳ３０２では、顔検出結果伸長部１１１より縮小画像の顔検出結果である第２のＭＢ座標を伸長した、第３のＭＢ座標を受け取る。
ステップＳ３０３では、第１の顔検出されたＭＢ座標と第３の顔検出されたＭＢ座標とが重なっているかどうかを判断する。

ステップＳ３０３の判断の結果、重なっていればステップＳ３０４へ分岐し、そうでなければステップＳ３０５へと分岐する。
ステップＳ３０４では、第３の顔検出されたＭＢ座標の伸長前の第２の顔検出された第２の顔検出されたマクロブロック（ＭＢ）の座標と同一座標から求めた第３のＭＢの座標を全て破棄し、第１の検出されたＭＢ座標を顔高画質化処理の対象ＭＢとして決定する。ステップＳ３０５では、当該ＭＢ座標を顔高画質化処理の対象ＭＢとして決定する。このように、符号化部１０６は、第１の顔検出部１０５Ａ〜１０５Ｄから出力された情報と、第２の顔検出部１１０から出力された情報とを選択的に用いて符号化処理を行う。

図４及び図５は、前述した符号化処理における高画質化処理を適用するＭＢの一例を示す図である。図４は、分割領域内で顔検出が行われた場合であり、図５は、分割領域の境界に顔があるが、分割領域内で顔検出ができなかった場合である。

図４の、分割領域内で顔検出が行われた場合における符号化部の顔高画質化処理について説明する。
図４において、４０１は、解像度変換後の縮小画像で顔検出された第２のＭＢである。４０２は、分割領域内で顔検出された第１のＭＢとその周辺ＭＢである。４０３は、縮小画像で顔検出されたＭＢを伸長した第３のＭＢである。４０４は、符号化部で顔高画質化処理を行うＭＢと、その周辺ＭＢである。

図４のように、第１の顔検出されたＭＢ座標４０２と第３の顔検出されたＭＢ４０３の座標とが重なっている場合は、ＭＢ４０４のように、符号化部は第３の顔検出されたＭＢ４０３の座標を破棄する。そして、第１の顔検出されたＭＢ座標４０２に対して顔高画質化処理を行う。

これは、第３の顔検出されたＭＢ座標は、縮小画で検出されたＭＢを伸長しており、縮小前の顔検出結果である第１の顔検出されたＭＢ座標４０２に対して精度が落ちてしまうため、精度の高い顔検出結果を採用するためである。

次に、図５の、分割領域内で顔検出が行われなかった場合における符号化部の顔高画質化処理について説明する。
図５において、５０１は、解像度変換後の縮小画像で顔検出された第２のＭＢである。５０２は、分割領域内で顔検出された第１のＭＢとその周辺ＭＢである。５０３は、縮小画像で顔検出されたＭＢを伸長した第３のＭＢである。５０４は、符号化部で顔高画質化処理を行うＭＢと、その周辺ＭＢである。

図５のように、第１の顔検出されたＭＢ座標５０２と第３の顔検出されたＭＢ座標５０３とが重なっていない場合は、５０４のように、符号化部は第３の顔検出されたＭＢ座標５０３に対して顔高画質化処理を行う。

図６は、画面内に３名の人物が存在し、うち２名の顔が分割領域の境界に跨っている場合の、顔高画質化処理の適用範囲を示す図である。
図６において、６０１は、分割領域毎に顔検出された結果である。
６０２は、縮小画像で顔検出された結果である。６０３は、符号化を行う各分割領域であり、符号化部は領域６０４〜６０８に対して、顔高画質化処理を行う。

領域６０４は、分割領域毎に顔検出された第１のＭＢ座標、領域６０５、６０６，６０７、６０８は縮小画像の顔検出結果を伸長した第３の顔検出されたＭＢ座標である。図６（ｃ）において、分割領域を跨ぐことなく、分割領域内に人物の顔がある場合は、第１の顔検出部１０５より出力された第１の顔検出されたＭＢ領域を符号化処理の顔高画質化処理に用いる領域として決定している。また、分割領域を跨ぐ人物の顔は、第２の顔検出部１１０より出力され、符号化部１０６にて伸長した第３のＭＢ領域を符号化処理の顔高画質化処理に用いる領域として決定している。

このようにすることで、分割領域を跨ぐことなく、分割領域内に人物の顔がある場合は、顔検出の精度の高い第１の顔検出されたＭＢ領域を顔検出領域として決定する。また、第１の顔検出部１０５では検出することのできない分割領域を跨ぐ人物の顔は、顔検出の精度の低い第３のＭＢ領域を符号化処理に用いる顔検出された領域として決定している。

このため、従来の顔検出の精度を保ちつつ、従来では検出できなかった顔を検出することができるため、分割領域を跨ぐ人物の顔を高画質化可能となり、ユーザーに対して好適な記録装置を提供する事ができる。

（本発明に係る他の実施の形態）
前述した本発明の実施の形態における記録装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した記録方法における各工程を実行するソフトウェアのプログラムを、システムあるいは装置に直接、あるいは遠隔から供給する。実施の形態では図３に示すフローチャートに対応したプログラム供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

１０１撮像素子、１０２分離部、１０３Ａ〜１０３Ｄ映像プロセッサ、１０４Ａ〜１０４Ｄ第１の映像信号処理部、１０５Ａ〜１０５Ｄ第１の顔検出部、１０６Ａ〜１０６Ｄ符号化部、１０７記録媒体、１０８解像度変換部、１０９第２の映像信号処理部、１１０第２の顔検出部、１１１顔検出結果伸張部

Claims

入力された画像信号に係る画像を複数の領域に分離する分離手段と、
前記分離手段により複数に分割された画像領域のそれぞれを映像信号に変換し、第１の映像信号を出力する複数の第１の映像信号処理手段と、
前記複数の第１の映像信号処理手段からそれぞれ出力される各画像領域に係る第１の映像信号から顔を検出する複数の第１の顔検出手段と、
前記複数の第１の顔検出手段により顔検出された情報を用いて映像信号を圧縮符号化し、符号化ストリームを生成する複数の符号化手段と、
前記複数の符号化手段により生成される複数の符号化ストリームを記録する記録媒体とを備える記録装置であって、
前記入力された画像信号に係る画像を間引き処理する解像度変換手段と、
前記解像度変換手段により間引かれた画像を映像信号に変換し、第２の映像信号を生成する第２の映像信号処理手段と、
前記第２の映像信号処理手段により生成される第２の映像信号から顔を検出する第２の顔検出手段とを備え、
前記符号化手段は、前記複数の第１の顔検出手段から出力された情報と、前記第２の顔検出手段から出力された情報とを選択的に用いて符号化処理を行うことを特徴とする記録装置。
前記第１の顔検出手段は、前記第１の映像信号で顔検出された符号化単位ブロックであるマクロブロックの座標を出力し、前記第２の顔検出手段は、前記第２の映像信号で顔検出された符号化単位ブロックであるマクロブロックの座標を出力することを特徴とする請求項１に記載の記録装置。
前記第２の顔検出手段から通知された前記第２の顔検出されたマクロブロックの座標と、前記解像度変換手段における縦横の縮小率とを用いて、第２の顔検出されたマクロブロック毎に、第２の顔検出されたマクロブロックの座標を伸長した第３の顔検出されたマクロブロックの座標を複数算出し、前記符号化手段へと通知する顔検出結果伸長手段を備えることを特徴とする請求項１に記載の記録装置。
前記符号化手段は、前記第１の顔検出されたマクロブロックの座標と、前記第３の顔検出されたマクロブロックの座標とが重なっている場合、前記第１の顔検出されたマクロブロックの座標と同一の前記第２の顔検出されたマクロブロックの座標を伸長して求めた第３の顔検出されたマクロブロックの座標を全て破棄し、前記第１の顔検出されたマクロブロックの座標を顔検出されたマクロブロックとして符号化処理を行うことを特徴とする請求項３に記載の記録装置。
前記符号化手段は、前記第１の顔検出されたマクロブロックの座標と、前記第３の顔検出されたマクロブロックの座標とが重なっていない場合、当該マクロブロックの座標を顔検出されたマクロブロックとして符号化処理を行うことを特徴とする請求項３に記載の記録装置。
入力された画像信号に係る画像を複数の領域に分離する分離工程と、
前記分離工程において複数に分割された画像領域のそれぞれを映像信号に変換し、第１の映像信号を出力する第１の映像信号処理工程と、
前記第１の映像信号処理工程からそれぞれ出力される各画像領域に係る第１の映像信号から顔を検出する第１の顔検出工程と、
前記第１の顔検出工程において顔検出された情報を用いて映像信号を圧縮符号化し、符号化ストリームを生成する符号化工程と、
前記符号化工程において生成される複数の符号化ストリームを記録媒体に記録する記録工程とを備える記録方法であって、
前記入力された画像信号に係る画像を間引き処理する解像度変換工程と、
前記解像度変換工程において間引かれた画像を映像信号に変換し、第２の映像信号を生成する第２の映像信号処理工程と、
前記第２の映像信号処理工程において生成される第２の映像信号から顔を検出する第２の顔検出工程とを備え、
前記符号化工程は、前記第１の顔検出工程から出力された情報と、前記第２の顔検出工程から出力された情報とを選択的に用いて符号化処理を行うことを特徴とする記録方法。
入力された画像信号に係る画像を複数の領域に分離する分離工程と、
前記分離工程において複数に分割された画像領域のそれぞれを映像信号に変換し、第１の映像信号を出力する第１の映像信号処理工程と、
前記第１の映像信号処理工程からそれぞれ出力される各画像領域に係る第１の映像信号から顔を検出する第１の顔検出工程と、
前記第１の顔検出工程において顔検出された情報を用いて映像信号を圧縮符号化し、符号化ストリームを生成する符号化工程と、
前記符号化工程において生成される複数の符号化ストリームを記録媒体に記録する記録工程とをコンピュータに実行させるプログラムであって、
前記入力された画像信号に係る画像を間引き処理する解像度変換工程と、
前記解像度変換工程において間引かれた画像を映像信号に変換し、第２の映像信号を生成する第２の映像信号処理工程と、
前記第２の映像信号処理工程において生成される第２の映像信号から顔を検出する第２の顔検出工程とをコンピュータに実行させ、
前記符号化工程は、前記第１の顔検出工程から出力された情報と、前記第２の顔検出工程から出力された情報とを選択的に用いて符号化処理を行うようコンピュータを制御することを特徴とするプログラム。
請求項７に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。