JP2022028978A - 映像処理装置、表示装置、および映像処理方法 - Google Patents

Abstract

【課題】高解像度の入力映像において物体の像を検出する場合に、処理時間の長大化を抑制する。【解決手段】映像処理装置（１Ａ）は、検出対象を含む物体の像を検出する検出回路（３）と、検出回路（３）の検出性能よりも高い解像度を有する入力映像（Ｉｎ１）からデータ容量が軽減された軽減画像を生成する軽減画像生成回路（１２２）と、を備える。検出回路（３）は、軽減画像を用いて物体の像が存在する第１領域を検出する。【選択図】図３

Description

以下の開示は、入力映像から物体の像を検出する映像処理装置、該映像処理装置を備えた表示装置、および映像処理方法に関する。

従来、入力映像から検出対象となる物体（例えば顔等）の像を検出した後、検出位置に基づいて該物体の像を含む映像を切り出す処理を行う技術が知られている（例えば、特許文献１、２参照）。

特開２０１３－１７１４１号公報 特開２０１０－１６５０５２号公報

近年、高解像度の映像（例えば８Ｋ、４Ｋ等）が入力映像として用いられることがある。この場合、従来の技術では、入力映像から物体の像を検出する処理に長時間を要する。

本開示の一態様は、高解像度の入力映像において物体の像を検出する場合に、処理時間の長大化を抑制することができる映像処理装置、表示装置、および映像処理方法を提供することを目的とする。

上記の課題を解決するために、本開示の一態様における映像処理装置は、検出回路の検出性能よりも高い解像度を有する入力映像における検出対象を検出する映像処理装置であって、前記入力映像は、複数の入力画像から構成されており、前記検出対象を含む物体の像を検出する検出回路と、前記入力画像のデータ容量が軽減された第１画像を生成する第１画像生成回路と、を備え、前記検出回路は、前記第１画像を用いて、前記物体の像が存在する第１領域を検出する。

本開示の一態様における映像処理方法は、検出回路の検出性能よりも高い解像度を有する入力映像における検出対象を検出する映像処理方法であって、前記入力映像を構成する入力画像のデータ容量が軽減された第１画像を生成し、前記検出回路を用いて、前記第１画像における前記検出対象を含む物体の像が存在する第１領域を検出し、前記第１領域の検出結果に基づいて、前記第１領域を含む画像を前記入力画像から切り出して第２画像を生成し、前記第２画像を用いて、前記検出対象が存在する第２領域を検出する。

本開示の一態様によれば、高解像度の入力映像において物体の像を検出する場合に、処理時間の長大化を抑制することができる映像処理装置、表示装置、および映像処理方法を提供することができる。

本開示の実施形態１における映像処理装置の概要を示すブロック図である。 （ａ）は本開示の実施形態１における映像処理装置に入力される入力映像の一例を示す図であり、（ｂ）は上記映像処理装置から出力される出力映像の一例を示す図である。 上記映像処理装置の要部構成を示すブロック図である。 上記映像処理装置による映像処理の一例について説明するためのタイムチャートである。 （ａ）は軽減画像に基づく物体の検出処理および切り出し画像の切り出し位置を決定する処理の一例について説明するための図であり、（ｂ）は詳細検出用画像に基づく物体の検出処理および詳細切り出し画像の切り出し位置を決定する処理の一例について説明するための図である。 入力映像から出力映像を生成する処理の一例について説明するための図である。 本開示の実施形態１における映像処理方法について説明するフローチャートであり、（ａ）は初期化処理、（ｂ）は検出準備を開始する処理、（ｃ）は検出結果の情報を読み出す処理、（ｄ）は映像出力処理についてそれぞれ示す図である。 上記映像処理装置の一変形例における合成処理回路が行う処理について説明するための図である。 （ａ）は一変形例の映像処理装置による映像処理の一例について説明するための図であり、（ｂ）は上記映像処理装置から出力される出力映像の一例を示す図である。 （ａ）は本開示の実施形態２における映像処理装置に入力される入力映像の一例を示す図であり、（ｂ）は上記入力映像を分割した様子を示す図である。 本開示の実施形態２における映像処理方法について説明するフローチャートである。 本開示の実施形態３における映像処理装置に入力される入力映像を分割した様子を示す図である。 （ａ）は本開示の実施形態４における映像処理装置の概要を示すブロック図であり、（ｂ）は上記映像処理装置に入力される４系統の入力映像の一例を示す図であり、（ｃ）は上記映像処理装置から出力される出力映像の一例を示す図である。 本開示の実施形態５における映像処理装置の概要を示すブロック図である。 （ａ）は上記映像処理装置に入力される入力映像の一例を示す図であり、（ｂ）は上記映像処理装置から出力される出力映像の一例を示す図であり、（ｃ）は上記映像処理装置から出力される他の出力映像の一例を示す図であり、（ｄ）は上記映像処理装置から出力されるリスト表示有の出力映像の一例を示す図である。 （ａ）は本開示の実施形態６における映像処理装置による映像処理の一例について説明するための図であり、（ｂ）は上記映像処理装置から出力される出力映像の一例を示す図である。 本開示の映像処理装置の適用例について示す図であり、（ａ）はカメラおよび録画装置と接続された場合、（ｂ）は再生装置および録画装置と接続された場合、（ｃ）は入力映像を処理して表示装置に出力する場合、についてそれぞれ示している。

以下、本開示の実施の形態について説明する。なお、本出願における各図面に記載した構成の形状および寸法（長さ、奥行き、幅等）は、実際の形状および寸法を反映させたものではなく、図面の明瞭化と簡略化とのために適宜変更している。図中同一または相当部分には同一符号を付してその説明は繰返さない。以下の特定の実施形態で説明する構成以外の構成については、必要に応じて説明を省略する場合があるが、他の実施形態で説明されている場合は、その構成と同じである。

〔実施形態１〕
本開示の一実施形態について、図１～７に基づいて説明すれば、以下のとおりである。

先ず、本実施形態における映像処理装置１Ａの全体構成および映像処理について、図１および図２を用いて概略的に説明する。

＜本開示の一態様における映像処理の概略的な説明＞
図１は、本実施形態における映像処理装置１Ａの概要を示すブロック図である。図２の（ａ）は、映像処理装置１Ａに入力される入力映像Ｉｎ１の一例を示す図である。図２の（ｂ）は、映像処理装置１Ａから出力される出力映像Ｏｕｔ１の一例を示す図である。

図１に示すように、本実施形態における映像処理装置１Ａは、映像処理回路１０Ａ、フレームメモリ２、検出回路３、制御部４、およびシステムバス９を備えている。これらの各部の詳細については後述する。

図１および図２を参照して、本実施形態における映像処理装置１Ａは、入力映像Ｉｎ１に基づいて検出対象（例えば人物の顔Ｈ１）を検出し、該検出対象を含む映像を入力映像Ｉｎ１から切り出すことにより出力映像Ｏｕｔ１を生成する処理を行う。

ここで、近年、映像の高画質化について要望が高まっており、例えば４Ｋ、８Ｋ映像のような高い解像度の映像が用いられることが多くなりつつある。高画質化が進展している映像の一例としては、カメラ等を用いて撮像した映像、テレビ等に入力されるテレビ放送の映像、ブルーレイディスク等の記録メディアに記録された映像、等が挙げられる。

４Ｋ、８Ｋ映像等の高い解像度の映像に対して各種の映像処理を実行する場合、膨大な量のデータを処理することが必要となる。この場合、高い解像度の映像から物体の検出を行う検出回路は、高性能なデータ処理能力が求められる。しかし、そのような高い解像度の映像に対応可能な検出回路は、概して高価であり、かつ電力消費が大きい。そのため、映像処理装置に搭載する検出回路の性能を高くすることを制限される場合がある。

検出回路が対応する解像度（検出性能）よりも高い解像度の映像について検出処理を行う場合、従来の映像処理においては以下のような問題があった。すなわち、（ｉ）入力映像における対象となる物体の像の探索範囲が広いため、該物体の像を検出する処理の時間が長大化する。（ｉｉ）探索範囲を縮小すると、物体の像を検出することが困難となる場合がある。（ｉｉｉ）処理時間を短縮するために並列処理を行うようにすると、コストが嵩む。

本実施形態における映像処理装置１Ａは、概略的には以下のような映像処理を行う。すなわち、入力映像Ｉｎ１が高解像度な映像である場合、入力映像Ｉｎ１の縮小処理および切り出し処理のうち少なくともいずれかを行うことにより、入力映像Ｉｎ１を構成する入力画像のデータ容量を軽減した軽減画像を生成する。そして、映像処理装置１Ａの検出回路３は、上記軽減画像を用いて、検出の対象物を含む物体の像が存在する領域を検出する。これにより、検出回路３による検出処理に要する時間の長大化を抑制することができる。

さらに、映像処理装置１Ａは、上記検出処理により検出した領域を含む画像を入力映像Ｉｎ１から切り出した画像を生成する。検出回路３は、該画像に基づいて、検出対象が存在する領域を検出する。そして、映像処理装置１Ａは、検出処理の結果に基づいて、入力映像Ｉｎ１から検出対象が存在する画像を切り出すことにより、出力画像を逐次生成していく。これにより、検出対象が存在する出力映像Ｏｕｔ１を生成する。映像処理装置１Ａは、このような映像処理を行う映像処理システムであるともいえる。

図２に示す例では、出力映像Ｏｕｔ１は、入力映像Ｉｎ１と同じ画面サイズにて表示した場合、入力映像Ｉｎ１よりも低画質となり得る。しかし、本開示の一態様における映像処理装置の出力映像の画質は、このような例に限定されず、出力側の機器（パネル、モニタ等）および映像処理装置が含む映像処理回路の仕様、等により決定され得る。そのため、出力映像の画質が入力映像よりも低くなるとは限らない。

なお、本開示の一態様における映像処理装置の出力映像は、上記のような出力映像Ｏｕｔ１と他の映像とを合成して生成されてもよい。

＜用語の定義＞
本明細書において、映像は１つまたは複数の画像データから構成されており、映像（画像）の「解像度」とは、映像の１フレームである画像データにおいて、該画像データを構成する複数の画素（picture element）の総数を意味する。例えば、４Ｋの解像度の映像とは、例えば３８４０×２１６０の画素からなる画像データを１フレームとする映像（以下、４Ｋ×２Ｋ映像と称することがある）である。例えば、８Ｋの解像度の映像とは、例えば７６８０×４３２０の画素からなる画像データを１フレームとする映像（以下、８Ｋ×４Ｋ映像と称することがある）である。なお、４Ｋの解像度および８Ｋの解像度の具体的な値は、上記の値に限定されない。また、本明細書において、画像データにおける横（幅）方向の画素の数を「幅解像度」、縦（高さ）方向の画素の数を「高さ解像度」と称することがある。この場合、上記解像度は、幅解像度×高さ解像度で表される。

或るサイズの画面に映像を表示させる場合、上記解像度は映像の細かさに関わり、表示装置の性能が対応していれば上記解像度が大きいほど映像は高精細になり得る。

また、本明細書において、或るサイズの画面に画像を表示した場合における画面上の画素密度のことを「画面解像度」と称する。本明細書において、「解像度」と「画面解像度」とは上記のように明確に区別して用いる。

そして、本明細書において、「高解像度映像」とは、映像処理装置に搭載されている検出回路３が対応する解像度よりも高い解像度の映像を意味する。つまり、或る映像が高解像度映像に該当するか否かは、検出回路３の性能に応じて相対的に決定される。例えば、検出回路３がＶＧＡ（解像度６４０×４８０）映像に対応する性能である場合、検出回路３が対応する解像度よりも高い解像度のＦｕｌｌ ＨＤ（解像度１９２０×１０８０）映像は高解像度映像に該当する。また、検出回路３がＦｕｌｌ ＨＤ（解像度１９２０×１０８０）映像に対応する性能である場合、検出回路３が対応する解像度よりも高い解像度の４Ｋ×２Ｋ映像および８Ｋ×４Ｋ映像は高解像度映像に該当する。或る映像が「高解像度映像」に該当するか否かは上記のように判定され、当該映像の解像度の具体的な値は限定されない。

本明細書において、「軽減画像」とは、或る映像を構成する画像についてデータ容量を軽減する処理を行った後の画像を意味している。軽減画像は、例えば、或る画像についてデータ容量を軽減するように、リサイズ若しくはダウンコンバージョンする、分割する、切り出し（例えばトリミング）する、等の処理を行うことにより生成した画像である。

なお、例えば、データ圧縮処理またはファイル形式の変換処理といった処理によってデータ容量を軽減する場合、エンコード処理またはデコード処理を要するため処理時間が長大化し得る。そのため、本開示の一態様における映像処理装置が実行するデータ容量を軽減する処理は、データ圧縮処理またはファイル形式の変換処理を含まないことが好ましい。これにより、映像処理装置が実行する処理の時間を効果的に短縮化することができる。

また、本明細書において、検出回路３が対応する解像度のことを、「検出回路３の検出性能」と称することがある。

なお、ここでは説明しないその他の用語について、以下の説明において適宜定義されることがある。

＜映像処理装置＞
本実施形態における映像処理装置１Ａについて、図３～図７を用いて以下に説明する。図３は、本実施形態における映像処理装置１Ａの要部構成を示すブロック図である。映像処理装置１Ａの概要構成は、図１を用いて前述したとおりである。

図３に示すように、本実施形態における映像処理装置１Ａに含まれる映像処理回路１０Ａは、画像抽出回路１２および合成処理回路１３を備えている。画像抽出回路１２は、切り出し画像生成回路（第２画像生成回路）１２１と軽減画像生成回路（第１画像生成回路）１２２とを含む。

また、映像処理装置１Ａに含まれる検出回路３は、被写体判定回路３１、判定制御回路３２、および情報記録回路３３を備えている。

以下、映像処理回路１０Ａに高解像度映像である入力映像Ｉｎ１が入力される場合について説明する。

本実施形態における検出回路３は、４Ｋ×２Ｋ映像に対応する処理能力を有する回路であり、入力映像Ｉｎ１は、４Ｋ×２Ｋ映像よりも高解像度の映像であるとする。本実施形態では、入力映像Ｉｎ１は８Ｋ×４Ｋ映像である。

本実施形態における映像処理装置１Ａは、前述のフレームメモリ２（図１参照）の具体的構成の一例としてフレームメモリ２ａおよびフレームメモリ２ｂを備えている。フレームメモリ２ａは合成処理回路１３に通信可能に接続され、フレームメモリ２ｂは画像抽出回路１２に通信可能に接続されている。なお、映像処理装置１Ａは、画像抽出回路１２および合成処理回路１３が１つのフレームメモリ２を共用するようになっていてもよく、この場合、フレームメモリ２に画像抽出回路１２用のフレーム領域と合成処理回路１３用のフレーム領域とが設けられる。

映像処理装置１Ａの制御部４は、映像処理装置１Ａの動作を統括的に制御する。

本実施形態の映像処理装置１Ａにおける画像抽出回路１２、合成処理回路１３、および検出回路３について、それらが実行する処理の具体例を、図４～図６を用いて以下に説明する。図４は、本実施形態の映像処理装置１Ａによる映像処理の一例について説明するためのタイムチャートである。図４において、紙面の左右方向は時間軸であり、紙面の左から右に向かうにつれて時間が進行する。入力映像Ｉｎ１は、複数の入力画像から構成されており、ここでは、入力映像Ｉｎ１を構成する複数の画像のうち連続した５フレーム分の画像（入力画像Ｉｎ１－０、入力画像Ｉｎ１－１、・・・入力画像Ｉｎ１－４）について示している。また、入力映像Ｉｎ１の例として、１人の男性と１人の女性とが存在する映像を示している。ここでは、この入力映像Ｉｎ１に基づいて、女性の顔を検出対象として映像処理を行い、女性の顔を含む映像を出力する処理を行う場合を例示して説明する。また、以下、図３を適宜参照して説明する。

（軽減画像生成および検出処理）
図３および図４に示すように、先ず、画像抽出回路１２は、切り出し画像生成回路１２１における処理は行わず、軽減画像生成回路１２２を用いて入力画像Ｉｎ１－０の解像度を所定の比率（縮小率α０）にて縮小する処理を行う。本実施形態における画像抽出回路１２は、入力画像Ｉｎ１－０を縮小率α０にて縮小することによりデータ容量が軽減された内部出力画像Ｏｕｔ０－０（軽減画像）を生成し、該内部出力画像Ｏｕｔ０－０を検出回路３に出力する。本明細書において、上記軽減画像を第１画像と称することがある。

なお、本明細書において、「内部出力画像」とは、本開示の一態様における映像処理装置内部にて、画像抽出回路１２から検出回路３に出力される画像データのことを意味している。

また、本明細書において、「縮小率」とは、或る縮小処理の前後における画像の幅解像度または高さ解像度の変化の比率にて規定される。縮小率は、縮小処理後の画像における解像度の幅および高さの両方が、検出回路３の検出性能に収まるような値となるように設定される。

或る縮小処理における幅の縮小率と高さの縮小率とは同じであることが好ましい。これは、縮小処理後の映像について、物体の検出パターンを変更することなく検出回路３による検出処理を行うことができるためである。幅の縮小率と高さの縮小率とが同じである場合、単に縮小率αと称し、例えば、或る規格の８Ｋ×４Ｋ映像を、同規格の４Ｋ×２Ｋ映像の解像度となるように縮小する場合の縮小率αは１／２（＝０．５）である。

なお、或る縮小処理において、幅の縮小率と高さの縮小率とが異なる場合があってもよい。例えば、Ｆｕｌｌ ＨＤ（解像度１９２０×１０８０）の映像をＶＧＡ（解像度６４０×４８０）の映像に縮小する場合、幅の縮小率は１／３であり、高さの縮小率は４／９である。この場合、後述する検出処理において、幅の縮小率と高さの縮小率との比に応じて物体の検出パターンを変更することを要する。

軽減画像生成回路１２２が実行する処理における上記縮小率α０は、内部出力画像Ｏｕｔ０－０の解像度が、検出回路３の検出性能以下となるような比率であればよく、具体的な値は限定されない。例えば、入力画像の解像度をＷ×Ｈ、検出回路３の検出性能をwidth_able×height_ableとし、（width_able／Ｗ）＜（height_able／Ｈ）であれば、上記縮小率α０は、α０≦width_able／Ｗとすることができる。

なお、内部出力画像Ｏｕｔ０－０の解像度が低いほど、検出回路３による物体の像の検出処理に要する時間が短縮され得る。ただし、縮小率α０の値が小さすぎると、内部出力画像Ｏｕｔ０－０の画質が悪くなりすぎることから、検出回路３による物体の像の検出処理が困難となり得る。

上記縮小率α０は、画像抽出回路１２に初期設定されていてもよく、入力映像Ｉｎ１の解像度に応じて制御部４によって設定されてもよい。

内部出力画像Ｏｕｔ０－０は、被写体判定回路３１に入力される。被写体判定回路３１は、内部出力画像Ｏｕｔ０－０を用いて、パターンマッチング処理等を行うことにより女性の顔（被写体）を検出する。被写体判定回路３１は、女性の顔を検出するために、女性の顔の検出パターンを使用する。画像に基づいて被写体（物体）を高速に検出する方法としては、公知の手法を用いることができる（例えば、参考文献：Paul Viola, Michael Jones, “Rapid Object Detection using a Boosted Cascade of Simple”, COMPUTER VISION AND PATTERN RECOGNITION 2001）。

判定制御回路３２は、例えば、パターンマッチング処理のパターン等を変更することにより、被写体判定回路３１を制御する。情報記録回路３３には、パターンマッチング処理のパターン等が格納されている。また、情報記録回路３３には、被写体判定回路３１によって特定された被写体（女性の顔）の位置、及び大きさ等の情報が格納される。

なお、内部出力画像Ｏｕｔ０－０が低画質であると、被写体判定回路３１によって女性の顔を特定することができない場合がある。この場合、判定制御回路３２は、例えば女性の体を検出パターンとするように被写体判定回路３１を制御する。

そして、この被写体判定回路３１による検出結果に基づいて、制御部４は、入力画像Ｉｎ１－２における切り出し画像の切り出し位置、および、入力画像Ｉｎ１－２からの切り出し画像を縮小して内部出力画像Ｏｕｔ０－２を生成するための縮小率α２を演算により決定する。この処理について図５の（ａ）を参照して説明する。図５の（ａ）は、軽減画像に基づく物体の検出処理および切り出し画像の切り出し位置を決定する処理の一例について説明するための図である。

図５の（ａ）に示すように、被写体判定回路３１は、内部出力画像Ｏｕｔ０－０における女性の体（物体の像）が存在する位置（x_detect_out0，y_detect_out0）およびその大きさ（size_detect_out0）を検出する。

縮小画像（軽減画像）である内部出力画像Ｏｕｔ０－０における、例えば女性の体のような物体の像が存在する領域を第１領域と称する。第１領域についての情報は、情報記録回路３３に格納される。

制御部４は、情報記録回路３３から上記第１領域についての情報を読み出し、当該情報に基づいて、入力画像Ｉｎ１－２における上記第１領域に対応する範囲Ａ２を特定する。ここで、画像における或る範囲は、以下のように特定することができる。すなわち、画像を構成する複数の画素のそれぞれについて座標を規定する。具体的には、入力画像における左上の隅を起点として、左右方向にｘ軸（右方向が正）を、上下方向にｙ軸（下方向が正）を規定する。これにより、入力画像を構成する各画素の位置は（ｘ，ｙ）で表される（ｘの範囲は０≦ｘ＜Ｗ、ｙの範囲は０≦ｙ＜Ｈとなる）。

入力画像Ｉｎ１－２における上記範囲Ａ２は、左上の点Ｐ１＿ｉｎ２（xs_in2，ys_in2）と右下の点Ｐ２＿ｉｎ２（xe_in2，ye_in2）とによって規定される方形の領域である。

制御部４は、内部出力画像Ｏｕｔ０－０における上記第１領域についての情報を、入力画像Ｉｎ１－２における領域に変換するように、例えば上記縮小率α０を用いた座標変換処理を行う。以下に処理の具体的な一例を示す。

制御部４は、内部出力画像Ｏｕｔ０－０における物体の位置（x_detect_out0，y_detect_out0）およびその大きさ（size_detect_out0）から、入力画像Ｉｎ１－２における物体の位置（x_detect_in2，y_detect_in2）及び大きさ（size_detect_in2）を以下のように求める。
x_detect_in2＝〔x_detect_out0〕／α０
y_detect_in2＝〔y_detect_out0〕／α０
size_detect_in2＝〔size_detect_out0〕／α０。

そして、図５の（ａ）中の点Ｐ１＿ｉｎ２（xs_in2、ys_in2）および点Ｐ２＿ｉｎ２（xe_in2、ye_in2）を、以下のように算出する。
xs_in2＝〔x_detect_in2〕－〔Ｄｗ２〕／２
ys_in2＝〔y_detect_in2〕－〔Ｄｈ２〕／２
xe_in2＝〔x_detect_in2〕＋〔Ｄｗ２〕／２
ye_in2＝〔y_detect_in2〕＋〔Ｄｈ２〕／２
ここで、〔Ｄｗ２〕および〔Ｄｈ２〕はそれぞれ、入力画像Ｉｎ１－２における切り出し範囲Ａ２の幅解像度および高さ解像度である。切り出し範囲の解像度の縦横比と検出回路が対応する解像度の縦横比とを一致させるために、〔Ｄｗ２〕：〔Ｄｈ２〕＝〔width_able〕：〔height_able〕とする。

上記〔Ｄｗ２〕および〔Ｄｈ２〕は、入力画像Ｉｎ１－２から、物体の像の大きさと同じか、物体の像よりも大きい範囲を切り出すため、〔Ｄｗ２〕≧〔size_detect_in2〕、〔Ｄｈ２〕≧〔size_detect_in2〕とする。

切り出し範囲Ａ２の幅解像度Ｄｗ２が、検出回路３の検出性能における幅解像度width_ableよりも大きい場合、または、切り出し範囲Ａ２の高さ解像度Ｄｈ２が検出回路３の検出性能における高さ解像度height_ableよりも大きい場合、切り出し処理後の画像に縮小処理を行うことを要する。この場合、制御部４は縮小率α２を演算により求める。縮小率α２は、例えば以下のように算出することができる。

すなわち、縮小率α２は、width_able／〔Ｄｗ２〕またはheight_able／〔Ｄｈ２〕にて求められる。幅の縮小率と高さの縮小率とが異なる場合は、小さい値となる縮小率を選択する。これは、切り出した部分を全て検出対象とするためである。また、縮小する前と後で、横縦比を同じにする。これは、横縦比が変わると、検出パターンを合わせる必要があるためである。

上記の縮小率の選択について、より具体的に説明すれば、下記（ｉ）～（ｉｉｉ）のとおりである。
（ｉ）好適な例：小さい値となる縮小率（上記の例では高さの縮小率）を選択した場合、切り出した部分を全て検出対象とすることができる。この場合、後述する図５の（ｂ）にて黒塗り部が存在する画像として示すように、内部出力画像Ｏｕｔ０－２は、検出回路３の検出性能よりも小さい解像度の画像となる。
（ｉｉ）大きい値となる縮小率（上記の例では幅の縮小率）を選択した場合、縮小後の画像は、検出回路３の検出性能よりも高さ方向の解像度が大きくなる。そのため、切り出し画像の一部について、検出回路３による検出処理が適用されず、物体の検出に支障が生じる。
（ｉｉｉ）処理後の画像の解像度の縦横比と検出回路が対応する解像度の縦横比とを一致させるように、互いに異なる幅の縮小率と高さの縮小率とを用いて縮小処理を行った場合、縮小処理後の画像における検出対象は、検出パターンと対応しなくなり得る（例えば、物体の像が歪むことになる）。そのため、検出パターンの縦横比を変更する処理を行う必要があり、検出回路３による検出処理に要する時間が増大し得る。

再び図４を参照して、切り出し画像生成回路（第２画像生成回路）１２１は、制御部４によって決定された切り出し位置（範囲Ａ２）に基づいて、入力画像Ｉｎ１－２に対して切り出し処理を実行する。そして、軽減画像生成回路１２２は、制御部４によって決定された縮小率α２に基づいて、上記切り出し処理により得られた切り出し画像について縮小処理を行い、内部出力画像Ｏｕｔ０－２（詳細検出用画像）を生成する。内部出力画像Ｏｕｔ０－２の解像度は、検出回路３が対応する解像度と同じまたはそれよりも小さい。なお、軽減画像生成回路１２２による縮小処理を行う必要が無い場合、上記切り出し画像がそのまま上記詳細検出用画像として用いられてよい。本明細書において、上記切り出し画像または上記詳細検出用画像を第２画像と称することがある。

内部出力画像Ｏｕｔ０－２は、被写体判定回路３１に入力される。被写体判定回路３１は、内部出力画像Ｏｕｔ０－２を用いて、パターンマッチング処理等を行うことにより女性の顔を検出する。判定制御回路３２は、例えば、パターンマッチング処理のパターン等を変更することにより、被写体判定回路３１を制御する。被写体判定回路３１によって特定された被写体（女性の顔）の位置、及び大きさ等の情報は情報記録回路３３に格納される。

内部出力画像Ｏｕｔ０－２についての被写体判定回路３１による検出結果に基づいて、制御部４は、入力画像Ｉｎ１－４から切り出す画像の切り出し位置、および、入力画像Ｉｎ１－４から切り出した画像を縮小して内部出力画像Ｏｕｔ０－４を生成するための縮小率α４を演算により決定する。この処理について図５の（ｂ）を参照して説明する。図５の（ｂ）は、内部出力画像Ｏｕｔ０－２に基づく物体の検出処理および詳細切り出し画像の切り出し位置を決定する処理の一例について説明するための図である。詳細切り出し画像とは、通常、前述の範囲Ａ２よりも狭い範囲Ａ４にて切り出した画像である。

図５の（ｂ）に示すように、被写体判定回路３１は、内部出力画像Ｏｕｔ０－２における女性の顔（検出対象）が存在する位置（x_detect_out2，y_detect_out2）およびその大きさ（size_detect_out2）を検出する。

内部出力画像Ｏｕｔ０－２における、検出対象が存在する領域を第２領域と称する。第２領域についての情報は、情報記録回路３３に格納される。

制御部４は、情報記録回路３３から上記第２領域についての情報を読み出し、当該情報に基づいて、入力画像Ｉｎ１－４における、上記第２領域に対応する範囲Ａ４を特定する。上記範囲Ａ４は、左上の点Ｐ１＿ｉｎ４（xs_in4，ys_in4）と右下の点Ｐ２＿ｉｎ４（xe_in4，ye_in4）とによって規定される方形の領域である。

再び図４を参照して、切り出し画像生成回路１２１は、制御部４によって決定された切り出し位置（範囲Ａ４）に基づいて、入力画像Ｉｎ１－４に対して切り出し処理を実行する。そして、軽減画像生成回路１２２は、入力画像Ｉｎ１－４に対して切り出し処理を実行した詳細切り出し画像の解像度が検出回路３の検出性能を超えていた場合、制御部４によって決定された縮小率α４に基づいて縮小処理を行い、内部出力画像Ｏｕｔ０－４（検出対象特定画像）を生成する。なお、軽減画像生成回路１２２による縮小処理を行う必要が無い場合、上記詳細切り出し画像がそのまま上記検出対象特定画像として用いられてよい。本明細書において、上記詳細切り出し画像または上記検出対象特定画像を第３画像と称することがある。

制御部４は、内部出力画像Ｏｕｔ０－２における物体（検出対象）の位置（x_detect_out2，y_detect_out2）およびその大きさ（size_detect_out2）から、入力画像Ｉｎ１－４における物体（検出対象）の位置（x_detect_in4，y_detect_in4）及び大きさ（size_detect_in4）を以下のように求める。
x_detect_in4＝〔x_detect_out2〕／α２＋xs_in2
y_detect_in4＝〔y_detect_out2〕／α２＋ys_in2
size_detect_in4＝〔size_detect_out2〕／α２。

そして、図５の（ｂ）中のＰ１＿ｉｎ４（xs_in4、ys_in4）及びＰ２＿ｉｎ４（xe_in4、ye_in4）を、以下のように算出する。
xs_in4＝〔x_detect_in4〕－〔Ｄｗ４〕／２
ys_in4＝〔y_detect_in4〕－〔Ｄｈ４〕／２
xe_in4＝〔x_detect_in4〕＋〔Ｄｗ４〕／２
ye_in4＝〔y_detect_in4〕＋〔Ｄｈ４〕／２
ここで、〔Ｄｗ４〕および〔Ｄｈ４〕はそれぞれ、入力画像Ｉｎ１－４における切り出し範囲Ａ４の幅解像度および高さ解像度である。切り出し範囲の解像度の縦横比と検出回路が対応する解像度の縦横比とを一致させるために、〔Ｄｗ４〕：〔Ｄｈ４〕＝〔width_able〕：〔height_able〕とする。

入力画像Ｉｎ１－４から、検出対象の大きさと同じか、検出対象よりも大きい範囲を切り出すため、〔Ｄｗ４〕≧〔size_detect_in4〕、〔Ｄｈ４〕≧〔size_detect_in4〕とする。

図４では図示を省略しているが、入力画像Ｉｎ１－４よりも後の処理としては、以下のように行う。検出回路３は、内部出力画像Ｏｕｔ０－４（検出対象特定画像）における物体（検出対象）の位置及び大きさを検出し、入力画像Ｉｎ１－６（図示せず）における切り出し範囲を決める。

以上のような処理を、フレーム毎に逐次行う。すなわち、内部出力画像における物体の位置及び大きさを検出し、入力画像における切り出し範囲を決めるという処理を入力映像Ｉｎ１に対して継続して行う。

そして、映像処理回路１０Ａの合成処理回路１３は、検出回路３による検出結果（すなわち逐次生成される検出対象特定画像の情報）に基づいて、入力映像Ｉｎ１から出力映像Ｏｕｔ１を生成する。具体的には、合成処理回路１３は、入力映像Ｉｎ１における検出対象の位置および大きさに基づいて、適切な映像となるように合成処理を行うことにより出力画像を生成する。映像処理回路１０Ａは、例えば、検出対象である女性の顔およびその周辺を示す映像を入力映像Ｉｎ１から抜き出すことにより出力映像Ｏｕｔ１を生成して出力する。検出対象を含む映像（画像）は、ハイライト映像（画像）、または抜粋映像（画像）と称することもできる。

なお、本実施形態では、入力画像の切り出し位置について、２フレーム前の検出結果のみを用いた例について示したが、これに限定されない。複数フレームの検出結果を用い、物体の動きを予想して、入力画像の切り出し位置を求めてもよい。

以上のように、本実施形態の映像処理装置１Ａは、画像抽出回路１２と検出回路３とが連携することにより、画像抽出回路１２にて映像の縮小および切り出しを動的に行うことができる。高解像度の入力映像Ｉｎ１において物体の像を検出する場合に、検出回路３が対応する解像度の内部出力画像を用いて検出処理を行うことができ、検出回路３による処理時間の長大化を抑制することができる。そして、合成処理回路１３にて検出対象が存在する画像を切り出して、出力映像Ｏｕｔ１を出力することができる。

また、本実施形態の映像処理装置１Ａは、始めの処理において、上記軽減画像（第１画像）に基づいて上記第１領域を特定するとともに、特定した上記第１領域に対応する範囲にて入力画像を切り出して、必要に応じて縮小処理を行うことにより詳細検出用画像（第２画像）を生成する。そして、映像処理装置１Ａは、次いで、上記詳細検出用画像に基づいて上記第２領域を特定し、特定した上記第２領域に対応する範囲にて入力画像を切り出して、必要に応じて縮小処理を行うことにより検出対象特定画像（第３画像）を生成する。映像処理装置１Ａは、その後の処理において、上記検出対象特定画像に基づいて上記第２領域を特定し、特定した上記第２領域に対応する範囲にて入力画像を切り出して、必要に応じて縮小処理を行うことにより検出対象特定画像を生成する、という一連の処理を継続して行う。これにより、入力映像における検出対象の位置および大きさの変化に追随して、検出対象が存在する上記検出対象特定画像を逐次生成することができる。そのため、映像処理装置１Ａは、（ｉ）検出回路３による処理時間の長大化を抑制することができるとともに、（ｉｉ）出力映像を、入力映像の変化に対応して逐次生成することができ、かつ高精度に検出対象が存在するように生成することができる。

また、一般に、様々な場面において、高画質な映像を記録することによりデータ記録媒体の記録容量が不足し易いという問題がある。ここで、或る映像の中で重要度の低い部分については、記録することを要しない場合がある。本実施形態の映像処理装置１Ａを用いることによって、予め設定した条件に基づいて、入力映像Ｉｎ１よりも解像度を縮小した（入力映像Ｉｎ１から切り出した）出力映像Ｏｕｔ１を自動的（機械的）に生成することができる。出力映像Ｏｕｔ１は、入力映像Ｉｎ１のうち重要度の高い部分の映像とすることができる。出力映像Ｏｕｔ１をデータ記録媒体に記録することによって、重要度が比較的高い部分の映像を保存することができるとともに、入力映像Ｉｎ１をそのまま記録する場合よりも記録容量を低減することができる。

（検出処理の変形例１：１段階の切り出しによる出力映像の生成）
本実施形態における映像処理装置１Ａの一変形例では、縮小画像に対して被写体判定回路３１が検出対象（例えば女性の顔）の検出処理を行い、その検出結果に基づいて制御部４が切り出し範囲を特定することにより出力映像を生成してもよい。つまり、１段階の切り出しによって出力映像を生成してもよい。このような処理の一例について、図６を用いて説明する。図６は、入力映像Ｉｎ２から出力映像Ｏｕｔ２を生成する処理の一例について説明するための図である。

図６に示すように、入力映像Ｉｎ２が映像処理装置１Ａに入力されるとする。上述したことと同様に、軽減画像生成回路１２２は、入力映像Ｉｎ２の解像度を縮小した縮小画像（データ容量を軽減した軽減画像）を生成する。被写体判定回路３１は、該軽減画像を用いて、女性の顔ｏｂｊ１の位置および大きさを検出し、検出した情報を情報記録回路３３に格納する。

制御部４は、情報記録回路３３から情報を読み出し、上記軽減画像における検出した情報を入力映像Ｉｎ２における位置および大きさに座標変換する。そして、入力映像Ｉｎ２における女性の顔が存在する画像の切り出し位置を求める。例えば、入力映像Ｉｎ２における女性の顔の位置を（ｘｏ，ｙｏ）及び大きさをｌｏとし、切り出し部分の縦の大きさを２×ｌｏ、切り出し部分の横の大きさを２×ｌｏ×Ｗ／Ｈとすると、切り出す左上の点Ｐ１１の座標（ｘｓ１，ｙｓ１）、右下の点Ｐ１２の座標（ｘｅ１，ｙｅ１）は、以下のようになる。

ｘｓ１＝ｘｏ－ｌｏ×Ｗ／Ｈ
ｙｓ１＝ｙｏ－ｌｏ
ｘｅ１＝ｘｏ＋ｌｏ×Ｗ／Ｈ
ｙｅ１＝ｙｏ＋ｌｏ。

ここでは、検出した女性の顔の大きさの２倍の範囲を切り出す例について説明したが、制御部４は、入力映像Ｉｎ２における状況またはユーザの好み等に応じて切り出し範囲を変えるように画像抽出回路１２を制御してもよい。

合成処理回路１３は、入力映像Ｉｎ２において左上の点Ｐ１１と右下の点Ｐ１２とによって規定される方形の領域を入力映像Ｉｎ２から切り出すことにより出力映像Ｏｕｔ２を生成して、出力する。

（映像処理方法）
以上に説明した映像処理装置１Ａが実行する映像処理方法について、図７を用いて以下に説明する。図７の（ａ）は、初期化処理のフローチャートである。図７の（ｂ）は、検出準備を開始する処理のフローチャートである。図７の（ｃ）は、検出結果の情報を読み出す処理のフローチャートである。図７の（ｄ）は、映像出力処理のフローチャートである。

図７の（ａ）～（ｄ）に示すように、制御部４は、先ず、映像処理回路１０Ａおよび検出回路３を初期化する処理を行う（ステップ１；以下Ｓ１のように略記する）。

次いで、制御部４は、画像抽出回路１２の設定を行う（Ｓ６）。例えば、入力映像の全体を探索しようとする場合、映像の全体が探索対象となるように入力映像を縮小する。この場合、制御部４は、画像抽出回路１２に縮小率を設定する。

また、制御部４は、入力映像から任意の部分を切り出すように画像抽出回路１２を設定して、切り出した画像について検出回路３が探索処理をおこなうようにしてもよい。このような処理の説明について、詳しくは実施形態２として後述する。この場合、制御部４は画像抽出回路１２に、切り出す部分の左上の座標及び右下の座標を設定する。そして、制御部４は、検出開始の命令を検出回路３に送信する（Ｓ７）。

その後、検出回路３による検出処理が完了すると、制御部４は検出回路３から検出対象の情報として、検出対象物の数、並びに検出対象物のそれぞれの位置（座標）及び大きさを読み出す（Ｓ１１）。なお、検出回路３による検出処理が完了したか否かについて、検出回路３から制御部４へ検出完了の割り込み信号を送信することにより判定するようになっていてもよく、または、制御部４が定期的に検出回路３の状態を確認することにより判定してもよい。

次いで、制御部４は、合成処理回路１３に対して、出力映像を生成するための拡大率、縮小率、表示座標等を設定する（Ｓ１６）。合成処理回路１３は、設定された値に基づいて、出力映像を生成する。

換言すれば、映像処理装置１Ａが実行する映像処理方法は、概略的には以下のステップを含む。
（ｉ）画像抽出回路１２は、入力映像を構成する入力画像を用いて第１の内部出力画像（軽減画像）を生成する。
（ｉｉ）検出回路３は、軽減画像における検出対象を含む物体の像が存在する第１領域を検出する。
（ｉｉｉ）制御部４は、検出結果に基づいて、上記第１領域を入力画像における領域に換算し、画像を切り出す位置（および縮小率）を算出する。
（ｉｖ）切り出し画像生成回路１２１は、算出結果に基づいて切り出し画像を生成し、軽減画像生成回路１２２は、該切り出し画像について必要に応じて縮小処理を行い、第２の内部出力画像（詳細検出用画像）を生成する。
（ｖ）検出回路３は、第２の内部出力画像を用いて検出処理を行い、検出対象が存在する第２領域を検出する。
（ｖｉ）制御部４は、検出結果に基づいて、上記第２領域を入力画像における領域に換算し、画像を切り出す位置（および縮小率）を算出する。

その後、画像抽出回路１２、検出回路３、および制御部４は上記（ｉｖ）～（ｖｉ）の処理を繰り返すとともに、合成処理回路１３は、検出回路３による検出結果に基づいて合成処理を行い、出力画像を生成する。これにより、映像処理装置１Ａは、入力映像から出力映像を生成する。

なお、画像抽出回路１２はフレームメモリ２ｂを用いて、合成処理回路１３はフレームメモリ２ａを用いて上記のような処理を行っている。画像抽出回路１２が行う処理（拡大処理、縮小処理、切り出し処理）は、合成処理回路１３も行うことが可能であり、合成処理回路１３は画像抽出回路１２の機能を包含している。そのため、画像抽出回路１２および合成処理回路１３の具体的な回路構成例は同じであってもよい。このようなフレームメモリを用いた処理は公知の技術であるので、詳細な説明については省略するが、概略的には以下に示す説明を参照して理解することができる。

（検出処理の変形例２：入力映像が複数の場合）
本実施形態における映像処理装置１Ａの一変形例では、複数の入力映像が入力され、それらの入力映像から１つの出力映像を生成する処理を行ってもよい。このような処理を行う場合の一例について、図８および図９を用いて説明する。図８は、映像処理装置１Ａの一変形例における画像抽出回路１２が行う処理について説明するための図である。図９の（ａ）は、一変形例の映像処理装置１Ａ１による映像処理の一例について説明するための図である。図９の（ｂ）は、映像処理装置１Ａ１から出力される出力映像の一例を示す図である。

図８に示すように、一例では、本開示の一態様における映像処理装置に４つ（４種）の入力映像Ｉｎ１０～Ｉｎ１３が入力される。この場合、合成処理回路１３に４つの入力映像Ｉｎ１０～Ｉｎ１３が入力される。この場合、図８に示すように、合成処理回路１３は、縮小処理部１１１ａ～１１１ｄ、ライトバッファ１１２ａ～１１２ｄ、アービター１１３・１１４、リードバッファ１１５ａ～１１５ｄ、および拡大処理部１１６ａ～１１６ｄを備えている。

合成処理回路１３は、複数種の入力映像に対して、拡大処理、縮小処理、切り出し処理、及び合成処理を行うことができる。合成処理回路１３は、縮小処理部１１１ａ～１１１ｄを用いて映像の縮小処理を行うとともに、アービター１１３を用いて複数の非同期の入力映像の同期タイミングを合わせる処理を行って、フレームメモリ２へ書き込み（ライト）する。なお、複数の入力映像は、縮小処理を行うことなく同期化されてフレームメモリ２に格納されてもよい。

そして、合成処理回路１３は、フレームメモリ２から映像を読み出し（リード）、アービター１１４を用いて映像の同期化を行う。また、合成処理回路１３は、拡大処理部１１６ａ～１１６ｄによって、フレームメモリ２から読み出した複数の映像について、拡大処理を行うことができる。そして、合成処理回路１３は、検出回路３による検出結果に基づいて、拡大処理、切り出し処理等を行った後、複数の映像を重ね合わせる処理を行うことによって出力映像Ｏｕｔ１０を生成して出力する。

合成処理回路１３によって切り出し画像を生成する方法について以下に説明する。ライトバッファ１１２ａ～１１２ｄは、入力映像のうち必要な部分をフレームメモリ２に書き込む。また、リードバッファ１１５ａ～１１５ｄは、フレームメモリ２に格納されたデータ（映像）の一部（切り出す部分）をフレームメモリ２から読み出す。合成処理回路１３は、このような処理により、切り出し画像を生成することができる。

映像の縮小率または拡大率を変更する場合、制御部４は、縮小処理部１１１ａ～１１１ｄまたは拡大処理部１１６ａ～１１６ｄのパラメータを設定（変更）する。映像の切り出し位置を変更する場合、制御部４は、ライトバッファ１１２ａ～１１２ｄ及びリードバッファ１１５ａ～１１５ｄのパラメータを設定（変更）する。

なお、合成処理回路１３は、フレームメモリ２から読み出した映像に処理を行わずに重ね合わせ処理を行ってもよい。また、合成処理回路１３は、複数の入力映像から出力したい映像を選択し、出力映像として複数画面の合成映像を生成してもよい。例えば、検出回路３による処理の対象となった入力映像と、それ以外の入力映像とを合成して出力画像を生成してもよい。

図９の（ａ）に示すように、例えば、高解像度映像である２つの入力映像Ｉｎ１６および入力映像Ｉｎ１７、並びにＯｎ Ｓｃｒｅｅｎ Ｄｉｓｐａｙ（ＯＳＤ）が映像処理装置１Ａ１に入力されるとする。なお、ＯＳＤは映像処理装置１Ａ１の外部から入力されなくともよく、例えば、映像処理装置１Ａ１内に記録されたＯＳＤのデータを読み出して用いてもよい。

この例では、入力映像Ｉｎ１６は画像抽出回路１２及び合成処理回路１３に入力される。画像抽出回路１２および検出回路３は、入力映像Ｉｎ１６を構成する入力画像について前述したような処理を行う。検出処理により、入力映像Ｉｎ１６に存在する人物の顔を検出したとすると、検出した顔の位置及び大きさ等が情報記録回路３３に格納される。

制御部４は、情報記録回路３３の情報を使用して、入力映像Ｉｎ１６における切り出し位置を合成処理回路１３に設定する。一方、入力映像Ｉｎ１７については、検出処理を行わないため、物体の切り出し等の処理を行わずに拡大処理または縮小処理を行うように合成処理回路１３に設定する。また、制御部４は、入力映像Ｉｎ１６における処理後の映像と、入力映像Ｉｎ１７における処理後の映像と、ＯＳＤとを合成するために、拡大率および表示位置等を設定する。

そして、合成処理回路１３は、入力映像Ｉｎ１６に基づいて生成した出力映像Ｏｕｔ１６、入力映像Ｉｎ１７に基づいて生成した出力映像Ｏｕｔ１７、およびＯＳＤを合成して、図９の（ｂ）に示すような出力映像Ｏｕｔ１８を生成する。

なお、ＯＳＤには、例えば、入力映像Ｉｎ１６および入力映像Ｉｎ１７に基づいた画像であることが分かるように、入力映像Ｉｎ１６に対応する「Ｉｎｐｕｔ１」、入力映像Ｉｎ１７に対応する「Ｉｎｐｕｔ２」といった文字が表示される。また、入力映像について切り出し処理を行っているとともに拡大処理を行っていることを明示するように「ｚｏｏｍ」等の文字を表示させてもよい。

（その他の変形例）
（ａ）本開示の一変形例における映像処理装置では、合成処理回路１３に画像抽出回路１２が含まれる構成であってもよい。これは、上述の図８を用いて説明したように、合成処理回路１３が有する機能は、画像抽出回路１２の機能を包含するためである。合成処理回路１３の内部構成を拡張することにより、合成処理回路１３の切り出し機能及び縮小機能を使用して、検出回路３への内部出力画像を生成することができる。例えば、図８に示した例において、リードバッファおよび拡大処理部をさらに１つ多く備え、該拡大処理部から出力した画像を検出回路３に送信すればよい。

（ｂ）また、一変形例では、上記軽減画像は、切り出し画像生成回路１２１を用いて生成されてもよい。例えば、入力画像における物体の像の位置が予め概ね特定されている場合、画像抽出回路１２は、切り出し画像生成回路１２１を用いて入力画像を切り出すことによりデータ容量を軽減した画像を上記軽減画像として用いることができる。また、画像抽出回路１２は、切り出し画像生成回路１２１および軽減画像生成回路１２２の両方を用いて上記軽減画像を生成してもよい。

〔実施形態２〕
本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

前記実施形態１の映像処理装置１Ａでは、軽減画像生成回路１２２が入力画像について縮小処理を行うことにより、解像度を縮小した縮小画像（軽減画像）を生成していた。これに対して、本実施形態における映像処理装置１Ｂでは、映像処理装置１Ａと同様の構成において、軽減画像生成回路１２２が入力画像を分割することによって解像度を縮小した縮小画像（第１画像）を生成する点が異なっている。

本実施形態における映像処理装置１Ｂについて、図１０および図１１を用いて以下に説明する。図１０の（ａ）は本実施形態における映像処理装置１Ｂに入力される入力映像の一例を示す図であり、（ｂ）は上記入力映像を分割した様子を示す図である。図１１は、本実施形態における映像処理方法について説明するフローチャートである。

図１０の（ａ）および（ｂ）に示すように、本実施形態における映像処理装置１Ｂは、高解像度映像である入力映像Ｉｎ２１が入力された場合、軽減画像生成回路１２２によって入力映像Ｉｎ２１を均等に分割することにより縮小映像を生成し、該縮小映像を検出回路３に出力する。入力映像Ｉｎ２１を４分割することにより、入力映像Ｉｎ２１ａ～２１ｄが生成する。入力映像Ｉｎ２１ａ～２１ｄをそれぞれ検出回路３に複数回に分けて出力することにより、入力映像Ｉｎ２１の全てについて、検出対象とすることができる。

なお、軽減画像生成回路１２２は、入力映像Ｉｎ２１の一部を切り出した縮小映像を検出回路３に出力するようになっていてもよい。例えば、予め入力映像Ｉｎ２１における物体の像が存在する可能性が高い領域を把握している場合、そのような領域を切り出して縮小映像を生成する。この場合、入力映像Ｉｎ２１の全てについて検出対象とすることがないため、処理時間を短縮化し得る。

ここで、入力映像Ｉｎ２１を分割して得られる分割画像を用いて検出回路３が処理を行うためには、分割画像の解像度が、検出回路３が対応する解像度以下となることを要する。

以下に、入力映像Ｉｎ２１を分割して検出回路３へ出力する場合の計算方法について説明する。

検出回路３が対応する解像度を、width_able×height_ableとし、入力映像Ｉｎ２１の解像度を、width_in×height_inとする。そして、軽減画像生成回路１２２が切り出す範囲を［（ｓｘｉ，ｓｙｊ）～（ｅｘｉ，ｅｙｊ）］とする（0≦i、0≦jの整数）。分割画像のそれぞれについて、範囲における左上の点（ｓｘｉ，ｓｙｊ）と右下の点（ｅｘｉ，ｅｙｊ）とを求めればよい。

ｓｘ０＝０、ｓｙ０＝０、ｅｘ０＝width_able、ｅｙ０＝height_ableであり、
ｓｘｉ＝width_able×ｉ、ｓｙｊ＝height_able×ｊ、
ｅｘｉ＝ｓｘｉ＋width_able、ｅｙｊ＝ｓｙｊ＋height_able、
ただし、ｉ＜（width_in／width_able）、ｊ＜（height_in／height_able）となる。

そして、ｉの最大値をｉｍａｘ、ｊの最大値をｊｍａｘとすると、
ｅｘｉｍａｘ=width_in、ｅｙｊｍａｘ=height_inとなる。

本実施形態では、
入力映像Ｉｎ２１ａ：［（ｓｘ０，ｓｙ０）～（ｅｘ０，ｅｙ０）］
入力映像Ｉｎ２１ｂ：［（ｓｘ１，ｓｙ０）～（ｅｘ１，ｅｙ０）］
入力映像Ｉｎ２１ｃ：［（ｓｘ０，ｓｙ１）～（ｅｘ０，ｅｙ１）］
入力映像Ｉｎ２１ｄ：［（ｓｘ１，ｓｙ１）～（ｅｘ１，ｅｙ１）］である。

例えば、（width_able、height_able）＝（１９２０，１０８０）、
（width_in、height_in）＝（３８４０、２１６０）とすると、
入力映像Ｉｎ２１ａ：［（０，０）～（１９２０，１０８０）］
入力映像Ｉｎ２１ｂ：［（１９２０，０）～（３８４０，１０８０）］
入力映像Ｉｎ２１ｃ：［（０，１０８０）～（１９２０，３８４０）］
入力映像Ｉｎ２１ｄ：［（１９２０，１０８０）～（３８４０，２１６０）］
となる。

以上のような映像処理を行う場合、前記実施形態１の映像処理方法における検出準備を開始する処理（図７の（ｂ）参照）の代わりに、以下に示すような処理を行う。

図１１に示すように、本実施形態における映像処理方法では、先ず、制御部４は、映像処理回路１０Ａおよび検出回路３を初期化する処理を行う（図７の（ａ）参照）とともに、制御部４は、映像処理における状態（ＳＴＡＴＵＳ）を初期（ＳＴＡＲＴ）に設定する（Ｓ２１）。

そして、制御部４は、検出回路３による検出準備を開始する。制御部４は、状態が初期であることから、軽減画像生成回路１２２によって入力映像Ｉｎ２１を４分の１に分割した左上の画像（入力映像Ｉｎ２１ａ）を抽出するように画像抽出回路１２を設定するとともに、映像処理における状態を右上抽出（ＴＯＰ＿ＲＩＧＨＴ）に設定する（Ｓ２２）。

次いで、検出回路３による検出処理が完了すると、制御部４は、検出回路３からの情報の読み出しを開始する（Ｓ２３）。そして、制御部４は、検出回路３による次の検出準備を開始する。制御部４は、状態が右上抽出であることから、入力映像Ｉｎ２１を４分の１に分割した右上の画像（入力映像Ｉｎ２１ｂ）を抽出するように画像抽出回路１２を設定するとともに、映像処理における状態を左下抽出（ＢＯＴＴＯＭ＿ＬＥＦＴ）に設定する（Ｓ２４）。

次いで、検出回路３による検出処理が完了すると、制御部４は、検出回路３からの情報の読み出しを開始する（Ｓ２５）。そして、制御部４は、検出回路３による次の検出準備を開始する。制御部４は、状態が左下抽出であることから、入力映像Ｉｎ２１を４分の１に分割した左下の画像（入力映像Ｉｎ２１ｃ）を抽出するように画像抽出回路１２を設定するとともに、映像処理における状態を右下抽出（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）に設定する（Ｓ２６）。

次いで、検出回路３による検出処理が完了すると、制御部４は、検出回路３からの情報の読み出しを開始する（Ｓ２７）。そして、制御部４は、検出回路３による次の検出準備を開始する。制御部４は、状態が右下抽出であることから、入力映像Ｉｎ２１を４分の１に分割した右下の画像（入力映像Ｉｎ２１ｄ）を抽出するように画像抽出回路１２を設定するとともに、映像処理における状態を終了（ＥＮＤ）に設定する（Ｓ２８）。

次いで、検出回路３による検出処理が完了すると、制御部４は、検出回路３からの情報の読み出しを開始する（Ｓ２９）。そして、制御部４は、状態が終了であることから、制御を終了する（Ｓ３０）。

このように、検出回路３は、複数の分割画像（入力映像Ｉｎ２１ａ～Ｉｎ２１ｄ）のうち、物体の像が存在する分割画像を特定する。そして、検出回路３は、特定された分割画像を用いて、検出対象が存在する領域を検出する処理を行う。

〔実施形態３〕
本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

前記実施形態２の映像処理装置１Ｂでは、入力画像を均等に分割することによって解像度を縮小した縮小画像を生成していた。この場合、入力映像における分割の境界付近の物体の像を検出し難いことがある。そのため、本実施形態の映像処理装置１Ｃでは、入力画像を分割する場合に、重畳領域（のり代）を設けて分割するようになっている点が異なっている。

本実施形態における映像処理装置１Ｃについて、図１２を用いて以下に説明する。図１２は本実施形態における映像処理装置１Ｃに入力される入力映像を分割した様子を示す図である。映像処理装置１Ｃに、前記実施形態２と同様の入力映像Ｉｎ２１が入力されることとし、前記実施形態２にて説明したことと同様のことについては、説明を繰り返さない。

横方向の重畳領域長さをwidth_overlap、縦方向の重畳領域長さをheight_overlapとする。軽減画像生成回路１２２が切り出す範囲を［（ｓｘｉ，ｓｙｊ）～（ｅｘｉ，ｅｙｊ）］とする（0≦i、0≦jの整数）。

ｓｘ０＝０、ｓｙ０＝０、ｅｘ０＝width_able、ｅｙ０＝height_ableであり、
ｓｘｉ＝（width_able－width_overlap）×ｉ、
ｓｙｊ＝（height_able－height_overlap）×ｊ、
ｅｘｉ＝ｓｘｉ＋width_able、ｅｙｊ＝ｓｙｊ＋height_able
ただし、i＜width_in／（width_able－width_overlap）、
j＜height_in／（height_able－height_overlap）となる。

ｉの最大値をｉｍａｘ、ｊの最大値をｊｍａｘとすると、
ｅｘｉｍａｘ＝width_in、ｅｙｊｍａｘ＝height_inとなる。

例えば、
（width_able，height_able）＝（１９２０，１０８０）、
（width_in，height_in）＝（３８４０，２１６０）、
width_overlap＝４８０、height_overlap＝２７０とすると、分割画像は、以下のとおりとなる。
入力映像Ｉｎ２００（i=0、j=0）：［（０，０）～（１９２０，１０８０）］
入力映像Ｉｎ２１０（i=1、j=0）：［（１４４０，０）～（３３６０，１０８０）］
入力映像Ｉｎ２２０（i=2、j=0）：［（２８８０，０）～（３８４０，１０８０）］
入力映像Ｉｎ２０１（i=0、j=1）：［（０，８１０）～（１９２０，１８９０）］
入力映像Ｉｎ２１１（i=1、j=1）：［（１４４０，８１０）～（３３６０，１８９０）］
入力映像Ｉｎ２２１（i=2、j=1）：［（２８８０，８１０）～（３８４０，１８９０）］
入力映像Ｉｎ２０２（i=0、j=2）：［（０，１６２０）～（１９２０，２１６０）］
入力映像Ｉｎ２１２（i=1、j=2）：［（１４４０，１６２０）～（３３６０，２１６０）］
入力映像Ｉｎ２２２（i=2、j=2）：［（２８８０，１６２０）～（３８４０，２１６０）］。

本実施形態では、入力映像Ｉｎ２００～入力映像Ｉｎ２２２のそれぞれについて、重畳領域ＯＡが設けられている。換言すれば、複数の分割画像は、それぞれが隣接する分割画像の一部に重畳する。これにより、各映像から物体の像を検出する処理をより高い精度にて行うことができる。

〔実施形態４〕
本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図１３の（ａ）は、本実施形態における映像処理装置１Ｄの概要を示すブロック図である。図１３の（ｂ）は、映像処理装置１Ｄに入力される４系統の入力映像Ｉｎ３０～Ｉｎ３３の一例を示す図である。図１３の（ｃ）は、映像処理装置１Ｄから出力される出力映像Ｏｕｔ３０の一例を示す図である。

一般に、８Ｋ×４Ｋ等の高解像度映像は、複数の入力系統に分かれて入力されることがある。本実施形態では、８Ｋ×４Ｋ映像を、４系統の４Ｋ×２Ｋ映像で入力した場合について説明する。

図１３の（ａ）に示すように、本実施形態における映像処理装置１Ｄは、複数の入力映像から１つの映像を選択するための映像選択回路６を備えている点が前記実施形態１～３と異なっている。また、映像処理装置１Ｄは、映像処理回路１０Ｄの外部に画像抽出回路１２を備えている。なお、画像抽出回路１２は映像処理回路１０Ｄの内部に設けられていてもよい。また、映像選択回路６は、映像処理回路１０Ｄの内部に設けられていてもよい。

本実施形態では、映像処理装置１Ｄに４系統の入力映像Ｉｎ３０～Ｉｎ３３（図１３の（ｂ））が入力され、１つの出力映像Ｏｕｔ３０（図１３の（ｃ））が出力される。

映像選択回路６は、検出対象とする映像を選択し、選択した映像を画像抽出回路１２に出力する。制御部４は、４系統の入力映像Ｉｎ３０～Ｉｎ３３を順次、画像抽出回路１２に出力するように映像選択回路６を制御する。

本実施形態の映像処理装置１Ｄによれば、高解像度映像が複数の入力系統に分かれた映像が入力された場合においても、物体の像の検出処理を行うことができる。そして、出力映像Ｏｕｔ３０を出力することができる。

〔実施形態５〕
本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図１４は、本実施形態における映像処理装置１Ｅの概要を示すブロック図である。図１５の（ａ）は、映像処理装置１Ｄに入力される入力映像Ｉｎ４０の一例を示す図である。図１５の（ｂ）は、映像処理装置１Ｅから出力される出力映像Ｏｕｔ４０の一例を示す図である。図１５の（ｃ）は、映像処理装置１Ｅから出力される出力映像Ｏｕｔ４１の一例を示す図である。図１５の（ｄ）は、映像処理装置１Ｅから出力される出力映像Ｏｕｔ４０－１の一例を示す図である。

入力映像において検出対象が複数存在する場合、どの検出対象物について切り出して出力映像を生成するかということが問題となる。そこで、本実施形態における映像処理装置１Ｅでは、検出対象物のリストを画面に表示し、リスト中の対象物を選択可能となっている。

図１４に示すように、本実施形態における映像処理装置１Ｅは、制御部４と通信可能に接続された検出対象選択部７を備えている。検出対象選択部７は、例えば、リモコンであってよく、その他の選択ボタンのついた装置であってよい。

図１５の（ａ）に示すような入力映像Ｉｎ４０が入力された場合、入力映像Ｉｎ４０には男性と女性とが存在する。ここで、ユーザは、図１５の（ｂ）に示すような出力映像Ｏｕｔ４０を期待しているとする。

本実施形態における映像処理装置１Ｅは、図１５の（ｃ）に示すような出力映像Ｏｕｔ４１を生成し、ユーザに提示する。出力映像Ｏｕｔ４１は、検出対象をリスト表示した画像である。入力映像Ｉｎ４０において、検出対象となる候補は図中Ａ及びＢの２つである。

例えば、ユーザが検出対象Ｂを表示したい場合、ユーザは、検出対象選択部７を用いて検出対象Ｂを選択することができる。検出対象選択部７は、ユーザが選択した検出対象Ｂの情報を、制御部４に送信する。制御部４は、出力映像Ｏｕｔ４０として検出対象Ｂを切り出して表示するように、合成処理回路１３を制御する。

また、本実施形態における映像処理装置１Ｅは、図１５の（ｄ）に示すように、出力映像Ｏｕｔ４０－１として、ユーザが期待する表示と検出対象のリストとを同時に表示するようになっていてもよい。この場合、ユーザは、リストを参照して検出対象を変更し易くすることができる。

なお、図示を省略したが、本実施形態における映像処理装置１Ｅにおいても、前述の図９に示したようなＯＳＤが出力映像に表示される。

〔実施形態６〕
本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図１６の（ａ）は、本開示の実施形態６における映像処理装置１Ｆによる映像処理の一例について説明するための図である。図１６の（ｂ）は、上記映像処理装置から出力される出力映像の一例を示す図である。

本実施形態では、１つの入力映像Ｉｎ５０とＯＳＤとが映像処理装置１Ｆに入力される。画像抽出回路１２および検出回路３は、入力映像Ｉｎ５０を構成する入力画像について、前述したような処理を行う。検出処理により、入力映像Ｉｎ５０に存在する男性の顔および女性の顔（２つの物体）を検出したとすると、男性の顔および女性の顔のそれぞれについて、検出した顔の位置及び大きさ等が情報記録回路３３に格納される。

制御部４は、情報記録回路３３の情報を使用して、男性の顔および女性の顔のそれぞれについて、入力映像Ｉｎ５０における切り出し位置を合成処理回路１３に設定する。また、制御部４は、入力映像Ｉｎ５０における処理後の映像とＯＳＤとを合成するために、拡大率および表示位置等を設定する。

そして、合成処理回路１３は、入力映像Ｉｎ５０における女性の顔に基づいて生成した出力映像Ｏｕｔ５１、および、入力映像Ｉｎ５０における弾性の顔に基づいて生成した出力映像Ｏｕｔ５２、およびＯＳＤを合成して、図１６の（ｂ）に示すような出力映像Ｏｕｔ５０を生成する。

これにより、入力映像に複数の検出対象が存在する場合であっても、複数の検出対象のそれぞれについて、切り出しおよび拡大処理を行った複数の画像を生成し、生成した複数画像を合成した合成画像を出力することができる。そのため、入力映像において重要な映像が複数箇所含まれている場合であっても、それらの重要な映像を抽出した出力映像を生成して出力することができる。

〔実施形態７〕
本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

本実施形態における映像処理装置１Ｇの適用例について、図１７を用いて以下に説明する。映像処理装置１Ｇは、前述した実施形態１～５における映像処理装置１Ａ～１Ｅのいずれであっても構わない。図１７の（ａ）は、映像処理装置１Ｇがカメラ５１および録画装置５２と接続された場合、（ｂ）は映像処理装置１Ｇが再生装置５３および録画装置５２と接続された場合、（ｃ）は映像処理装置１Ｇが入力映像を処理して表示装置５４に出力映像を出力する場合、についてそれぞれ示している。

例えば、高解像度なカメラ５１の映像を録画する場合、録画メディアの容量が問題となり得る。図１７の（ａ）に示すように、映像処理装置１Ｇは、カメラ５１にて撮像した入力映像のうち、必要な撮影物体を切り出して録画装置５２に録画することができる。これにより、データ量を減らすことが可能となり、録画メディアの容量の問題が発生することを低減することができる。映像処理装置１Ｇは、例えば、業務用カメラ、民生用カメラ、監視カメラ等に接続して使用することが考えられる。

また、図１７の（ｂ）に示すように、映像処理装置１Ｇは、映像の編集作業において、高解像度で記録された映像から必要な物体を切り出して録画することができる。映像処理装置１Ｇは、例えば、ブルーレイディスクレコーダ等に接続して使用することが考えられる。

そして、図１７の（ｃ）に示すように、映像処理装置１Ｇは、高解像度な入力映像において、視聴者が興味を持つ部分を切り出して、表示することができる。映像処理装置１Ｇは、例えばテレビ等に内蔵して使用することが考えられる。

なお、図１７の（ｃ）に示す例において、表示装置５４が表示部となっていてもよい。映像処理装置１Ｇと表示部とを備える表示装置も本開示の範疇に含まれる。

〔ソフトウェアによる実現例〕
映像処理装置１Ａ～１Ｇの制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、映像処理装置１Ａ～１Ｇは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１Ａ、１Ａ１、１Ｂ、１Ｃ、１Ｄ、１Ｅ、１Ｆ、１Ｇ 映像処理装置
３ 検出回路
４ 制御部
６ 映像選択回路
７ 検出対象選択部
１０Ａ、１０Ｄ、１０Ｅ 映像処理回路
１２ 画像抽出回路
１３ 合成処理回路
１２１ 切り出し画像生成回路（第２画像生成回路）
１２２ 軽減画像生成回路（第１画像生成回路）

Claims (9)

1. 検出回路の検出性能よりも高い解像度を有する入力映像における検出対象を検出する映像処理装置であって、
   前記入力映像は、複数の入力画像から構成されており、
   前記検出対象を含む物体の像を検出する検出回路と、
   前記入力画像のデータ容量が軽減された第１画像を生成する第１画像生成回路と、を備え、
   前記検出回路は、前記第１画像を用いて、前記物体の像が存在する第１領域を検出することを特徴とする、映像処理装置。
2. 前記第１領域の検出結果に基づいて、前記入力画像より前記第１領域を含む画像を切り出して第２画像を生成する第２画像生成回路をさらに備え、
   前記検出回路は、前記第２画像を用いて、前記検出対象が存在する第２領域を検出することを特徴とする、請求項１に記載の映像処理装置。
3. 前記入力映像は、複数存在し、
   前記検出回路による処理の対象となった入力映像と、それ以外の入力映像とを合成して出力画像を生成する合成処理回路をさらに備えることを特徴とする、請求項２に記載の映像処理装置。
4. 前記検出回路の検出結果に基づいて、前記第２画像の位置と、前記出力画像を生成する処理と、を制御する制御部を備えることを特徴とする、請求項３に記載の映像処理装置。
5. 前記第１画像生成回路は、前記入力画像を分割することにより、前記第１画像として複数の分割画像を生成し、
   前記検出回路は、前記分割画像を用いて前記第１領域を検出することを特徴とする、請求項１に記載の映像処理装置。
6. 複数の前記分割画像は、それぞれが隣接する分割画像の一部に重畳することを特徴とする、請求項５に記載の映像処理装置。
7. 前記検出回路は、複数の前記分割画像のうち、前記物体の像が存在する分割画像を特定し、特定された前記分割画像を用いて検出対象が存在する領域を検出することを特徴とする、請求項５又は６に記載の映像処理装置。
8. 請求項１から７のいずれか一項に記載の映像処理装置と、表示部とを備えることを特徴とする、表示装置。
9. 検出回路の検出性能よりも高い解像度を有する入力映像における検出対象を検出する映像処理方法であって、
   前記入力映像を構成する入力画像のデータ容量が軽減された第１画像を生成し、
   前記検出回路を用いて、前記第１画像における前記検出対象を含む物体の像が存在する第１領域を検出し、
   前記第１領域の検出結果に基づいて、前記第１領域を含む画像を前記入力画像から切り出して第２画像を生成し、
   前記第２画像を用いて、前記検出対象が存在する第２領域を検出することを特徴とする映像処理方法。

Images