JP2019149721A

JP2019149721A - 動画像符号化装置、動画像符号化装置の制御方法及びプログラム

Info

Publication number: JP2019149721A
Application number: JP2018033676A
Authority: JP
Inventors: 翔悟山崎; Shogo Yamazaki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-02-27
Filing date: 2018-02-27
Publication date: 2019-09-05
Also published as: US20190268606A1

Abstract

【課題】着目領域の誤検出を減らして、効率よくビットレートを削減する技術を提供する。【解決手段】動画像符号化装置であって、動画像から第１のサイズのブロック単位で第１の動き情報を検出する第１の検出部と、第１の動き情報に基づいて動画像から着目領域を判定する判定部と、着目領域であると判定されたブロックの量子化値を、着目領域ではないと判定されたブロックの量子化値よりも低い値に設定するように制御する制御部と、第１の動き情報に基づいて、動画像から第１のサイズよりも小さい第２のサイズのブロック単位で第２の動き情報を検出する第２の検出部と、第２の動き情報と、設定された量子化値とに基づいて、動画像を圧縮符号化する符号化部とを備える。【選択図】図２

Description

本発明は、動画像符号化装置、動画像符号化装置の制御方法及びプログラムに関し、特に、動画像内の着目すべき領域である着目領域の画質を相対的に向上させ、その他の領域の符号量を抑える技術に関する。

動画像の伝送や蓄積再生を行うために、動画像信号の符号化技術が用いられる。そのような動画像の符号化技術としてはＩＳＯ／ＩＥＣＩｎｔｅｒｎａｔｉｏｎａｌＳｔａｎｄａｒｄ１４４９６−２（ＭＰＥＧ‐４Ｖｉｓｕａｌ）などの国際標準化符号化方式が知られている。また、他の国際標準符号化方式としてＩＴＵ−ＴとＩＳＯ／ＩＥＣによる、Ｈ．２６４や、その後継規格であるＨ．２６５等が知られている。本明細書においては、ＩＴＵ−ＴＲｅｃ．Ｈ．２６４ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ｜ＩＳＯ／ＩＥＣＩｎｔｅｒｎａｔｉｏｎａｌＳｔａｎｄａｒｄ１４４９６−１０（ＭＰＥＧ−４ＡＶＣ）を単にＨ．２６４と呼ぶ。また、Ｈ．２６５（ＩＳＯ／ＩＥＣ２３００８―２ＨＥＶＣ）を単にＨ．２６５と呼ぶ。これらの技術はビデオカメラやレコーダ等の分野にも用いられており、特に近年では監視用ビデオカメラ（以下、監視カメラと呼ぶ）への適用が積極的に行われている。監視カメラ用途においては、長時間の録画を行う必要性から比較的低ビットレートで符号化して符号化データのサイズを抑えるケースが多い。しかし、低ビットレートで符号化することにより多くの情報が失われて画質が劣化するために、人物の顔の特定、自動車のナンバープレートの特定等本来の機能が損なわれることがある。そこでフレーム全体を一様には符号化せず、着目領域は画質を落とさないように符号化し、非着目領域は符号量を抑えるように符号化する技術が一般的に用いられている。例えば、動いている物体や人物など等着目すべき領域を着目領域として検出し、フレームを着目領域と非着目領域とに分けている。

特許文献１では、本来動画像の圧縮符号化に用いられる動きベクトルの発生に基づいて入力動画像の各ブロックが主要部分であるか否かを判定し、主要部分の画質を精細にするように圧縮率を制御する技術が開示されている。これにより、例えば監視カメラの動画像において人物の顔や動きを精細にとらえつつ、長時間録画のために全体を低ビットレートに記録することを可能にしている。

特開平６―３０４０２号公報

しかしながら、従来技術では、符号化に使われる動きベクトルは実際の動き情報と必ずしも相関性があるわけではなく、センサノイズや揺らぎなど重要ではない画素の動きも着目すべき動きとして判定してしまうことがある。そのため、着目領域の誤検出が増えてしまうという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、着目領域の誤検出を減らして、効率よくビットレートを削減する技術を提供することを目的とする。

上記の目的を達成する本発明に係る動画像符号化装置は、
動画像から第１のサイズのブロック単位で第１の動き情報を検出する第１の検出手段と、
前記第１の動き情報に基づいて前記動画像から着目領域を判定する判定手段と、
前記着目領域であると判定されたブロックの量子化値を、前記着目領域ではないと判定されたブロックの量子化値よりも低い値に設定するように制御する制御手段と、
前記第１の動き情報に基づいて、前記動画像から前記第１のサイズよりも小さい第２のサイズのブロック単位で第２の動き情報を検出する第２の検出手段と、
前記第２の動き情報と、前記制御手段により設定された量子化値とに基づいて、前記動画像を圧縮符号化する符号化手段と、
を備えることを特徴とする。

本発明によれば、着目領域の誤検出を減らすことで、効率よくビットレートを削減することができる。

本発明の一実施形態に係る動画像符号化装置の機能ブロック図。本発明の一実施形態に係る動画像符号化装置が実施する処理の手順を示すフローチャート。本発明の一実施形態に係る大ブロックの動き検出を行う範囲の例を示す図。本発明の一実施形態に係る大ブロックの動き検出方法と出力される動きベクトルの例を示す図。本発明の一実施形態に係る小ブロックの動き検出を行う範囲と出力される動きベクトルの例を示す図。本発明の一実施形態に係る入力動画像の例を示す図。本発明の一実施形態に係る小ブロックの動きベクトルを使った着目領域判定処理の例を示す図。本発明の一実施形態に係る大ブロックの動きベクトルを使った着目領域判定処理の例を示す図。本発明の一実施形態に係るＳＡＤを算出する際の下位ビットのマスク処理の例を示す図。本発明の一実施形態に係る動画像符号化装置のハードウェア構成の一例を示す図。

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（第１実施形態）
本実施形態では、動画像から大ブロック単位で検出された動きベクトルに基づいて、これから符号化を行う動画像中の着目領域の位置を判定することで、誤検出を抑えて着目領域を推定する例を説明する。なお、着目領域は、ROI（Region of interest ）とも呼ばれる領域であり、監視の際などに着目すべき領域である。例えば、着目領域は、映像解析を行う認識部や動体検出部によって、検出された物体に対応する領域である。また、ユーザによって任意の位置を着目領域として指定するようにしてもよい。

＜装置構成＞
図１は、本実施形態に係る動画像符号化装置の機能ブロック図である。動画像符号化装置１０はフレーム単位の入力動画像（撮像動画像）を圧縮・符号化し、Ｈ．２６５形式の符号化ストリームを出力する。なお、本実施形態では出力するストリームをＨ．２６５形式とするが、本発明はこれに限定されるものではない。例えばＨ．２６４形式やＭＰＥＧ−４形式の符号化ストリームであってもよい。動画像符号化装置１０は、符号化対象となる撮像動画像をＨ．２６５形式におけるＣｏｄｉｎｇＴｒｅｅＵｎｉｔ（以下ＣＴＵ）単位に圧縮・符号化を行う。なお、本実施形態ではＣＴＵ単位に動画像を分割するが、本発明はこれに限定されるものではなく、例えばＨ．２６４におけるマクロブロック単位に分割してもよい。また、本実施形態ではＣＴＵのサイズを６４×６４とするが、本発明はこれに限定されるものではなく、３２×３２や１６×１６であってもよい。さらに、動画像符号化装置１０は、ＣＴＵ単位に画質を調整するための画質パラメータ（量子化値）を設定することで、動画像内の非着目領域に対しては符号量を抑えるように符号化し、着目領域に対しては画質を落とさないように符号化する。量子化値とは、量子化パラメータとも呼ばれ、量子化ステップを規定するものである。一例として、量子化値とは、その値が小さいほど、量子化ステップが小さくなり、その結果、高画質となる値である。

本実施形態に係る動画像符号化装置１０は、大ブロック動き検出部１０１と、小ブロック動き検出部１０２と、符号化部１０３と、着目領域判定部１０４と、領域別画質制御部１０５とを備えている。

大ブロック動き検出部１０１は、撮像動画像においてＣＴＵ単位で動き探索を行い、１画素単位の精度の動きベクトルを算出する。本実施形態ではＣＴＵ単位に動き探索を行うが、本発明はこれに限定されるものではなく、ＣＴＵより大きなサイズで探索してもよいし、マクロブロック単位に探索してもよい。本実施形態では算出される動きベクトルを１画素単位としたが、本発明はこれに限定されるものではなく、算出される動きベクトルの単位は、１画素より小さくても１画素より大きくてもよい。１画素より小さい場合は少数精度の動きベクトルとなる。大ブロック動き検出部１０１で算出された動きベクトルは、小ブロック動き検出部１０２と着目領域判定部１０４とに出力される。

小ブロック動き検出部１０２は、大ブロック動き検出部１０１で算出された動きベクトルに基づいて、更に小さなブロック単位で動きベクトルを算出する。そして、これに基づいてＣＴＵをＨ．２６５形式におけるＰｒｅｄｉｃｔｉｏｎＵｎｉｔ（以下、ＰＵ）に分割する。小ブロック動き検出部１０２により算出された動きベクトルは符号化部１０３に出力される。

符号化部１０３は、小ブロック動き検出部１０２から出力された動きベクトルと、後述する着目領域判定部１０４から出力された量子化値とに基づいて、動き補償、量子化、エントロピー符号化を行い、Ｈ．２６５形式の符号化ストリームを出力する。

着目領域判定部１０４は、大ブロック動き検出部１０１から出力された動きベクトルに基づいて撮像動画像内で着目すべき領域を判定し、着目領域判定情報を出力する。本実施形態では、動きベクトルの大きさが０でなかった場合はそのブロックを着目領域として判定する。

領域別画質制御部１０５は、着目領域判定部１０４から出力された着目領域判定情報に基づいて、符号化するブロックが着目領域と判定された場合、当該ブロックの量子化値を、着目領域でないと判定されたブロックよりも高画質になるように設定する。また、一方、符号化するブロックが着目領域ではないと判定された場合、当該ブロックの量子化値を、着目領域であると判定されたブロックよりも低画質になるように設定する。

ここで、図１０を参照して、第１実施形態に係る動画像符号化装置のハードウェア構成の一例を説明する。動画像符号化装置１０は、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、記憶装置１００４、バス１００５を備え、入力装置１００６及び表示装置１００７と接続されている。

ＣＰＵ１００１は、本実施形態に係る動画像符号化装置１０の上述の機能ブロックによる各種動作を制御する。その制御内容は、後述するＲＯＭ１００２やＲＡＭ１００３上のプログラムによって指示される。また、ＣＰＵ１００１は、複数の計算機プログラムを並列に動作させることもできる。ＲＯＭ１００２は、ＣＰＵ１００１による制御の手順を記憶させた計算機プログラムやデータを格納している。ＲＡＭ１００３は、ＣＰＵ１００１が処理するための制御プログラムを格納するとともに、ＣＰＵ１００１が各種制御を実行する際の様々なデータの作業領域を提供する。ＲＯＭ１００２やＲＡＭ１００３などの記録媒体に格納されたプログラムコードの機能は、ＣＰＵ１００１が読み出して実行することによって実現されるが、記録媒体の種類は問われない。

記憶装置１００４は、さまざまなデータ等を記憶することができる。記憶装置１００４は、ハードディスクやフロッピーディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、当該記録媒体を駆動して情報を記録するドライブとを有する。保管された計算機プログラムやデータはキーボード等の指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ１００３上に呼び出される。

バス１００５は、各構成要素と接続されているデータバスなどであり、各構成要素間の通信を実現し、情報のやり取りを高速に実現するためのものである。入力装置１００６は、ユーザによる各種入力環境を提供する。各種入力操作環境を提供するものとして、キーボードやマウス等が考えられるが、タッチパネル、スタイラスペン等であってもよい。表示装置１００７は、ＬＥＤディスプレイなどで構成され、各種入力操作の状態やそれに応じた計算結果などをユーザに対して表示する。なお、以上述べてきた構成は一例であり、説明した構成に限定されるものでない。

＜処理＞
次に、図２のフローチャートを参照して、本実施形態に係る動画像符号化装置が実施する処理の手順を説明する。

ステップＳ２０１において、大ブロック動き検出部１０１は、ＣＴＵ単位（第１のサイズのブロック単位）で動き探索を行い、１画素単位精度（整数精度）の動き情報（第１の動きベクトル）を算出する。また、算出結果を小ブロック動き検出部１０２及び着目領域判定部１０４へ出力する。

ステップＳ２０２において、着目領域判定部１０４は、大ブロック動き検出部１０１から出力された動き情報（第１の動きベクトル）に基づいて撮像動画像内で着目すべき領域を判定する。本実施形態では、第１の動きベクトルの大きさがゼロでなかった場合、符号化するブロックを着目領域として判定し、ステップＳ２０４へ進む。一方、第１の動きベクトルの大きさがゼロである場合、符号化するブロックを非着目領域として判定し、ステップＳ２０４へ進む。但し、本発明はこれに限定されるものではない。例えば、第１の動きベクトルの大きさがあらかじめ設定された閾値を超過する場合にそのブロックを着目領域として判定してもよい。

ステップＳ２０３において、領域別画質制御部１０５は、着目領域判定部１０４により着目領域であると判定されているブロックについて、着目領域でないと判定されたブロックよりも高画質になるように量子化値を低い値に設定する。また、領域別画質制御部１０５は、設定した量子化値を符号化部１０３へ出力する。

ステップＳ２０４において、小ブロック動き検出部１０２は、大ブロック動き検出部１０１で算出された動き情報（第１の動きベクトル）に基づいて、更に小さなブロック単位（第１のサイズよりも小さい第２のサイズのブロック単位）で動き探索を行う。そして、少数精度の動き情報（第２の動きベクトル）を算出する。また、小ブロック動き検出部１０２は、算出した第２の動きベクトルを符号化部１０３へ出力する。なお、第１の動きベクトルの大きさが０である場合（Ｓ２０２；Ｙｅｓ）、符号化するブロックは非着目領域として判定されるので、量子化値の変更は行われないままステップＳ２０４の処理が実行される。

ステップＳ２０５において、符号化部１０３は、小ブロック動き検出部１０２から出力された第２の動きベクトルと、領域別画質制御部１０５から出力された量子化値とに基づいて、動き補償、量子化、エントロピー符号化を行う。そして、Ｈ．２６５形式の符号化ストリームを出力する。なお、第１の動きベクトルの大きさが０である場合（Ｓ２０２；Ｙｅｓ）、符号化するブロックは非着目領域として判定されるので、量子化値の変更は行われず、所定の量子化値が領域別画質制御部１０５から符号化部１０３へ出力されている。以上で図２の一連の処理が終了する。

なお、本実施形態では、大ブロック動き検出部１０１が整数精度の第１の動きベクトルを算出し、小ブロック動き検出部１０２が少数精度の第２の動きベクトルを算出する例を説明したが、本発明はこれに限定されない。大ブロックのサイズ（第１のサイズ）が小ブロックのサイズ（第２のサイズ）よりも大きければどのような精度の動きベクトルを算出してもよい。

＜動き検出処理＞
続いて、本実施形態における大ブロックの動き検出の処理と、小ブロックの動き検出の処理とについて詳細に説明する。図３は、ある動画像のフレームを表しており、点線で囲まれた範囲３０１が大ブロック（本実施形態ではＣＴＵ３０２）の動き検出を行う範囲である。この点線の内側にあるＣＴＵ３０２よりも更に小さなブロックは動き予測の最小単位であり（以下、小ブロック）、小ブロックの動き検出処理は小ブロック単位で行われる。本実施形態の小ブロックのサイズは８×８であるものとするが、本発明はこれに限定されるもではなく、例えば１６×１６や４×４であってもよい。

まず、大ブロックの動き検出の処理を説明する。符号化する対象のフレームのＣＴＵ３０２に類似しているブロックを、参照する他のフレームの点線で囲まれた範囲から探す。なお、本実施形態では、ＣＴＵサイズで探索を行っているが、本発明はこれに限定されるものではない。例えば、フレームの解像度や画素の空間周波数によって大ブロックのサイズを決定してもよい。この時、図４に示すようにＣＴＵ４０１を大ブロックの動き検出を行う範囲の中で移動させながら順番に画素値を比較し、ＣＴＵと同じブロックサイズ毎に絶対値誤差和を意味するＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ（ＳＡＤ）を算出する。ＳＡＤは以下の式で定義される。

Ｄｉｆｆ（ｘ、ｙ）は動画像内の画素の座標（ｘ、ｙ）における、符号化する対象のフレームの画素値と参照する他のフレームの画素値との差を示している。図中、例えばブロック４０２〜４０６について、それぞれ対応する動きベクトル４０７〜４１０が求まる。ＳＡＤが最小となるブロックの位置を特定した結果、それがブロック４０４である場合、ブロック４０４を類似ブロックとする。そして、現在のＣＴＵと類似ブロックとの座標の関係の情報が、大ブロック動き検出部１０１が出力する動きベクトル４０９（第１の動きベクトル）となる。すなわち、大ブロック動き検出部１０１は、動画像を構成する第１フレームの第１のサイズのブロックに類似する第２フレームのブロックを検出し、ブロック間の第１の動きベクトルを動き情報として検出している。

なお、本実施形態ではＳＡＤを用いて大ブロックの動きベクトルを算出する例を説明したが、本発明はこれに限定されるものではない。例えばＳＡＤに加えて動きベクトルのビット量を加味したコストを用いて動きベクトルを算出してもよい。

続いて、図５を参照して、小ブロックの動き検出処理について説明する。現在のＣＴＵ５０１において、大ブロック動き検出部１０１が出力した動きベクトル５０２に基づいて、点線の範囲５０３内（大ブロック動き検出部１０１が出力した動きベクトルが指す座標から±Ｘ画素）で、小ブロック（例えば５０４）の動き検出を行う。小ブロックの動き検出では、この点線の範囲５０３内の小ブロック単位で第２の動きベクトル（例えば動きベクトル５０４）を算出する。すなわち、大ブロック動き検出部１０１が出力した動きベクトルにより示される座標から所定範囲に対して、第１フレームにおける第１のサイズのブロックを分割した第２のサイズのブロックに類似する第２フレームのブロックを検出する。そして、ブロック間の動きベクトルを動き情報として検出する。

なお、大ブロックと同様に、フレームの解像度や画素の空間周波数によって小ブロックのサイズを決定してもよい。小ブロックの動き検出は、探索範囲の中で移動させながら順番に画素値を比較し、動きベクトル毎にＳＡＤを算出する。次に、周囲の８×８ブロックの動きベクトルと、動きベクトルのビット量、ＳＡＤを加味した上で、最小のコストとなるようにＰＵ（ＰｒｅｄｉｃｔｉｏｎＵｎｉｔ）のサイズ及びそのＰＵの動きベクトルを決定する。決定された動きベクトルは、小ブロック動き検出部１０２から出力される。なお、小ブロック動き検出部１０２から出力される動きベクトルは小数精度である。

このように、まず大ブロックで広い範囲の動き探索を行い、続いて小ブロックで狭い範囲の動き探索を行うことで、動き探索にかかる処理時間を抑制することができる。更に、処理を分割することで、パイプライン化が容易になり、スループットの向上に繋がるという効果がある。

本実施形態では、大ブロック動き検出部１０１から出力される動きベクトルを用いて着目領域を判定しているが、以下では、動きベクトルを探索する際のブロックサイズを大きくすることで着目領域の誤検出が減少する理由を説明する。

まず、小ブロックの動きベクトルに基づいて着目領域の判定を行う場合について説明する。図６の画像６０１と画像と６０２の間には時間的相関があり、上の動画像の1フレーム後に下の動画像が撮像されたものとする。画像６０１には自動車６０３が含まれ、画像６０２には自動車６０４が含まれている。

また、図７の画像７０１は図６の画像６０２に対応しており、現在符号化を行うフレームで、小ブロック７０２についてこれから符号化が行われる。

画像７０３及び画像７０１を含む動画像内の自動車は右から左へ移動しており、動きベクトルが発生するため、着目領域判定部１０４により着目領域として判定される。しかし、小ブロック７０２が属するＣＴＵでは大ブロックの動きベクトルが（０，０）であったとする。この後、小ブロックによる詳細な動き探索が行われる。画像７０３の小ブロック７０４と小ブロック７０５とが類似ブロックの候補となった場合、ＳＡＤの小さい小ブロック７０５が類似ブロックとして選ばれる（ここでは小ブロック７０４のＳＡＤは５０、小ブロック７０５のＳＡＤは２０である）。すると、小ブロックの動きベクトル７０６が発生する。動きを探索するブロックが小さいと、センサノイズの影響で画素値が変わってしまう影響を受けやすいからである。その結果、画像７０７に示す通り、得られた小ブロックの動きベクトル７０６を用いて着目領域／非着目領域７０８が判別され、本来は必要のない無駄な着目領域が多くなり、着目領域の誤検出に繋がりやすくなる。

画像７０７は、ＣＴＵ単位で量子化値を設定する例を示しており、小ブロック動きベクトルがＣＴＵ内に一つでも発生するとそのブロックを着目領域と判定している。なお、ＣＴＵ内にどの程度の割合で着目領域の小ブロックが発生したかに応じて判定を行ってもよい。

画像７０９は、小ブロックごとに着目領域の判定を行う例を示している。ＣＴＵ内の小ブロック動きベクトルの有無、ＰＵサイズに従って着目領域を判定している。画像７０７では省略したが、ＰＵ７１０に加えてＰＵ７１１−７１３のように小ブロックの動きベクトルが発生したとすると、画像７０９のように着目領域を判別する大きさを小さくしても、ノイズの影響により本来は必要のない無駄な着目領域が発生してしまう。ＰＵ７１１は３２×３２、７１３は１６×１６、ＣＴＵと同じ大きさのＰＵは６４×６４の画素サイズにＰＵが決定された例を示している。

これに対して、本実施形態では、大ブロックの動きベクトルに基づいて重要用域の判定を行っている。大きなブロックを用いて動きベクトル探索を行い、得られた動きベクトルを用いて着目領域と非着目領域とが判定される動画像の処理の例を図８に示す。

図８の画像８０１は図６の画像６０２に対応しており、現在符号化を行うフレームであって、ＣＴＵ８０２についてこれから符号化が行われる。画像８０１及び画像８０３のフレーム内で類似ブロックを探索する。探索ブロックのサイズが大きくなったことにより、ノイズによってそれぞれの画素が変動しても、比較する画素が多くなる。

画像８０３の大ブロック８０４と大ブロック８０５とが類似ブロックの候補となった場合、ＳＡＤの小さい大ブロック８０４が類似ブロックとして選ばれる（ここでは大ブロック８０４のＳＡＤは５００、大ブロック８０５のＳＡＤは１０００である）。

このように、符号化を行うＣＵＴと異なる座標に、類似するブロックが存在する可能性は低くなる。即ち、動いている物体が存在しない領域で、センサノイズによって類似ブロックと判定されてしまうブロックの数が減少することになる。その結果、画像８０７のＣＴＵ８０８のように動きベクトルが発生しにくくなるため、画像８０７のように本来必要のない無駄な着目領域が抽出されることを低減することができる。

以上説明したように、本実施形態に係る動画像符号化装置１０は、動画像から第１のサイズのブロック単位（大ブロック単位）で第１の動き情報（動きベクトル）を検出する第１の検出部（大ブロック動き検出部１０１）と、第１の動き情報に基づいて動画像から着目領域を判定する判定部（着目領域判定部１０４）と、着目領域であると判定されたブロックの量子化値を、着目領域ではないと判定されたブロックの量子化値よりも低い値に設定するように制御する制御部（領域別画質制御部１０５）と、第１の動き情報に基づいて、動画像から第１のサイズよりも小さい第２のサイズのブロック単位（小ブロック単位）で第２の動き情報（動きベクトル）を検出する第２の検出部（小ブロック動き検出部１０２）と、第２の動き情報と、制御部により設定された量子化値とに基づいて、前記動画像を圧縮符号化する符号化部（符号化部１０３）とを備える。

本実施形態によれば、大ブロック単位で検出された動きベクトルに基づいて、これから符号化を行う撮像動画像中の着目領域の位置を判定することで、誤検出を抑えて着目領域を推定することができる。そのため、着目領域となるべき場所を適切に高画質にすることが可能となる。また、符号化の動き補償の際に符号化される動きベクトルと、着目領域を判定するために使用する動きベクトルとは異なるものであるが、途中まで処理を共通化させることにより、回路規模の削減や省電力化が期待できる。さらに、推定に使用する動きベクトルは符号化する撮像動画と同じフレームのものを利用することができ、追加のバッファメモリを必要としないという効果も奏する。

このように、本実施形態によれば、センサノイズや揺らぎ等に起因する重要でない動き情報により着目領域として誤判定してしまう可能性を低減でき、高画質となるべき領域の画質を保ちながら効率よくビットレートを削減することができる。

（第２実施形態）
第１実施形態では、大ブロック動き検出部１０１から出力された動きベクトルに基づいて撮像動画像内の着目領域を判定することで、着目領域の誤検出を低減する例を説明した。

しかし、符号化部に入力される動画像がセンサノイズを多く含む動画である場合、動き予測を行う際に、動きのないＣＴＵでも動きベクトルを探索する範囲内で類似するＣＴＵが発見され、大ブロックの動きベクトルが発生してしまうことがある。そのようにして大ブロックの動きベクトルが発生すると、着目領域判定部１０４により着目領域と誤判定され、領域別画質制御部１０５により高画質になるように設定が行われる。よって、不必要な領域を高画質化してしまい、ビットレートの増大を引き起こしてしまうことがある。

これに対して、本実施形態では、大ブロック動き検出部１０１により下位ビットのマスク処理を実施し、所定の上位ビットの画素値で類似ブロックの検出を行う例を説明する。

なお、本実施形態に係る動画像符号化装置の構成は、第１実施形態と同様であるため、詳細な説明は省略する。また、動画像符号化装置が備える大ブロック動き検出部１０１の処理内容が異なる以外は、各処理部の処理内容も第１実施形態と同様であるため、詳細な説明は省略する。

大ブロック動き検出部１０１による動き探索では、既に図４に示したように、探索範囲で画素値を比較していき、類似しているブロックを発見する処理が行われる。ここで、本実施形態に係る大ブロック動き検出部１０１は、図９に示すような、参照するフレームの８×８ブロック９０１の画素９０２と、符号化を行う対象のフレームの８×８ブロック９０３の画素９０４との画素値を比較する。画素９０２の画素値が１１１１０１１０であり、画素９０４の画素値が１１１１１１１０だったとする。画素値８ビットの内、所定ビット（例えば下位４ビット）をマスクする処理を行うことにより、所定ビット（例えば上位４ビット）のみの比較が行われることになる。

この場合、０から１５の差異を無視できることになるため、よりセンサノイズへの耐性を強くすることができる。なお、本実施形態では下位４ビットを比較する例を説明しているが、本発明はこの限りではない。上記の処理を施した結果、参照するフレームの８×８ブロック９０５の画素９０６の画素値は１１１１００００となり、符号化を行う対象のフレームの８×８ブロック９０７の画素９０８の画素値も１１１１００００となり、両者の画素値が一致する。

以上説明したように、本実施形態では、大ブロック動き検出部１０１により、動画像を構成する第１フレームの第１のサイズのブロックに類似する第２フレームのブロックを検出する際に、画素値の所定の上位ビット同士で画素値同士の比較を行って検出を行う。このように、下位ビットのマスク処理を実施することで、所定の上位ビットの画素値のみの比較が行われることから、よりセンサノイズへの耐性を強くすることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：動画像符号化装置、１０１：大ブロック動き検出部、１０２：小ブロック動き検出部、１０３：符号化部、１０４：着目領域判定部、１０５：領域別画質制御部１０５

Claims

動画像から第１のサイズのブロック単位で第１の動き情報を検出する第１の検出手段と、
前記第１の動き情報に基づいて前記動画像から着目領域を判定する判定手段と、
前記着目領域であると判定されたブロックの量子化値を、前記着目領域ではないと判定されたブロックの量子化値よりも低い値に設定するように制御する制御手段と、
前記第１の動き情報に基づいて、前記動画像から前記第１のサイズよりも小さい第２のサイズのブロック単位で第２の動き情報を検出する第２の検出手段と、
前記第２の動き情報と、前記制御手段により設定された量子化値とに基づいて、前記動画像を圧縮符号化する符号化手段と、
を備えることを特徴とする動画像符号化装置。
前記第１の検出手段は、前記第１の動き情報として、整数の精度の第１の動きベクトルを算出することを特徴とする請求項１に記載の動画像符号化装置。
前記第２の検出手段は、前記第２の動き情報として、小数の精度の第２の動きベクトルを算出することを特徴とする請求項１又は２に記載の動画像符号化装置。
前記第１の検出手段は、前記動画像を構成する第１フレームの前記第１のサイズのブロックに類似する第２フレームのブロックを検出し、ブロック間の第１の動きベクトルを前記第１の動き情報として検出することを特徴とする請求項１乃至３の何れか１項に記載の動画像符号化装置。
前記第２の検出手段は、前記第１の動きベクトルにより示される座標から所定範囲に対して、前記第１フレームにおける前記第１のサイズのブロックを分割した前記第２のサイズのブロックに類似する前記第２フレームのブロックを検出し、ブロック間の第２の動きベクトルを前記第２の動き情報として検出することを特徴とする請求項４に記載の動画像符号化装置。
前記判定手段は、前記第１の動きベクトルの大きさが閾値を超過する場合に、前記第１の検出手段により検出された前記ブロックを前記着目領域として判定することを特徴とする請求項４又は５に記載の動画像符号化装置。
前記閾値はゼロであることを特徴とする請求項６に記載の動画像符号化装置。
前記第１の検出手段は、前記動画像を構成する第１フレームの前記第１のサイズのブロックに類似する第２フレームのブロックを検出する際に、画素値の所定の上位ビット同士で画素値同士の比較を行って検出を行うことを特徴とする請求項１乃至７の何れか１項に記載の動画像符号化装置。
前記第１のサイズ及び前記第２のサイズは、前記動画像の画素の空間周波数に基づいて決定されることを特徴とする請求項１乃至８の何れか１項に記載の動画像符号化装置。
動画像符号化装置の制御方法であって、
第１の検出手段が、動画像から第１のサイズのブロック単位で第１の動き情報を検出する工程と、
判定手段が、前記第１の動き情報に基づいて前記動画像から着目領域を判定する工程と、
制御手段が、前記着目領域であると判定されたブロックの量子化値を、前記着目領域ではないと判定されたブロックの量子化値よりも低い値に設定するように制御する工程と、
第２の検出手段が、前記第１の動き情報に基づいて、前記動画像から前記第１のサイズよりも小さい第２のサイズのブロック単位で第２の動き情報を検出する工程と、
符号化手段が、前記第２の動き情報と、前記設定された量子化値とに基づいて、前記動画像を圧縮符号化する工程と、
を有することを特徴とする動画像符号化装置の制御方法。
請求項１乃至９の何れか１項に記載の動画像符号化装置の各手段としてコンピュータを動作させるためのプログラム。