JP2021013145A

JP2021013145A - 動画像伝送装置、動画像伝送方法

Info

Publication number: JP2021013145A
Application number: JP2019127885A
Authority: JP
Inventors: 翔悟山崎; Shogo Yamazaki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-07-09
Filing date: 2019-07-09
Publication date: 2021-02-04

Abstract

【課題】動画像のフレームにおける特定領域と非重要領域との境界に発生する視覚的違和感を減らして、特定領域の画質を保ちながら効率よく動画像のデータ量やビットレートを削減するための技術を提供すること。【解決手段】動画像におけるフレーム内の特定領域を第１のフレームレートで伝送し、動画像におけるフレーム内の非特定領域を第２のフレームレートで伝送する。また、動画像におけるフレーム内で特定領域と非特定領域との境界領域を、第１のフレームレートよりも低く且つ第２のフレームレートよりも高い第３のフレームレートで伝送する。【選択図】図１

Description

本発明は、動画像の伝送技術に関するものである。

動画像は撮像センサで電子データ化され、そこから電子機器内外への伝送や表示装置での蓄積再生が行われる。電子データ化された動画像は、縦横の座標に対応した画素値をそのままの形で電子機器内外の伝送線路を通して伝送されたり、符号化技術によってデータ圧縮されて伝送されたりする。動画像の符号化技術としては、ＩＳＯ／ＩＥＣＩｎｔｅｒｎａｔｉｏｎａｌＳｔａｎｄａｒｄ１４４９６‐２（ＭＰＥＧ‐４Ｖｉｓｕａｌ）などの国際標準化符号化方式が知られている。また、他の国際標準符号化方式としては、ＩＴＵ−ＴとＩＳＯ／ＩＥＣによる、Ｈ．２６４や、その後継規格であるＨ．２６５が知られている。本明細書においては、ＩＴＵ−ＴＲｅｃ．Ｈ．２６４ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ｜ＩＳＯ／ＩＥＣＩｎｔｅｒｎａｔｉｏｎａｌＳｔａｎｄａｒｄ１４４９６−１０（ＭＰＥＧ−４ＡＶＣ）を単にＨ．２６４と呼ぶ。また、Ｈ．２６５（ＩＳＯ／ＩＥＣ 23008‐２ＨＥＶＣ）を単にＨ．２６５と呼ぶ。

これらの伝送技術や符号化技術は、ビデオカメラやレコーダの分野にも用いられており、特に近年では監視用ビデオカメラ（以下、監視カメラと呼ぶ）への適用が積極的に行われている。監視カメラ用途においては、長時間の録画を行う必要性から比較的低ビットレートで符号化して符号化データのサイズを抑えるケースが多い。しかし、単に圧縮率を上げて低ビットレートで符号化すると、多くの情報が失われて画質が劣化する。そのため、人物の顔の特定、また監視対象の滑らかな動作の確認、物体の移動の軌跡、自動車のナンバープレートの特定といった、本来の用途として機能しないという問題があった。そこでフレーム全体の更新頻度を一様には符号化せず、動いている物体や人物といった重要な領域を特定領域として検出し、フレームを特定領域と非特定領域とに分ける。そして、非特定領域は符号量を抑えるために更新頻度を下げ、特定領域は更新頻度が高くなるように符号化する技術が一般的に用いられている。この技術によって符号化された動画像は、フレーム内の領域ごとにフレームレートが異なっているように見える。この動画像のフレーム内で更新頻度を異ならせる技術は、動画像の圧縮技術に限らず、撮像センサで電子化された動画像のデータが電子機器内やそれら同士の伝送線路を通して伝送される場合にも、データの伝送速度や消費電力の観点で有利となる。

このような従来技術の例として、特許文献１が挙げられる。該従来技術では、フレームの重要な領域は更新頻度を高く、そうでない領域は更新頻度を低くして、主要部分のみに多くのデータ伝送量や処理リソースが与えられるように制御する。このようにすれば、動画像において監視対象である人物の顔や動きを精細にとらえつつ、長時間録画のために全体を低ビットレートに記録することが可能となる。

更に、特許文献２のように、フレーム内の領域においてより多くのユーザが重要であると判断した領域により高い優先度を設定して、その優先度合いによって更新頻度を変えることで、動画像をより精細かつ少ないデータサイズで伝送することができる。符号化の場合であれば、より監視対象の動きが鮮明かつ低ビットレートで圧縮動画像を生成することができる。特許文献２の発明では、フレーム内の任意の領域にラベリングされた重要度の高低によって、その領域の更新頻度を変更する処理が行われている。

特開２００３―１２５３６９号公報特開２００３―１１１０５０号公報

しかしながら、重要な領域として設定された特定領域が監視者や視聴者の求める特定領域と一致しなかった場合、領域別に更新頻度を変更することで視覚的違和感が発生する。ユーザがＧＵＩのアプリケーションなどを使ってフレーム内に設定した特定領域から監視対象がはみ出してしまった場合などである。また、認識処理を使って高い精度で重要な領域を特定領域として検出するためには、認識処理の負荷が大きく、符号化対象のフレームに対して認識の結果が出力されるまでに数フレームの遅延が発生する。遅延が発生すると、監視対象が特定領域から外れてしまう。さらに認識処理の精度不足によって認識された領域から特定領域の漏れが発生する場合もある。特定領域のずれや漏れが発生した場合に特定領域に対して更新頻度を異ならせると、監視対象の画像の連続性がなくなり、監視対象の人物の手や足が切れているような違和感のある動画像が出力されてしまう。認識処理の遅延による動画像の違和感の改善には、フレームの符号化処理を遅延させ、認識処理の完了と同期させる方法も考えられるが、符号化処理が遅延する点において、リアルタイム性を求められる監視用途には適していない。また、特許文献２のフレーム内の任意の領域にラベリングされた重要度の高低によって更新頻度を変更する手法でも、適切に重要度のラベリングが行われず、特定領域と非特定領域の境界に監視対象が移動した際には違和感は改善できないという課題があった。

本発明では、動画像のフレームにおける特定領域と非重要領域との境界に発生する視覚的違和感を減らして、特定領域の画質を保ちながら効率よく動画像のデータ量やビットレートを削減するための技術を提供する。

本発明の一様態は、動画像におけるフレーム内に特定領域を設定する設定手段と、前記動画像におけるフレーム内の特定領域を第１のフレームレートで伝送し、前記動画像におけるフレーム内の非特定領域を第２のフレームレートで伝送し、前記動画像におけるフレーム内で特定領域と非特定領域との境界領域を、前記第１のフレームレートよりも低く且つ前記第２のフレームレートよりも高い第３のフレームレートで伝送する伝送手段とを備えることを特徴とする。

本発明の構成によれば、動画像のフレームにおける特定領域と非重要領域との境界に発生する視覚的違和感を減らして、特定領域の画質を保ちながら効率よく動画像のデータ量やビットレートを削減することができる。

動画像伝送装置の機能構成例を示すブロック図。動画像伝送装置による動画像の伝送処理のフローチャート。着目フレームの一例を示す図。人体３０１および人体３０２のそれぞれに対応する特定領域の一例を示す図。特定領域４０１および特定領域４０２のそれぞれに対して設定された境界領域の一例を示す図。動画像伝送装置の機能構成例を示すブロック図。動画像転送装置に適用可能なコンピュータ装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
先ず、本実施形態に係る動画像伝送装置の機能構成例について、図１のブロック図を用いて説明する。本実施形態に係る動画像伝送装置は、撮像装置やメモリ装置などから入力された動画像における各フレームを、メモリや外部装置などに伝送する。なお、本実施形態に係る動画像伝送装置の処理は、画素単位で行っても良いし、複数画素から成る画素ブロック単位で行っても良い。

設定部１０１は、動画像におけるフレーム内に、監視対象となる重要な領域を特定領域として設定する。本実施形態では、動画像における各フレームに対して機械学習に基づく人体検知を行うことで人体の領域を検出し、該検出した人体の領域を特定領域として設定する。しかし、特定領域の設定方法は特定の設定方法に限らない。例えば設定部１０１は、機械学習に基づく画像分割、オブジェクト検出、動体検知、顔検出、動体追尾、車のナンバープレート検出、高級な商品のような特定の物体検出などの方法でもって検出した監視対象のオブジェクトの領域を特定領域として設定しても良い。また、機械学習はパターン認識に基づくアルゴリズムで実現されたものでも、そうでないものでもよい。また設定部１０１は、動画像におけるフレームを表示によりユーザに提示し、該ユーザがマウス、キーボード、タッチパネルなどのユーザインターフェースを操作して該フレーム上で指定した領域を特定領域として設定しても良い。

設定部１０１は特定領域を設定すると、フレーム内における特定領域を規定する情報を特定領域情報として生成する。特定領域情報はフレーム内における特定領域を規定することができる情報であれば、その構成は特定の構成に限らない。特定領域情報は、例えば、特定領域の左上隅の座標及び右下隅の座標のセットであっても良いし、特定領域の左上隅の座標、特定領域の水平方向の長さ（画素数）、特定領域の垂直方向の長さ（画素数）、のセットであっても良い。また特定領域情報は、平面に領域が視覚的にマッピングされたものでもよい。なお、特定領域の設定は、動画像における各フレームに対して行っても良いし、Ｎ（Ｎは２以上の整数で、固定値でも良いし、状況に応じて動的に変化しても良い）フレームおきに行っても良い。

判定部１０３は、フレームにおける特定領域と非特定領域（該フレーム内で該特定領域を除く領域）との境界を判定し、該境界の領域を境界領域として設定（境界領域設定）する。そして判定部１０３は、境界領域を設定すると、フレーム内における境界領域を規定する情報を境界領域情報として生成する。境界領域情報はフレーム内における境界領域を規定することができる情報であれば、その構成は特定の構成に限らない。境界領域情報は、例えば、境界領域に含まれる画素位置の集合であっても良いし、特定領域と非特定領域との境界における画素の画素位置であっても良いし、該境界における画素の画素位置と該画素位置における境界領域の幅とのセットであっても良い。

制御部１０２は、特定領域、非特定領域、境界領域のそれぞれに対して、対応する更新頻度を設定し、特定領域、非特定領域、境界領域のそれぞれを、対応する更新頻度で更新する。

ここで、「領域を、対応する更新頻度で更新する」とは、領域に含まれる画素の画素値を、該領域に対応するフレームレートで伝送することを意味する。特定領域の画質を高画質に維持しつつ動画像の伝送量を少なくするためには、特定領域に対して高い更新頻度（高い伝送フレームレート）を設定し、非特定領域には低い更新頻度（低い伝送フレームレート）を設定する。境界領域に対しては、特定領域に対して設定された更新頻度よりも低く且つ非特定領域に対して設定された更新頻度よりも高い更新頻度（特定領域の伝送フレームレートよりも低く且つ非特定領域の伝送フレームレートよりも高い伝送フレームレート）を設定する。なお、フレーム内に境界領域が複数存在する場合には、特定領域により近い境界領域の更新頻度をより高く設定するようにしても良い。

つまり制御部１０２は、特定領域については、該特定領域に対して設定された更新頻度で更新し、非特定領域については、該非特定領域に対して設定された更新頻度で更新し、境界領域については、該境界領域に対して設定された更新頻度で更新する。

次に、本実施形態に係る動画像伝送装置による動画像の伝送処理について、図２のフローチャートに従って説明する。図２のフローチャートは、動画像の着目フレームにおける伝送単位（画素もしくは画素ブロック）の伝送に係る処理を示したものである。然るに、着目フレームにおけるそれぞれの伝送単位について図２のフローチャートに従った処理を行うことで、着目フレームの伝送処理が実現される。

以下では具体的な説明を行うために、動画像のフレームレートを３０ｆｐｓとし、特定領域は動画像のフレームレートに従って毎フレーム更新されるものとする。また、非特定領域は特定領域が１５フレーム更新される毎に１回更新されるものとする。この場合、非特定領域のフレームレートは２ｆｐｓということになる。また、境界領域は特定領域が３フレーム更新される毎に１回更新されるものとする。この場合、境界領域のフレームレートは１０ｆｐｓということになる。

しかし本実施形態はこの限りではなく、特定領域、非特定領域、境界領域のそれぞれの更新頻度は自由に設定することができる。例えば、制御部１０２は、対象領域（特定領域、非特定領域）における動きベクトルのスカラ値が規定値以上であれば、該対象領域の更新頻度をより高く設定し、該スカラ値が規定値未満であれば、該対象領域の更新頻度をより低く設定する。動きが大きい所は更新頻度を低くすることによる違和感が大きくなりやすいが、その違和感を低減することができる。更に、それぞれの領域に隣接するいくつかの画素の画素値の空間周波数を求め、該空間周波数が規定値以上の所は更新頻度をより高く、空間周波数が規定値未満の所は更新頻度をより低く設定してもよい。画素値が高い空間周波数を持つ所は、動画像内のオブジェクトの端部や、文字、模様などの監視対象となりうるような情報量を多く持つ場合が多く、更新頻度を低くすることによる違和感が大きくなりやすい。空間周波数特性に応じて更新頻度を変更することでその違和感を低減することができる。

また、図２のフローチャートに従った処理の開始前には、制御部１０２は、設定部１０１により生成された特定領域情報、判定部１０３により生成された境界領域情報、を取得しているものとする。

ここで、着目フレームの一例を図３に示す。図３の着目フレームには、人体３０１および人体３０２が含まれている。以下では、図３の着目フレームにおける人体３０１，３０２のそれぞれの領域を特定領域として設定するケースについて説明する。図３の着目フレームにおける人体３０１に対応する特定領域、人体３０２に対応する特定領域の一例を図４に示す。図４において特定領域４０１は、設定部１０１が着目フレームから人体３０１を検出することによって得られた領域であり、５個の画素ブロックで構成されている。また、図４において特定領域４０２は、設定部１０１が着目フレームから人体３０２を検出することによって得られた領域であり、２５個の画素ブロックで構成されている。図４の着目フレームにおいて特定領域４０１および特定領域４０２を除く他の領域が非特定領域である。よって図４の場合、設定部１０１は、特定領域４０１を規定する特定領域情報、特定領域４０２を規定する特定領域情報、を生成する。

判定部１０３は、特定領域４０１および特定領域４０２のそれぞれについて、非特定領域との境界を判定し、該判定した境界の領域を境界領域として設定する。特定領域４０１および特定領域４０２のそれぞれに対して設定された境界領域の一例を図５に示す。境界領域５０１は、判定部１０３が判定した「特定領域４０１と非特定領域との境界」の領域であり、特定領域４０１を構成する５個の画素ブロックを囲む１６個の画素ブロックから成る。境界領域５０２は、判定部１０３が判定した「特定領域４０２と非特定領域との境界」の領域であり、特定領域４０２を構成する２５個の画素ブロックを囲む２８個の画素ブロックから成る。よって図５の場合、判定部１０３は、境界領域５０１を規定する境界領域情報、境界領域５０２を規定する境界領域情報、を生成する。

なお、図５では、特定領域と非特定領域との境界を挟んで特定領域の外側に境界領域を設定したが、これに限らず、該境界を挟んで特定領域の内側に境界領域を設定するようにしても良い。

また、境界領域は必ず設定しなければならないわけではなく、例えば、特定領域と非特定領域との境界の近辺の動きベクトルのスカラ値が規定値未満であれば、該特定領域と該非特定領域との境界には境界領域を設定しなくてもよい。

また、上記の如く、ユーザがユーザインターフェースを操作してフレーム上に特定領域を指定する際に、特定領域ごとに境界領域を設定するかどうかの情報も合わせて設定してもよい。

さらに、境界領域における特定領域から非特定領域の幅（つまり境界領域の幅）は、あらかじめ決められた任意の画素数でもよい。境界領域の幅とは図５の矢印５０３で示す如く、境界領域を挟む特定領域と非特定領域との間の距離である。

しかし、境界領域の幅は一定でなくても良い。例えば、特定領域と非特定領域との境界の近傍の動きベクトルのスカラ値が規定値以上であれば、該近傍の境界領域の幅をより大きく、該動きベクトルのスカラ値が該規定値未満であれば、該近傍の境界領域の幅をより小さく設定するようにしても良い。この手法を実現するためには、特定領域と非特定領域の動体検知結果による動きベクトルも同時に取得する必要がある。この結果、動きが大きい所は周辺と更新頻度が異なることによる違和感が大きくなりやすいが、その違和感を低減することができる。

また、特定領域の端部に隣接するいくつかの画素の画素値の空間周波数に従って境界領域の幅を決定してもよい。すなわち、特定領域と非特定領域との境界を挟んで特定領域側もしくは非特定領域側の画素位置における画素値の空間周波数を求める。そして、該空間周波数が規定値以上であれば該境界における境界領域の幅をより大きく、該空間周波数が規定値未満であれば該境界における境界領域の幅をより小さくする。画素値の空間周波数が高い個所は周辺と更新頻度が異なることによる違和感が大きくなりやすいが、境界領域の幅を広くすることでその違和感を低減することができる。

さらに、異なる更新頻度を持たせた複数の境界領域を特定領域の端部に２重３重、またはそれ以上に設定してもよい。異なる更新頻度を持つ境界領域の数は、特定領域の動体検知結果による動きベクトルのスカラ値が規定値以上であればより多く、該動きベクトルのスカラ値が規定値未満であればより少なく設定してもよい。

また、特定領域と非特定領域との境界を挟んで特定領域側もしくは非特定領域側の画素位置における画素値の空間周波数が規定値以上であれば、該境界付近にはより多くの境界領域を設定する。一方、該空間周波数が規定値未満であれば、該境界付近にはより少ない境界領域を設定する。異なる更新頻度を持つ境界領域が多くなれば、違和感の改善効果が大きくなる。

ステップＳ２０２では、制御部１０２は、伝送対象（画素若しくは画素ブロック）が非特定領域に属しているのかを判断する。制御部１０２は、伝送対象が特定領域情報が規定する特定領域や境界領域情報が規定する境界領域に属している場合には、該伝送対象は非特定領域には属していないと判断する。

このような判断の結果、伝送対象が非特定領域に属している場合には、処理はステップＳ２０３に進み、伝送対象が非特定領域に属していない場合には、処理はステップＳ２０６に進む。

ステップＳ２０３では、制御部１０２は、動画像における先頭からＭ（Ｍは１以上の整数）番目のフレームのフレーム番号を（Ｍ−１）とすると（先頭フレームのフレーム番号は「０」）、着目フレームのフレーム番号が１５の倍数であるのか否かを判断する。このような判断の結果、着目フレームのフレーム番号が１５の倍数である場合には、処理はステップＳ２０４に進み、着目フレームのフレーム番号が１５の倍数ではない場合には、処理はステップＳ２０５に進む。

ステップＳ２０４では、制御部１０２は、伝送対象を更新する（つまり伝送対象を伝送する）。一方、ステップＳ２０５では、制御部１０２は、伝送対象は更新せず、代わりに、「着目フレーム内の伝送対象の位置若しくは領域に対応するデータとして、最近更新したデータが引き継がれること」を意味するデータ（引き継ぎデータ）を伝送する。

なお、更新頻度の制御に関しては、他の例も考えられる。例えば、撮像センサの読み出し処理の時点で、更新しないと決定した画素または画素ブロックを読み出さない処理を行ってもよいし、画素または画素ブロックを読み出さない期間の撮像センサの通電を遮断してもよい。

一方、ステップＳ２０６では、制御部１０２は、伝送対象が境界領域に属しているのかを判断する。制御部１０２は、伝送対象が境界領域情報が規定する境界領域に属している場合には、該伝送対象は境界領域に属していると判断する。

このような判断の結果、伝送対象が境界領域に属している場合には、処理はステップＳ２０７に進み、伝送対象が境界領域に属していない場合（つまり伝送対象は特定領域に属している場合）には、処理はステップＳ２１０に進む。

ステップＳ２０７では、制御部１０２は、着目フレームのフレーム番号が３の倍数であるのか否かを判断する。このような判断の結果、着目フレームのフレーム番号が３の倍数である場合には、処理はステップＳ２０８に進み、着目フレームのフレーム番号が３の倍数ではない場合には、処理はステップＳ２０９に進む。

ステップＳ２０８では、制御部１０２は、伝送対象を更新する。一方、ステップＳ２０９では、制御部１０２は、伝送対象は更新せず、代わりに、上記の引き継ぎデータを伝送する。ステップＳ２１０では、制御部１０２は、伝送対象を更新する。

ここで、設定部１０１における特定領域の判定を行う画素ブロックのサイズについて言及する。動画像を伝送する処理単位での画素ブロック（以下、伝送画素ブロックと称する）のサイズと、認識処理などから得られた特定領域や非特定領域を表す最小の画素ブロック（以下、領域画素ブロックと称する）のサイズと、は同じとは限らない。例えば、伝送画素ブロックのサイズが３２×３２ピクセル、領域画素ブロックのサイズが１６×１６ピクセルであるとする。このとき、伝送画素ブロック内には４つの領域画素ブロックが存在することになり、場合によっては、この４つの領域画素ブロックの中に、特定領域に対応する領域画素ブロックと、非特定領域に対応する領域画素ブロックと、が混在している場合がある。このように、伝送画素ブロック内に、特定領域に対応する領域画素ブロックと非特定領域に対応する領域画素ブロックとが混在する場合にも、その伝送画素ブロックを特定領域か非特定領域に判定する必要がある。本実施形態では、伝送画素ブロックの中に特定領域に対応する領域画素ブロックと非特定領域に対応する領域画素ブロックとが混在していた場合、該伝送画素ブロックを特定領域と判定し、該伝送画素ブロックを特定領域の画素ブロックとして伝送する。なお、伝送画素ブロックの中に特定領域に対応する領域画素ブロックと非特定領域に対応する領域画素ブロックとが混在していた場合、該伝送画素ブロックを非特定領域と判定し、該伝送画素ブロックを非特定領域の画素ブロックとして伝送するようにしても良い。

また、伝送画素ブロックに占める特定領域の領域画素ブロックおよび非特定領域の領域画素ブロックのそれぞれの割合に応じて、伝送画素ブロックを特定領域、非特定領域のいずれかと判定するようにしても良い。例えば、伝送画素ブロックに占める特定領域の領域画素ブロックの割合Ａ＞伝送画素ブロックに占める非特定領域の領域画素ブロックの割合Ｂであれば、伝送画素ブロックを特定領域と判定し、割合Ａ＜割合Ｂであれば、伝送画素ブロックを非特定領域と判定する。

更に、伝送画素ブロックに含まれている特定領域の信頼度に応じて、該伝送画素ブロックを特定領域、非特定領域のいずれかとして判定するようにしても良い。特定領域の信頼度とは、例えば、特定領域の判定に用いた検出処理結果に付随する指標（確からしさ）等が考えられる。そして、伝送画素ブロックに含まれている特定領域のうち最大の信頼度が規定値以上であれば、該伝送画素ブロックを特定領域と判定し、該最大の信頼度が規定値未満であれば、該伝送画素ブロックを非特定領域と判定する。

上述した混在時の判定処理の結果、伝送画素ブロック全面を特定領域とする場合は、特定領域が増えて伝送量が増大するが、監視対象が特定領域からはみ出している場合に領域別に更新頻度を変更したことによる動画像の視覚的な違和感を抑制することができる。また、伝送画素ブロック全面を非特定領域とする場合は、多少の視覚的な違和感を許容してより高い伝送量の削減を見込むことができる。

最後に、制御部１０２によって特定領域、境界領域、非特定領域に対して別々の更新頻度を設定して動画像の伝送を行う効果を解説する。本実施形態では図３のような着目フレームに対し、人体検知によって特定領域の設定を行うケースを例に挙げた。この場合、奥にいる人体３０１と手前にいる人体３０２の二人が監視対象となり、これらの人物の領域を高い更新頻度で伝送したい。しかし、人体検知の精度不足や処理遅延のために、図４の特定領域４０１や特定領域４０２のように人体３０１や人体３０２の外端まで特定領域が及ばなかった場合があると、特定領域が及ばなかった領域は１５フレームに一度しか更新されない。その結果、手足がちぎれたような動画像となり、視覚的な違和感が発生してしまう。しかし本実施形態によれば、図５における境界領域５０１および境界領域５０２は３フレームに一度更新されるため、非特定領域と特定領域との更新頻度の差によって生まれる視覚的な違和感を低減することができる。

このように、本実施形態によれば、より少ないデータ伝送量で動画像が伝送可能であるとともに、設定された特定領域を外れてしまったオブジェクトに生ずる視覚的な違和感を低減することができる。

［第２の実施形態］
以下では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。本実施形態に係る動画像伝送装置は、動画像をフレーム単位で符号化し、符号化結果を符号化ストリームとして出力するものであり、動画像符号化装置として機能するものである。

本実施形態に係る動画像伝送装置の機能構成例について、図６のブロック図を用いて説明する。図６において図１に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

符号化部６０３は、制御部１０２がフレームごとに出力するデータを圧縮・符号化し（フレーム単位で圧縮・符号化し）、Ｈ．２６５形式の符号化ストリームを生成して出力する。本実施形態では出力する符号化ストリームをＨ．２６５形式とするが、これに限定されるものではない。例えばＨ．２６４形式やＭＰＥＧ−４形式の符号化ストリームを生成して出力するようにしても良い。本実施形態に係る動画像伝送装置は、符号化対象となるフレームをＨ．２６５形式におけるＣｏｄｉｎｇＴｒｅｅＵｎｉｔ（以下ＣＴＵ）単位で圧縮・符号化する。本実施形態では、ＣＴＵ単位にフレームを分割するが、分割単位はＣＴＵに限定されるものではなく、例えばＨ．２６４におけるマクロブロック単位に分割してもよい。また、本実施形態では、ＣＴＵのサイズを６４×６４ピクセルとするが、ＣＴＵのサイズは６４×６４ピクセルに限定されるものではなく、３２×３２ピクセルや１６×１６ピクセルでもよい。

さらに、本実施形態に係る動画像伝送装置は、領域ごとに設定された更新頻度に従って圧縮・符号化を行う。非特定領域に対しては更新頻度を少なくすることで符号化後のデータ量（以下、符号量）を抑えるように、特定領域に対しては更新頻度を落とさないように符号化する。このとき境界領域には、非特定領域より高く、かつ特定領域より低い更新頻度を設定する。本実施形態においては、符号化ブロックであるＣＴＵが大きければ更新頻度を高く、小さければ低く設定してもよい。符号化ブロックサイズが大きい場合は更新頻度を変更することによる違和感が大きくなりやすいが、その違和感を低減することができる。また、境界領域における特定領域から非特定領域の幅は、第１の実施形態と同様にあらかじめ決められた任意の画素数でもよい。本実施形態においては、符号化ブロックであるＣＴＵの幅の倍数に設定してもよい。

本実施形態に係る動画像転送装置は、図２のフローチャートに従った処理を１フレーム分の伝送対象について行うことで１フレーム分のデータ（符号化対象フレーム）が揃うと、符号化部６０３による符号化処理を行う。符号化部６０３は、符号化対象フレームをＨ．２６５形式におけるＣｏｄｉｎｇＴｒｅｅＵｎｉｔ（以下ＣＴＵ）単位で行う。しかし、これに限定されるものではなく、Ｈ．２６５形式におけるＣｏｄｉｎｇＵｎｉｔ（以下ＣＵ）単位で処理を行ってもよい。符号化の際に更新すると判定された画素ブロックは通常の符号化を行い、更新しないと判定された画素ブロックはスキップモードを選択して符号化を行う。本実施形態におけるスキップモードとは、前フレームの処理結果（デコード画像）をそのまま用いることを意味し、画像の差分情報を送らないために符号量を削減することが可能となる。この結果、非特定領域および境界領域の更新頻度が下げられたようなＨ．２６５形式の符号化ストリームが生成される。

ここで、設定部１０１における特定領域の判定を行う画素ブロックのサイズについて言及する。動画像を符号化する処理単位であるＣＴＵのサイズと、上記の領域画素ブロックのサイズと、は同じとは限らない。例えば、ＣＴＵサイズが３２×３２ピクセル、領域画素ブロックのサイズが１６×１６ピクセルであるとする。このとき、ＣＴＵ内には４つの領域画素ブロックが存在することになり、場合によっては、この４つの領域画素ブロックの中に、特定領域に対応する領域画素ブロックと、非特定領域に対応する領域画素ブロックと、が混在している場合がある。このように、ＣＴＵ内に、特定領域に対応する領域画素ブロックと非特定領域に対応する領域画素ブロックとが混在する場合にも、そのＣＴＵを特定領域か非特定領域に判定する必要がある。本実施形態では、ＣＴＵの中に特定領域に対応する領域画素ブロックと非特定領域に対応する領域画素ブロックとが混在していた場合、該ＣＴＵを特定領域と判定する。なお、ＣＴＵの中に特定領域に対応する領域画素ブロックと非特定領域に対応する領域画素ブロックとが混在していた場合、該ＣＴＵを非特定領域と判定するようにしても良い。また、ＣＴＵを分割したＣＵごとに特定領域と非特定領域を設定してもよい。

このように、本実施形態によれば、より少ない符号量で符号化ストリームを生成可能であるとともに、設定された特定領域を外れてしまったオブジェクトに生ずる視覚的な違和感を低減できる。

［第３の実施形態］
図１，６に示した各機能部はハードウェアで実装しても良いが、ソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このコンピュータプログラムを実行可能なコンピュータ装置は、上記の動画像転送装置に適用可能である。上記の動画像転送装置に適用可能なコンピュータ装置のハードウェア構成例について、図７のブロック図を用いて説明する。

ＣＰＵ７０１は、ＲＡＭ７０２やＲＯＭ７０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ７０１はコンピュータ装置全体の動作制御を行うと共に、上記の動画像転送装置が行うものとして上述した各処理を実行若しくは制御する。

ＲＡＭ７０２は、ＲＯＭ７０３や外部記憶装置７０６からロードされたコンピュータプログラムやデータ、入力Ｉ／Ｆ７０４を介して外部から受信したデータ、を格納するためのエリアを有する。さらにＲＡＭ７０２は、ＣＰＵ７０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ７０２は、各種のエリアを適宜提供することができる。ＲＯＭ７０３には、本コンピュータ装置の設定データや起動プログラムなどが格納されている。

入力Ｉ／Ｆ７０４は、動画像の各フレームを本コンピュータ装置に供給する装置（動画像を撮像する撮像装置、動画像を保持しているサーバ装置など）との間のデータ通信を行うためのインターフェースとして機能するものである。動画像転送装置が処理対象とする動画像の各フレームは、この入力Ｉ／Ｆ７０４を介してＲＡＭ７０２や外部記憶装置７０６に格納される。

出力Ｉ／Ｆ７０５は、本コンピュータ装置によるデータの伝送先との間のデータ通信を行うためのインターフェースとして機能するものである。図７では、入力Ｉ／Ｆ７０４および出力Ｉ／Ｆ７０５はそれぞれ別個のインターフェースとして示しているが、入力Ｉ／Ｆ７０４と出力Ｉ／Ｆ７０５とを一体化させて１つのインターフェースでデータの入出力を行うようにしても良い。

外部記憶装置７０６は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置７０６には、ＯＳ（オペレーティングシステム）や、上記の動画像転送装置が行うものとして上述した各処理をＣＰＵ７０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置７０６に保存されているコンピュータプログラムには、上記の設定部１０１、制御部１０２、判定部１０３、符号化部６０３に対応する機能をＣＰＵ７０１に実行若しくは制御させるためのコンピュータプログラムが含まれている。外部記憶装置７０６に保存されているデータには、上記の説明において既知の情報として説明したもの（規定値など）や動画像のデータが含まれている。

外部記憶装置７０６に保存されているコンピュータプログラムやデータは、ＣＰＵ７０１による制御に従って適宜ＲＡＭ７０２にロードされ、ＣＰＵ７０１による処理対象となる。

ＣＰＵ７０１、ＲＡＭ７０２、ＲＯＭ７０３、入力Ｉ／Ｆ７０４、出力Ｉ／Ｆ７０５、外部記憶装置７０６は何れもバス７０７に接続されている。なお、図７に示した構成は、上記の動画像転送装置に適用可能なコンピュータ装置のハードウェア構成の一例に過ぎず、適宜変更／変更が可能である。例えば、フレーム上でユーザが特定領域を指定する場合には、ユーザが操作するユーザインターフェースと、フレームを表示する表示装置と、を新たにコンピュータ装置に加える必要がある。

なお、上記の説明において使用した具体的な数値は、具体的な説明を行うために使用したものであって、上記の各実施形態がこれらの数値に限定されることを意図したものではない。なお、以上説明した各実施形態の一部若しくは全部を適宜組み合わせても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に用いても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：設定部１０２：制御部１０３：判定部

Claims

動画像におけるフレーム内に特定領域を設定する設定手段と、
前記動画像におけるフレーム内の特定領域を第１のフレームレートで伝送し、前記動画像におけるフレーム内の非特定領域を第２のフレームレートで伝送し、前記動画像におけるフレーム内で特定領域と非特定領域との境界領域を、前記第１のフレームレートよりも低く且つ前記第２のフレームレートよりも高い第３のフレームレートで伝送する伝送手段と
を備えることを特徴とする動画像伝送装置。
前記設定手段は、フレームから監視対象のオブジェクトの領域を検出し、該検出した領域を前記特定領域として設定することを特徴とする請求項１に記載の動画像伝送装置。
前記設定手段は、フレーム上でユーザにより指定された領域を前記特定領域として設定することを特徴とする請求項１に記載の動画像伝送装置。
更に、
前記特定領域と前記非特定領域との境界を挟んで該特定領域の外側もしくは内側に前記境界領域を設定する境界領域設定手段を備えることを特徴とする請求項１乃至３の何れか１項に記載の動画像伝送装置。
前記境界領域設定手段は、前記特定領域と前記非特定領域との境界の近傍の動きベクトルのスカラ値に応じて、該近傍の境界領域の幅を設定することを特徴とする請求項４に記載の動画像伝送装置。
前記境界領域設定手段は、前記特定領域と前記非特定領域との境界を挟んで前記特定領域側もしくは前記非特定領域側の画素位置における画素値の空間周波数に応じて、該境界における境界領域の幅を設定することを特徴とする請求項４に記載の動画像伝送装置。
前記境界領域設定手段は、前記特定領域と前記非特定領域との境界に複数の境界領域を設定することを特徴とする請求項４に記載の動画像伝送装置。
前記境界領域設定手段は、前記複数の境界領域の数を、前記特定領域における動きベクトルのスカラ値に応じて設定することを特徴とする請求項７に記載の動画像伝送装置。
前記境界領域設定手段は、前記複数の境界領域の数を、前記特定領域と前記非特定領域との境界を挟んで前記特定領域側もしくは前記非特定領域側の画素位置における画素値の空間周波数に応じて設定することを特徴とする請求項７に記載の動画像伝送装置。
更に、
前記第１のフレームレートを、前記特定領域における動きベクトルのスカラ値に応じて設定する手段を備えることを特徴とする請求項１乃至９の何れか１項に記載の動画像伝送装置。
更に、
前記第１のフレームレートを、前記特定領域に隣接する画素の画素値の空間周波数に応じて設定する手段を備えることを特徴とする請求項１乃至９の何れか１項に記載の動画像伝送装置。
更に、
前記第２のフレームレートを、前記非特定領域における動きベクトルのスカラ値に応じて設定する手段を備えることを特徴とする請求項１乃至１１の何れか１項に記載の動画像伝送装置。
更に、
前記第２のフレームレートを、前記非特定領域に隣接する画素の画素値の空間周波数に応じて設定する手段を備えることを特徴とする請求項１乃至１１の何れか１項に記載の動画像伝送装置。
動画像伝送装置が行う動画像伝送方法であって、
前記動画像伝送装置の設定手段が、動画像におけるフレーム内に特定領域を設定する設定工程と、
前記動画像伝送装置の伝送手段が、前記動画像におけるフレーム内の特定領域を第１のフレームレートで伝送し、前記動画像におけるフレーム内の非特定領域を第２のフレームレートで伝送し、前記動画像におけるフレーム内で特定領域と非特定領域との境界領域を、前記第１のフレームレートよりも低く且つ前記第２のフレームレートよりも高い第３のフレームレートで伝送する伝送工程と
を備えることを特徴とする動画像伝送方法。
コンピュータを、請求項１乃至１３の何れか１項に記載の動画像伝送装置の各手段として機能させるためのコンピュータプログラム。