JP2020072395A - 画像処理装置、撮像装置、画像処理方法 - Google Patents

Abstract

【課題】画像中で互いに重なり合っている物体の視認性を考慮した画像符号化技術を提供する。【解決手段】動的ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）装置は、現フレームの物体情報と、記録されている過去のフレームの物体情報とを用いて、物体間の前後関係を判断する比較部Ａ１００６と、前面情報が付加されている物体情報があるか否かを判定する判定部Ａ１００８と、互いに重なり合っている物体のうち前面の物体に対する符号量を設定する符号量設定部Ａ１０１３と、前面の物体の領域を、物体について符号量設定部Ａ１０１３が設定した符号量で符号化する符号化部Ａ１０１４とを備える。【選択図】図１

Description

本発明は、画像の符号化技術に関するものである。

ユーザが注目している物体の画質を維持しつつ、映像を転送する際のビットレートを低減させる技術として動的ROI（Region Of Interest）が知られている。この技術では、検出した物体に対して領域を設定する。そして、ユーザが注目する物体が存在する領域（注目領域）には多くの符号量を設定して画質を上げ、ユーザが注目しない物体が存在する領域（非注目領域）には少ない符号量を設定して画質を下げてデータ量を削減することでビットレート低減を実現している。

しかしROIの設定によっては注目物体の視認性が低下する場合がある。特許文献１には、注目領域と背景領域との画質の差によって視認性が低下する問題に対し、注目領域と背景領域との間の境界領域にも異なる符号量を設定することによって視認性の低下を防ぐ方法が開示されている。また、非ROIの符号化頻度がROIより少ないときにROIに動きがあるとゴーストが生じてしまうという問題に対し、特許文献２には、次のような技術が開示されている。つまり、特許文献２には、前回フレームのROIのうち現フレームのROIと重なっていない領域を非ROIと同じ符号量で符号化してゴーストを防ぐことで視認性の低下を防ぐ方法が開示されている。

特開2009-27457号公報 特開2013-187769号公報

特許文献１及び特許文献２に記載の手法では、異なる符号量が設定されたROI同士が重なり合った場合の視認性の低下が考慮されていない。これは動的ROIで抽出した物体の特徴量を元に検出した物体に対して領域を設定するため、物体同士が重なり合って背後の物体の特徴量が減ることでその物体を検出できず、領域の設定ができなくなる。これによって、背後の物体が前面の物体と同じ領域で同じ符号量の設定となることで背後の物体の視認性が低下する。例えば低符号量が設定された木の領域の背後を高符号量が設定された人の領域が通過する際に、木の枝や幹、葉の隙間から人を視認できるにも関わらず、人のROI設定は木のROI設定と同様になってしまうことで視認性が低下してしまう。本発明では、画像中で互いに重なり合っている物体の視認性を考慮した画像符号化技術を提供する。

本発明の一様態は、画像中で互いに重なり合っている物体の属性に基づき、該互いに重なり合っている物体のうち前面の物体に対する符号量を設定する設定手段と、前記前面の物体の領域を、該物体について前記設定手段が設定した符号量で符号化する符号化手段とを備えることを特徴とする。

本発明の構成によれば、画像中で互いに重なり合っている物体の視認性を考慮した画像符号化技術を提供することができる。

動的ＲＯＩシステムの機能構成例を示すブロック図。 動的ＲＯＩ装置Ａ１００２が行う処理のフローチャート。 画像Ｄ１を示す図。 画像Ｄ１０１を示す図。 画像Ｄ２０１を示す図。 画像Ｄ３０１を示す図。 画像Ｄ４０１を示す図。 画像Ｄ４０１中の物体領域を示す図。 コンピュータ装置のハードウェア構成例を示すブロック図。 動的ＲＯＩ装置Ａ１００２が行う処理のフローチャート。 画像Ｄ６０１を示す図。 画像Ｄ７０１を示す図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。

［第１の実施形態］
先ず、本実施形態に係る動的ＲＯＩシステムの機能構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係る動的ＲＯＩシステムＡ１０００は、映像を取得する映像取得装置Ａ１００１、該映像の各フレームの画像を符号化して出力する動的ＲＯＩ装置Ａ１００２、符号化された各フレームの画像を復号して表示する表示装置Ａ１００３、を有する。

映像取得装置Ａ１００１と動的ＲＯＩ装置Ａ１００２との間は、無線および／又は有線のネットワークを介して接続されている。また、動的ＲＯＩ装置Ａ１００２と表示装置Ａ１００３との間は、無線および／又は有線のネットワークを介して接続されている。

先ず、映像取得装置Ａ１００１について説明する。映像取得装置Ａ１００１は、映像（動画像）を取得し、該映像を構成する各フレームの画像を動的ＲＯＩ装置Ａ１００２に供給する装置である。映像取得装置Ａ１００１による映像の取得形態、供給形態については特定の取得形態、供給形態に限らない。

例えば映像取得装置Ａ１００１は、自身若しくは外部が保持する映像を取得し、該取得した映像における各フレームの画像を順次、動的ＲＯＩ装置Ａ１００２に供給するようにしても良い。また映像取得装置Ａ１００１は、映像を撮像し、該撮像した映像における各フレームの画像を取得して順次、動的ＲＯＩ装置Ａ１００２に供給するようにしても良い。

次に、動的ＲＯＩ装置Ａ１００２（画像処理装置）について説明する。動的ＲＯＩ装置Ａ１００２は、映像取得装置Ａ１００１から供給された各フレームの画像を符号化するが、その際、該画像中の各物体の領域を適切な符号量で符号化する。そして動的ＲＯＩ装置Ａ１００２は、符号化した各フレームの画像を表示装置Ａ１００３に対して出力する。

映像取得部Ａ１００４は、映像取得装置Ａ１００１から供給される各フレームの画像を取得する。

領域分割部Ａ１００５は、映像取得部Ａ１００４が取得した画像に対して領域分割を行って、該画像中の物体の領域（物体領域）を検出し、該領域内の物体の属性（物体の種類など）を特定する。領域分割には、領域splitやSuper-parsing、DeepLearningによるfully CNN（Convolutional Neural Network）などの様々な手法が知られている。本実施形態では、高精度に領域分割できることからfully CNNを用いることを想定しているが、どの手法を用いてもよい。領域splitやSuper-parsing、fully CNNなどは公知の技術であることから、これらの領域分割技術に係る説明は省略する。そして領域分割部Ａ１００５は、画像から検出した物体領域ごとに、該画像における該物体領域を特定するための情報（例えば物体領域の左上隅および右下隅の座標位置）と、該物体領域内の物体の属性と、を含む物体情報を生成する。

比較部Ａ１００６は、領域分割部Ａ１００５が現フレームの画像について生成した物体情報と、記録部Ａ１００７に記録されている「過去のフレームの物体情報」と、を用いて、現フレームの画像上で重なり合っている物体間の前後関係や隠蔽関係を判断する。そして比較部Ａ１００６は、領域分割部Ａ１００５が現フレームの画像について生成した物体情報を出力するが、現フレームの画像上で互いに重なり合っている物体の物体情報は、物体間の前後関係や隠蔽関係を表す情報を付加してから出力する。

比較部Ａ１００６の動作について、具体例を挙げて説明する。図３に示す画像Ｄ１は、（ｆ−２）フレーム目（ｆは３以上の整数）の画像であり、該画像Ｄ１からは人の物体領域Ｐ２と建物の物体領域Ｐ１とが検出されている。人の物体領域Ｐ２については、該物体領域Ｐ２内の物体の属性「人」と、画像Ｄ１における該物体領域Ｐ２を特定するための情報（例えば物体領域Ｐ２の左上隅および右下隅の座標位置）と、を含む物体情報が生成される。同様に、建物の物体領域Ｐ１については、該物体領域Ｐ１内の物体の属性「建物」と、画像Ｄ１における該物体領域Ｐ１を特定するための情報（例えば物体領域Ｐ１の左上隅および右下隅の座標位置）と、を含む物体情報が生成される。図３に示す如く、画像Ｄ１では、人および建物のうち一方が他方に重なる状況は発生していない。

図４に示す画像Ｄ１０１は、（ｆ−１）フレーム目の画像（図３の画像Ｄ１より１フレーム後の画像）であり、該画像Ｄ１０１からは人の物体領域Ｐ１０２と建物の物体領域Ｐ１０１とが検出されている。人の物体領域Ｐ１０２については、該物体領域Ｐ１０２内の物体の属性「人」と、画像Ｄ１０１における該物体領域Ｐ１０２を特定するための情報（例えば物体領域Ｐ１０２の左上隅および右下隅の座標位置）と、を含む物体情報が生成される。同様に、建物の物体領域Ｐ１０１については、該物体領域Ｐ１０１内の物体の属性「建物」と、画像Ｄ１０１における該物体領域Ｐ１０１を特定するための情報（例えば物体領域Ｐ１０１の左上隅および右下隅の座標位置）と、を含む物体情報が生成される。図４に示す如く、画像Ｄ１０１では、画像Ｄ１から人が建物の背後に移動して、人の一部が建物に重なっている。

比較部Ａ１００６は、画像Ｄ１０１における人および建物の物体情報を領域分割部Ａ１００５から取得した場合、画像Ｄ１０１における人および建物の物体情報と、記録部Ａ１００７に記録されている「画像Ｄ１における人および建物の物体情報」と、を用いて、人と建物との前後関係や隠蔽関係を判断する。図３，４に示す如く、画像Ｄ１０１における人の物体領域Ｐ１０２は、建物の物体領域Ｐ１０１と隣接した状態で、その前のフレームにおける人の物体領域Ｐ２よりもサイズが小さくなっている。これは、人が建物の背後に移動したことで該人の一部が建物と重なっている（人は背面の物体、建物は前面の物体）ことを意味する。よって比較部Ａ１００６は、人の物体領域Ｐ１０２が建物の物体領域Ｐ１０１と隣接した状態で、その前のフレームにおける人の物体領域Ｐ２よりサイズが小さくなった場合、「人は建物と重なっている（人は背面の物体、建物は前面の物体）」と判断する。そして比較部Ａ１００６は、人の物体情報に「建物の背後に位置している」ことを表す情報（背面情報）を付加し、建物の物体情報に「人の前面に位置している」ことを表す情報（前面情報）を付加する。

図５に示す画像Ｄ２０１は、ｆフレーム目の画像（図４の画像Ｄ１０１より１フレーム後の画像）である。画像Ｄ２０１では、人が建物に隠蔽されていることから（建物に隠蔽されている人を点線で示している）、建物の物体領域Ｐ２０１は検出されるものの、人の物体領域は検出されない。また、人が建物に完全に隠蔽されてはないが、画像から人として検出されなかった場合（若しくは検出精度が閾値未満である場合）も同様に、人の物体領域は検出されない。よって、人の物体情報は生成されず、建物の物体領域Ｐ２０１については、該物体領域Ｐ２０１内の物体の属性「建物」と、画像Ｄ２０１における該物体領域Ｐ２０１を特定するための情報（例えば物体領域Ｐ２０１の左上隅および右下隅の座標位置）と、を含む物体情報が生成される。

比較部Ａ１００６は、画像Ｄ１０１で建物と重なっている（建物の背後に位置している）と判断していた人の物体領域が、画像Ｄ２０１から検出できなかった場合には、「人は建物に隠蔽された（人は背面の物体、建物は前面の物体である）」と判断する。そして比較部Ａ１００６は、「人は建物に隠蔽された（人は背面の物体、建物は前面の物体である）」と判断した場合、建物の物体情報に「人の前面に位置している（背後に人が位置している）」ことを表す前面情報を付加する。

このように比較部Ａ１００６は、一方の物体の物体領域が他方の物体領域と隣接している状態から、時間の経過と共に一方の物体の物体領域のサイズが小さくなっている間は、一方の物体の物体情報に「他方の物体の背後に位置している」ことを表す背面情報を付加し、他方の物体の物体情報に「一方の物体の前面に位置している」ことを表す前面情報を付加する。そしてその後、時間の経過と共にサイズが小さくなっていく一方の物体の物体領域が直前のフレームまでは検出されていたものの現フレームの画像からは検出されなくなった場合には、比較部Ａ１００６は、一方の物体は他方の物体に隠蔽されている状態であると判断し、他方の物体の物体情報に「一方の物体の前面に位置している」ことを表す前面情報を付加する。

なお、現フレームの画像上で重なっている物体間の前後関係および隠蔽関係を判断するための方法は上記の方法に限らず、様々な方法を適用することができる。また、重なっている物体や隠蔽関係にある物体を表す情報やその管理形態については上記の例に限らない。

記録部Ａ１００７は、過去の各フレームの画像中の物体の物体情報を記録する。

判定部Ａ１００８は、現フレームにおけるそれぞれの物体の物体情報を比較部Ａ１００６から取得する。そして判定部Ａ１００８は、比較部Ａ１００６から取得した物体情報のうち、前面情報が付加されている物体情報があるか否かを判定する（現フレームの画像で重なっている物体が存在するか否かを判定する）。以下では、前面情報が付加されている物体情報を、前面物体情報と称する。

判定部Ａ１００９は、現フレームの画像において重なっている物体のうち、重なってからの経過時間が規定時間を超える物体があるか否かを判断する。例えば判定部Ａ１００９は、前面物体情報に対応する物体（前面となる物体）を対象物体とする。そして判定部Ａ１００９は、該対象物体の物体情報に最初に前面情報が付加されてからの経過時間が規定時間以下であるのか否かを判断する。図３〜５の例では、人が建物と重なってからの経過時間が規定時間以下であるのか否かを判断する。この判断の結果、経過時間が規定時間を超えた場合には、判定部Ａ１００９は、前面物体情報から前面情報を削除する。経過時間の計時は判定部Ａ１００９が行う。

比較部Ａ１０１０は、現フレームにおけるそれぞれの物体の物体情報と、物体の属性ごとに設定符号量が登録されている符号量テーブルＡ１０１２と、を用いて、重なり合っているそれぞれの物体（前面の物体と背面の物体）の設定符号量を比較する。符号量テーブルＡ１０１２には、物体の属性ごとに、該属性を有する物体の領域の符号量として予め設定された設定符号量が登録されている。

比較部Ａ１０１０は、前面物体情報に含まれている「物体の属性」に対応する設定符号量を、「前面物体に対する設定符号量」として符号量テーブルＡ１０１２から取得する。また比較部Ａ１０１０は、前面物体情報に付加されている前面情報が「物体Ｂの前面に位置している」ことを表す場合、物体Ｂの物体情報に含まれている属性に対応する設定符号量を「背面物体に対する設定符号量」として符号量テーブルＡ１０１２から取得する。そして比較部Ａ１０１０は、「前面物体に対する設定符号量」と「背面物体に対する設定符号量」との大小比較を行う。そしてこの大小比較の結果、「前面物体に対する設定符号量」＞「背面物体に対する設定符号量」の場合には、比較部Ａ１０１０は、前面物体情報に付加されている前面情報を削除する。一方、この大小比較の結果、「前面物体に対する設定符号量」＜「背面物体に対する設定符号量」の場合には、比較部Ａ１０１０は、前面物体情報を後段の符号量変更部Ａ１０１１に対して送出する。

比較部Ａ１０１０の動作について、具体例を挙げて説明する。図６に示す画像Ｄ３０１には、木の物体領域Ｐ３０１、バスの物体領域Ｐ３０２、人の物体領域Ｐ３０３，Ｐ３０４が含まれている。符号量テーブルＡ１０１２には図６の場合、物体の属性「木」、「バス」、「人」、のそれぞれに対する設定符号量が登録されている。ここで、符号量テーブルＡ１０１２に登録されている木の設定符号量、人の設定符号量、バスの設定符号量、の大小関係は、木の設定符号量＜人の設定符号量＜バスの設定符号量であるものとする。

なお、より大きい符号量が設定されている物体領域は、より高画質で符号化され、より小さい符号量が設定されている物体領域は、より低画質で符号化される。「より高画質で符号化する」とは、「復号後の画質がより高画質となるように符号化する」ことであり、例えば、符号化に使用する量子化ステップをより小さくする。一方、「より低画質で符号化する」とは、「復号後の画質がより低画質となるように符号化する」ことであり、例えば、符号化に使用する量子化ステップをより大きくする。

本実施形態では、画像中のそれぞれの物体領域には、該物体領域中の物体の属性に対応する設定符号量が設定されるが、重なり合っている物体の物体領域の符号量については、該重なり合っている物体の属性に応じて変更する。図６の画像Ｄ３０１では、木、バス、人の何れも互いに重なり合っていないので、それぞれの物体の物体領域には、該物体の属性に対応する設定符号量が設定される。

図７に示す画像Ｄ４０１は、画像Ｄ３０１から数フレーム後の画像であり、画像Ｄ３０１から人が移動したことによって、人Ｐ４０３は木Ｐ４０１の背面に隠れており、人Ｐ４０４はバスＰ４０２の背面に隠れている。画像Ｄ４０１からは木Ｐ４０１は検出されたものの人Ｐ４０３は検出されず、その結果、木Ｐ４０１の物体領域として図８の物体領域Ｐ５０１が検出されたものとする。また、画像Ｄ４０１からはバスＰ４０２は検出されたものの人Ｐ４０４は検出されず、その結果、バスＰ４０２の物体領域として図８の物体領域Ｐ５０２が検出されたものとする。このような物体領域Ｐ５０１，Ｐ５０２のそれぞれの符号量は、次のようにして設定する。

比較部Ａ１０１０は、バスＰ４０２の背後に位置する物体（人Ｐ４０４）を、バスＰ４０２の物体情報に付加されている前面情報から特定する。そして比較部Ａ１０１０は、バスＰ４０２について符号量テーブルＡ１０１２に登録されている設定符号量と、人Ｐ４０４について符号量テーブルＡ１０１２に登録されている設定符号量と、の大小比較を行う。この大小比較の結果、前面の物体であるバスＰ４０２の設定符号量＞背面の物体である人Ｐ４０４の設定符号量、であるので、比較部Ａ１０１０は、前面の物体であるバスＰ４０２の物体情報に付加されている前面情報を削除する。

また、比較部Ａ１０１０は、木Ｐ４０１の背後に位置する物体（人Ｐ４０３）を、木Ｐ４０１の物体情報に付加されている前面情報から取得する。そして比較部Ａ１０１０は、木Ｐ４０１について符号量テーブルＡ１０１２に登録されている設定符号量と、人Ｐ４０３について符号量テーブルＡ１０１２に登録されている設定符号量と、の大小比較を行う。この大小比較の結果、前面の物体である木Ｐ４０１の設定符号量＜背面の物体である人Ｐ４０３の設定符号量、であるので、比較部Ａ１０１０は、前面の物体である木Ｐ４０１の物体情報を符号量変更部Ａ１０１１に対して送出する。

符号量変更部Ａ１０１１は、比較部Ａ１０１０から受けた前面物体情報に付加されている前面情報が「物体Ｂの前面に位置している」ことを表す場合、物体Ｂの物体情報に含まれている属性に対応する設定符号量を符号量テーブルＡ１０１２から取得する。そして符号量変更部Ａ１０１１は、該取得した設定符号量を、前面物体情報に対応する物体領域の符号量として設定する。つまり符号量変更部Ａ１０１１は、互いに重なり合っている物体のうち背面の物体の設定符号量が前面の物体に対する設定符号量よりも大きい場合には、背面の物体の設定符号量を前面の物体に対する符号量として設定する。

図８の例では、木Ｐ４０１の物体領域Ｐ５０１の符号量として、木Ｐ４０１の背後に位置している人Ｐ４０３に対応する設定符号量が設定される。また、バスＰ４０２の物体領域Ｐ５０２の符号量は変わらない。物体領域Ｐ５０１では木Ｐ４０１の符号量を設定すると人Ｐ４０３の視認性が低下してしまうため、背後にいる人Ｐ４０３に対応する符号量を設定することで人の視認性を向上させる。また、物体領域Ｐ５０２ではバスＰ４０２の符号量を設定しても人Ｐ４０４の視認性は低下しないため、符号量の設定を変更しない。

符号量設定部Ａ１０１３は、未だ符号量が設定されていない物体領域の物体情報中の属性に対応する設定符号量を符号量テーブルＡ１０１２から取得し、該取得した設定符号量を該物体領域の符号量として設定する。また符号量設定部Ａ１０１３は、領域分割部Ａ１００５、比較部Ａ１００６、判定部Ａ１００８、判定部Ａ１００９、比較部Ａ１０１０を経て得られる現フレームの物体情報を、記録部Ａ１００７に記録する。

符号化部Ａ１０１４は、現フレームの画像を符号化するのであるが、該画像における物体領域については、該物体領域に対して上記の処理にて設定された符号量でもって符号化する。

映像出力部Ａ１０１５は、符号化部Ａ１０１４によって符号化された画像（符号化画像）を表示装置Ａ１００３に対して出力する。なお、符号化画像の出力先は表示装置Ａ１００３に限らず、動的ＲＯＩ装置Ａ１００２の内部若しくは外部のメモリ装置を出力先としても良いし、動的ＲＯＩ装置Ａ１００２と通信可能な外部装置を出力先としても良い。

次に、表示装置Ａ１００３について説明する。表示装置Ａ１００３は、映像出力部Ａ１０１５から出力された符号化画像を復号して表示する。表示装置Ａ１００３は、復号した画像を液晶画面やタッチパネル画面に表示しても良いし、投影面に投影させても良い。図１では、表示装置Ａ１００３は動的ＲＯＩ装置Ａ１００２とは別個の装置としているが、動的ＲＯＩ装置Ａ１００２と表示装置Ａ１００３とを一体化させて１つの装置としても良い。

次に、動的ＲＯＩ装置Ａ１００２が１フレーム分の画像を符号化して出力するために行う処理について、同処理のフローチャートを示す図２を用いて説明する。動的ＲＯＩ装置Ａ１００２は、図２のフローチャートに従った処理を、映像取得装置Ａ１００１から取得する各フレームの画像について行う。また、図２のフローチャートに従った処理の終了条件は特定の条件に限らず、例えば、「ユーザが動的ＲＯＩ装置Ａ１００２の不図示の電源スイッチをＯＦＦにした」であっても良い。

ステップＳ２０１では、映像取得部Ａ１００４は、映像取得装置Ａ１００１から供給された画像を取得する。ステップＳ２０２では、領域分割部Ａ１００５は、ステップＳ２０１で取得した画像中の各物体の物体領域を検出し、物体領域ごとに物体情報を生成する。

ステップＳ２０３では、比較部Ａ１００６は、ステップＳ２０１で取得した画像上で互いに重なっている物体があるか否かを判断する。この判断の結果、ステップＳ２０１で取得した画像上で互いに重なっている物体がある場合には、処理はステップＳ２０４に進み、ステップＳ２０１で取得した画像上で互いに重なっている物体が無い場合には、処理はステップＳ２１０に進む。

比較部Ａ１００６は、一方の物体の物体領域が他方の物体の物体領域と隣接した状態で、その前のフレームにおける一方の物体領域よりサイズが小さくなった場合には、ステップＳ２０１で取得した画像上で互いに重なっている物体があると判断する。このときステップＳ２０４では比較部Ａ１００６は、一方の物体情報に「他方の物体の背後に位置している」ことを表す背面情報を付加し、他方の物体情報に「一方の物体の前面に位置している」ことを表す前面情報を付加する。

また比較部Ａ１００６は、直前のフレームまでは一方の物体と重なっていると判断していた他方の物体の物体領域が、ステップＳ２０１で取得した画像から検出できなかった場合、ステップＳ２０１で取得した画像上で互いに重なっている物体があると判断する。このときステップＳ２０４では比較部Ａ１００６は、一方の物体の物体情報に「他方の物体の前面に位置している」ことを表す前面情報を付加する。

ステップＳ２０５では、判定部Ａ１００８は、前面物体情報に対応する物体を対象物体とし、判定部Ａ１００９は、該対象物体の物体情報に最初に前面情報が付加されてからの経過時間Ｔが規定時間θ以下であるのか否かを判断する。

この判断の結果、経過時間Ｔが規定時間θ以下であれば、処理はステップＳ２０７に進み、経過時間Ｔが規定時間θを超えている場合には、処理はステップＳ２０６に進む。ステップＳ２０６では、判定部Ａ１００９は、前面物体情報から前面情報を削除する。

ステップＳ２０７では、比較部Ａ１０１０は、「前面物体に対する設定符号量」と「背面物体に対する設定符号量」との大小比較を行う。そしてこの大小比較の結果、「前面物体に対する設定符号量」＞「背面物体に対する設定符号量」の場合には、処理はステップＳ２０６に進む。一方、この大小比較の結果、「前面物体に対する設定符号量」＜「背面物体に対する設定符号量」の場合には、処理はステップＳ２０８に進む。

ステップＳ２０８では、比較部Ａ１０１０は、前面物体情報を後段の符号量変更部Ａ１０１１に対して送出する。符号量変更部Ａ１０１１は、該前面物体情報に付加されている前面情報が「物体Ｂの前面に位置している」ことを表す場合、物体Ｂの属性に対応する設定符号量を、前面物体情報に対応する物体領域の符号量として設定する。上記のステップＳ２０４〜Ｓ２０８の処理は、互いに重なっていると判断された物体ごとに行われる。

ステップＳ２０９では、符号量設定部Ａ１０１３は、未だ符号量が設定されていない物体領域の物体情報中の属性に対応する設定符号量を符号量テーブルＡ１０１２から取得し、該取得した設定符号量を該物体領域の符号量として設定する。また符号量設定部Ａ１０１３は、ステップＳ２０８の時点における現フレームの物体情報を、記録部Ａ１００７に記録する。

ステップＳ２１０では、符号化部Ａ１０１４は、現フレームの画像を符号化するのであるが、該画像における物体領域については、該物体領域に対して上記の処理にて設定された符号量でもって符号化する。ステップＳ２１１では、映像出力部Ａ１０１５は、ステップＳ２１０で符号化部Ａ１０１４によって符号化された符号化画像を、表示装置Ａ１００３に対して出力する。

このように、本実施形態によれば、低い符号量が設定された物体の背後に高い符号量が設定された物体が位置する場合には、前面の物体の符号量を背面の物体に設定される符号量と同様にすることによって、背面の物体の視認性を向上させることができる。

なお、必要に応じてステップＳ２０５，Ｓ２０６は削除しても良く、その場合、重なってからの経過時間が規定時間を超える物体であっても、ステップＳ２０７以降の処理の対象とする。

また、「前面物体に対する設定符号量」と「背面物体に対する設定符号量」との大小比較の結果だけでなく、これらの差の大きさをも参酌して、設定する符号量を変更するようにしても良い。例えば、「前面物体に対する設定符号量」＜「背面物体に対する設定符号量」の場合には、これらの設定符号量の差が大きいほどより大きい符号量を前面の物体に対して設定する。

［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。本実施形態では、比較部Ａ１０１０は、前面物体情報に含まれている「物体の属性」が、「該物体の背後に位置する物体の一部若しくは全部が視認可能な物体の属性」（視認属性）であるのか否かを判断する。そして比較部Ａ１０１０は、前面物体情報に含まれている「物体の属性」が視認属性であれば、前面物体情報を後段の符号量変更部Ａ１０１１に対して送出する。一方、比較部Ａ１０１０は、前面物体情報に含まれている「物体の属性」が視認属性でなければ、前面物体情報に付加されている前面情報を削除する。

本実施形態に係る比較部Ａ１０１０の動作について、具体例を挙げて説明する。図１１に示す画像Ｄ６０１には、建物の物体領域Ｐ６０１、木の物体領域Ｐ６０２、人の物体領域Ｐ６０３，Ｐ６０４が含まれている。建物の物体領域Ｐ６０１、木の物体領域Ｐ６０２、人の物体領域Ｐ６０３，Ｐ６０４のそれぞれには設定符号量が設定済みであるものとする。

図１２に示す画像Ｄ７０１は、画像Ｄ６０１から数フレーム後の画像であり、画像Ｄ６０１から人が移動したことによって、人Ｐ７０３は建物Ｐ７０１の背面に隠れており、人Ｐ７０４は木Ｐ７０２の背面に隠れている。ここで、建物Ｐ７０１の背後に位置する物体を建物Ｐ７０１を介して視認することはできないが、木Ｐ７０２は、その背後に隠れている物体を木の葉や枝の隙間を通して視認することができる。よって、この場合、符号量テーブルＡ１０１２の代わりに、物体の属性ごとに、該属性が視認属性であるのか否かが登録された視認属性テーブルを利用する。図１１，１２の場合、視認属性テーブルには、建物Ｐ７０１の属性は視認属性として登録されておらず、木Ｐ７０２の属性は視認属性として登録されていることになる。

よって本実施形態の場合、比較部Ａ１０１０は、視認属性テーブルを参照して、前面物体情報に含まれている物体の属性が視認属性として視認属性テーブルに登録されているか否かを判断する。この判断の結果、前面物体情報に含まれている物体の属性が視認属性として視認属性テーブルに登録されている場合には、比較部Ａ１０１０は、前面物体情報を後段の符号量変更部Ａ１０１１に対して送出する。一方、この判断の結果、前面物体情報に含まれている物体の属性が視認属性として視認属性テーブルに登録されていない場合には、比較部Ａ１０１０は、前面物体情報に付加されている前面情報を削除する。

次に、本実施形態に係る動的ＲＯＩ装置Ａ１００２が１フレーム分の画像を符号化して出力するために行う処理について、同処理のフローチャートを示す図１０を用いて説明する。動的ＲＯＩ装置Ａ１００２は、図１０のフローチャートに従った処理を、映像取得部Ａ１００４から取得する各フレームの画像について行う。また、図１０のフローチャートに従った処理の終了条件については特定の条件に限らず、例えば、「ユーザが動的ＲＯＩ装置Ａ１００２の不図示の電源スイッチをＯＦＦにした」であっても良い。

ステップＳ１００１では、比較部Ａ１０１０は、視認属性テーブルを参照し、前面物体情報に含まれている物体の属性が視認属性として視認属性テーブルに登録されているか否かを判断する。この判断の結果、前面物体情報に含まれている物体の属性が視認属性として視認属性テーブルに登録されている場合には、処理はステップＳ２０８に進む。一方、この判断の結果、前面物体情報に含まれている物体の属性が視認属性として視認属性テーブルに登録されていない場合には、処理はステップＳ２０６に進む。

このように、本実施形態によれば、物体同士が重なっても、前面の物体を通して背後の物体を視認できる場合には、前面の物体の符号量を背面の物体に対応する符号量と同様にすることによって、背面の物体の視認性を向上させることができる。

［第３の実施形態］
図１に示した各機能部はハードウェアで実装しても良いが、一部をソフトウェアで実装しても良い。例えば、記録部Ａ１００７をメモリで実装し、符号量テーブルＡ１０１２や視認属性テーブルをデータとして実装し、それ以外の機能部をコンピュータプログラムで実装しても良い。この場合、記録部Ａ１００７としてのメモリを有し、符号量テーブルＡ１０１２や視認属性テーブルをデータとして有し、それ以外の機能部として実装したコンピュータプログラムを実行可能なコンピュータ装置は、動的ＲＯＩ装置Ａ１００２に適用可能である。

動的ＲＯＩ装置Ａ１００２に適用可能なコンピュータ装置のハードウェア構成例について、図９のブロック図を用いて説明する。このようなコンピュータ装置には、ＰＣ（パーソナルコンピュータ）、タブレット型端末装置、スマートフォン、などの装置が適用可能である。

ＣＰＵ９０１は、ＲＡＭ９０２やＲＯＭ９０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ９０１は、コンピュータ装置全体の動作制御を行うと共に、動的ＲＯＩ装置Ａ１００２が行うものとして上述した各処理を実行若しくは制御する。

ＲＡＭ９０２は、ＲＯＭ９０３や外部記憶装置９０６からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。さらにＲＡＭ９０２は、Ｉ／Ｆ（インターフェース）９０７を介して外部から受信したデータ（例えば、映像取得装置Ａ１００１から受信した各フレームの画像）を格納するためのエリアを有する。またＲＡＭ９０２は、ＣＰＵ９０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ９０２は、各種のエリアを適宜提供することができる。ＲＯＭ９０３には、コンピュータ装置の設定データや起動プログラムなどが格納されている。

操作部９０４は、キーボード、マウス、タッチパネルなどのユーザインターフェースにより構成されており、ユーザが操作することで、各種の指示をＣＰＵ９０１に対して入力することができる。

表示部９０５は、液晶画面やタッチパネルなどにより構成されており、ＣＰＵ９０１による処理結果を画像や文字などでもって表示することができる。なお、表示部９０５は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。

外部記憶装置９０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置９０６には、ＯＳ（オペレーティングシステム）、図１において記録部Ａ１００７、符号量テーブルＡ１０１２や視認属性テーブルを除く各機能部の機能をＣＰＵ９０１に実現させるためのコンピュータプログラムが保存されている。また、外部記憶装置９０６には、符号量テーブルＡ１０１２や視認属性テーブルのデータ、上記の説明で既知の情報としたもの（規定時間など）、が保存されている。外部記憶装置９０６に保存されているコンピュータプログラムやデータは、ＣＰＵ９０１による制御に従って適宜ＲＡＭ９０２にロードされ、ＣＰＵ９０１による処理対象となる。

Ｉ／Ｆ９０７は、外部の機器との間のデータ通信を行うためのインターフェースとして機能するものであり、例えば、このＩ／Ｆ９０７には、上記の映像取得装置Ａ１００１や表示装置Ａ１００３を接続することができる。

ＣＰＵ９０１、ＲＡＭ９０２、ＲＯＭ９０３、操作部９０４、表示部９０５、外部記憶装置９０６、Ｉ／Ｆ９０７は、バス９０８に接続されている。なお、動的ＲＯＩ装置Ａ１００２に適用可能なコンピュータ装置のハードウェア構成は図９に示した構成に限らない。

また、上記の各実施形態では、映像取得装置Ａ１００１、動的ＲＯＩ装置Ａ１００２、表示装置Ａ１００３のそれぞれは別個の装置としたが、このうち２つ以上を１つの装置に統合させても良い。例えば、上記の動的ＲＯＩ装置Ａ１００２をカメラとしての映像取得装置Ａ１００１に組み込んでも良い。この場合、映像取得装置Ａ１００１は、自身が撮像した画像における各物体領域の符号量を設定し、該物体領域を該符号量に従って符号化してから出力する撮像装置として機能することになる。

以上説明した各実施形態やその変形例の一部若しくは全部を適宜組み合わせても構わない。また、以上説明した各実施形態やその変形例の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Ａ１００４：映像取得部 Ａ１００５：領域分割部 Ａ１００６：比較部 Ａ１００７：記録部 Ａ１００８：判定部 Ａ１００９：判定部 Ａ１０１０：比較部 Ａ１０１１：符号量変更部 Ａ１０１２：符号量テーブル Ａ１０１３：符号量設定部 Ａ１０１４：符号化部 Ａ１０１５：映像出力部

Claims (9)

1. 画像中で互いに重なり合っている物体の属性に基づき、該互いに重なり合っている物体のうち前面の物体に対する符号量を設定する設定手段と、
   前記前面の物体の領域を、該物体について前記設定手段が設定した符号量で符号化する符号化手段と
   を備えることを特徴とする画像処理装置。
2. 前記設定手段は、前記画像中で互いに重なり合っている物体のうち背面の物体の属性に対して予め設定されている設定符号量が、前記前面の物体の属性に対して予め設定されている設定符号量よりも大きい場合には、前記背面の物体に対して予め設定されている設定符号量を、前記前面の物体に対する符号量として設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記前面の物体の属性が、背面を視認が可能な物体の属性として予め設定されている属性であれば、前記背面の物体に対して予め設定されている設定符号量を、前記前面の物体に対する符号量として設定することを特徴とする請求項１に記載の画像処理装置。
4. 前記設定手段は、前記画像中で互いに重なり合っていない物体、前記画像中で互いに重なり合っている物体のうち背面の物体、のそれぞれに対し、該物体の属性に対して予め設定されている設定符号量を設定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 更に、
   前記画像中で互いに重なり合っている物体を検出する手段を備えることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 更に、
   前記符号化手段によって符号化された画像を出力する手段を備えることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記画像を取得する手段と、
   請求項１乃至６の何れか１項に記載の画像処理装置と
   を備えることを特徴とする撮像装置。
8. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の設定手段が、画像中で互いに重なり合っている物体の属性に基づき、該互いに重なり合っている物体のうち前面の物体に対する符号量を設定する設定工程と、
   前記画像処理装置の符号化手段が、前記前面の物体の領域を、該物体について前記設定工程で設定した符号量で符号化する符号化工程と
   を備えることを特徴とする画像処理方法。
9. コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images