JP2021118404A - 撮像装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 ＨＤＲ画像を符号化する際のフレームの種類ごとの目標符号量比率を、ＳＤＲ画像の場合とは異なるようにすることで、回路規模を増加させることなく、ＨＤＲ画像の画質劣化を抑制した符号化を行う。【解決手段】 撮像部を有する撮像装置であって、撮像部により撮像された符号化対象の画像を、フレームの種類ごとに設定された目標符号量に従って符号化する符号化部と、該符号化部を制御し、目標符号量を設定する制御部とを有する。そして、制御部は、符号化対象の画像がＨＤＲ画像か、ＳＤＲ画像かを判定する判定部と、該判定部により、符号化対象の画像がＨＤＲ画像であると判定された場合は、Ｉフレームの他の種類のフレームに対する目標符号量の比率を、ＳＤＲ画像であると判定された場合のＩフレームの他の種類のフレームに対する目標符号量の比率よりも高く設定する設定部とを含む。【選択図】 図２

Description

本発明は、撮像装置及びその制御方法及びプログラムに関するものである。

近年、ＨＤＲ（High Dynamic Range）に対応したカメラやディスプレイが出てきている。またカメラには映像を符号化する高能率符号化方式としてＭＰＥＧ（Moving Picture Expert Group）−２、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）、ＨＥＶＣ（High Efficiency Video Coding）などが利用されている。これら高能率符号化方式においては出力するストリームの単位時間当たりのデータ量を一定に保つために符号量制御を行っている。ＭＰＥＧ−２においてはＴＭ−５（Test Model 5）と呼ばれる符号量制御が使用されてきた。このＴＭ−５の制御方法をＨ．２６４やＨＥＶＣに適用することも可能である。

ＨＤＲ画像に対してＴＭ−５の符号量制御を用いた場合、ＨＤＲ画像と従来のＳＤＲ（Standard Dynamic Range）画像では明るさのレベルと画素値の割り付け方が異なるため色成分を正しく表現し、符号化しないとＳＤＲと比べて色相の符号化歪がディスプレイ上で目立つという課題がある。該課題に対し、別の色空間に変換してから符号化することでＳＤＲやＨＤＲに依存しない処理を行うことで色相の符号化歪を目立たないようにする技術が提案されている（例えば特許文献）。

特開２０１９−００４３０４号公報

ここでＳＤＲ画像とＨＤＲ画像とで、同じ絵柄でも画素値の分布が大きく異なる例を、図３を用いて説明する。図３は水平軸に画素値、垂直軸に頻度を示したヒストグラムである。黒塗りの棒グラフがＳＤＲ画像のヒストグラムを示し、斜線の棒グラフがＨＤＲ画像のヒストグラムを示している。２つのヒストグラムの絵柄は同じである。しかし明るさと画素値の割り付けが異なるため、ＳＤＲ画像の場合は図３に示した画素値レンジ３０１に多くの画素値が集まっているが、ＨＤＲ画像の場合は図３に示した画素値レンジ３０２に多くの画素値が集まっている。図３に示すように同じ絵柄であってもＨＤＲ画像においてはＳＤＲ画像よりも画素値が低くなる。ＨＤＲ画像の場合、ＳＤＲ画像に比べて画素値が低いレンジに集まりやすいため符号化過程で生ずる予測差分値が小さくなり発生符号量がＳＤＲ画像に比べて低く出る傾向にある。よってＳＤＲ画像符号化時の符号量制御をＨＤＲ画像にそのまま適用すると、ＨＤＲ画像の場合のＩフレームの発生符号量が低めになり、Ｉフレームを参照する他の画像にも影響し、画質が劣化するという問題が発生する。また、従来技術の構成では一旦別の色空間に変換する必要があるため回路規模が増大するといった課題がある。

本発明では上記の問題に鑑みなされたものであり、ＨＤＲ画像を符号化する際のフレームの種類ごとの目標符号量比率を、ＳＤＲ画像の場合とは異なるようにすることで、回路規模を増加させることなく、ＨＤＲ画像の画質劣化を抑制した符号化を行う技術を提供しようとするものである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段を有する撮像装置であって、
前記撮像手段により撮像された符号化対象の画像を、フレームの種類ごとに設定された目標符号量に従って符号化する符号化手段と、
該符号化手段を制御し、前記目標符号量を設定する制御手段とを有し、
前記制御手段は、
符号化対象の画像がＨＤＲ（High Dynamic Range）画像か、ＳＤＲ（Standard Dynamic Range）画像かを判定する判定手段と、
該判定手段により、符号化対象の画像がＨＤＲ画像であると判定された場合は、Ｉフレームの他の種類のフレームに対する目標符号量の比率を、ＳＤＲ画像であると判定された場合のＩフレームの他の種類のフレームに対する目標符号量の比率よりも高く設定する設定手段とを含むことを特徴とする。

本発明によれば、ＨＤＲ画像を符号化する際のフレームの種類ごとの目標符号量比率を、ＳＤＲ画像の場合とは異なるようにすることで、回路規模を増加させることなく、ＨＤＲ画像の画質劣化を抑制した符号化を行うことが可能になる。

第１の実施形態における撮像装置内の符号化部のブロック構成図。 第１の実施形態における符号量制御部の処理を示すフローチャート。 ＨＤＲ画像とＳＤＲ画像のヒストグラムの例を示す図。 第２の実施形態における撮像装置内の符号化部のブロック構成図。 第２の実施形態における符号量制御部の処理を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、第１の実施の形態となる撮像装置における符号化部１００のブロック構成図である。符号化部１００は、撮像部１０１、画像並び替えバッファ１０２、加算器１０３、直交変換部１０４、量子化部１０５、逆量子化部１０６、逆直交変換部１０７、加算器１０８、ループフィルタ１０９、フレームメモリ１１０、動き検出部１１１、動き補償部１１２、イントラ予測部１１３、スイッチ１１４、二値化部１１５、算術符号化部１１６、記録処理部１１７、記録媒体１１８、符号量制御部１１９を有する。

撮像部１０１は光学レンズ、絞り、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系とレンズ光学系からの光情報を電気信号に変換するＣＣＤ又はＣＭＯＳなどのイメージセンサを含む。そして、撮像部１０１は、イメージセンサ面上に結像した像の電気信号を生成し、更にデジタル信号へ変換した画像データを生成する。更に撮像部１０１は、生成した画像データに対してデモザイク処理、ノイズ除去処理、光学歪補正処理、変換処理、色補正処理等の現像処理を行うことで、符号化部１００の入力画像を生成する。該現像処理過程の変換処理において、ＳＤＲ()画像の場合にはガンマ補正が施され、ＨＤＲ()画像の場合には例えばＳＭＰＴＥ ＳＴ２０８４で規格化されているＰＱ（Perceptual Quantization）やＡＲＩＢ ＳＴＤ−Ｂ６７で開発されたＨＬＧ（Hybrid Log Gamma）の電光変換特性（EOTF:Electro-Optical Transfer Function）の逆特性（光電変換特性、ＯＥＴＦ：Optical-Electro Transfer Function）を用いる。また、撮像部１０１は、符号量制御部１１９に、符号化対象画像がＳＤＲ画像なのかＨＤＲ画像なのかを出力する。なお、ＳＤＲ画像、ＨＤＲ画像の切り替えは、不図示のユーザインタフェースよるユーザの指示に従って行われる。

画像並び替えバッファ１０２は、撮像部１０１から入力した画像データをＧＯＰ（Group Of Pictures）構造に応じて並び替えるためのメモリで複数フレーム分の画像を保持可能である。加算器１０３は、画像並び替えバッファ１０２から入力した入力画像と、後述するイントラ予測部１１３もしくは動き補償部１１２で生成された予測画像との差分画像を生成する。直交変換部１０４は、差分画像に対して直交変換を行う。例えば離散コサイン変換（ＤＣＴ変換）及び離散サイン変換（ＤＳＴ変換）を行う。量子化部１０５は、直交変換部１０４にて変換された変換係数に対し、主に高周波成分の量子化ステップ値を大きくすることで、情報量削減を行う。逆量子化部１０６は、量子化部１０５で量子化されたデータに対して逆量子化処理を行う。逆直交変換部１０７は、逆量子化されたデータに対して逆直交変換を行う。

加算器１０８は、逆直交変換部１０７で生成された差分画像と後述するスイッチ１１４から出力される予測画像を加算し、局所復号画像（ローカルデコード画像）を生成する。生成したローカルデコード画像は、イントラ予測部１１３及びループフィルタ１０９に出力する。ループフィルタ１０９は、ローカルデコード画像の予測の処理単位ＰＵブロック単位もしくは、変換・量子化の処理単位ＴＵブロック単位でフィルタ処理を施し、ブロックノイズを除去し、参照画像として使用されるローカルデコード画像の品質を向上させている。フィルタ処理後のローカルデコード画像はフレームメモリ１１０に記憶される。このフレームメモリ１１０は、ローカルデコード画像を記憶しているメモリである。記憶されているローカルデコード画像は、フレーム間予測時に参照画像として使用される。

動き検出部１１１は、フレーム間予測を行う際に、原画像と参照画像の差分を小さくするために、ブロック毎に動きベクトルを算出する。そして、動き検出部１１１は、算出された動きベクトルを、動き補償部１１２及び二値化部１１５に出力する。動き補償部１１２は、動きベクトル及び参照画像を入力し、予測画像を生成する。生成した予測画像はスイッチ１１４に出力される。

イントラ予測部１１３は、フレーム内予測を行う。加算器１０８の出力であるローカルデコード画像と入力画像を入力し、フレーム内予測を行い予測画像を生成する。そして、イントラ予測部１１３は、予測画像をスイッチ１１４に出力し、予測モードなどの情報を二値化部１１５に出力する。

スイッチ１１４は、フレーム内予測時は、イントラ予測部１１３からの出力である予測画像を選択し、フレーム間予測時は、動き補償部１１２からの予測画像を選択し、選択した予測画像を加算器１０３に出力する。前述した通り、加算器１０３は、入力画像と予測画像の差分をとり差分画像を生成する。

二値化部１１５は、変換係数を始め、動きベクトル、予測モード等符号化過程で生じる符号化パラメータを入力とし、二値化処理を行い二値データを生成し算術符号化部１１６に出力する。

算術符号化部１１６は、二値化部１１５で生成された二値データを入力とし算術符号化処理を行い、圧縮処理を行う。二値化部１１５と算術符号化部１１６による符号化を合わせてエントロピー符号化と呼ぶ。記録処理部１１７は算術符号化部１１６で生成された算術符号データを記録媒体１１８に記録する。記録媒体１１８は、不揮発性メモリで構成される記録メディアであり、代表的には例えばＳＤカードである。

符号量制御部１１９は、記録媒体１１８に記録される符号化後のストリームがユーザ操作などにより設定されたビットレートに収まるように符号量を制御する（量子化マトリクスを決定する）。算術符号化部１１６から発生した符号量をフィードバックしながら１フレーム毎に目標符号量を算出し、量子化部１０５に対して１フレームの目標符号量を設定することでビットレートを制御する。符号量制御の方式としては例えば前述したＭＰＥＧ−２で用いられているＴＭ−５方式による符号量制御を行う。また撮像部１０１からは入力される画像がＳＤＲ画像なのかＨＤＲ画像なのかを示す情報が入力される。

続いて実施形態における符号量制御部１１９の制御フローについて図１の構成、並びに、図２のフローチャートに従って説明する。

Ｓ２０１にて、符号量制御部１１９は、撮像部１０１からの入力画像がＨＤＲ画像であるか否か判断する。そして、符号量制御部１１９は、入力画像がＨＤＲ画像であると判断した場合には処理をＳ２０３に、入力画像がＨＤＲ画像ではない（ＳＤＲ画像である）と判断した場合は処理をＳ２０２に進める。

符号量制御部１１９は、入力画像がＳＤＲ画像である場合、Ｉ、Ｐ、Ｂ各フレームの目標符号量Ｔｉ、Ｔｐ、Ｔｂを、ＴＭ−５方式の下記式（１）から（３）により求める。式（１）のＴｉはＩフレームの目標符号量を示しており、式（２）のＴｐはＰフレームの目標符号量を、式（３）のＴｂはＢフレームの目標符号量を示している。なお、ｍａｘ｛｝は、最大となる値を返す関数である。

上記の如く、ＫｐとＫｂの値を変更することで、Ｉ、Ｐ、Ｂ各フレームの符号量比率を変更することができる。

Ｓ２０２においては、符号量制御部１１９は、ＳＤＲ画像を符号化する際に適した値に予め設定されているＫｐとＫｂの値を用いるので、Ｉ、Ｐ、Ｂフレームについては、その符号量比率を変更しない符号化を行うことになる。

なお、ＲはＧＯＰ内で割り当てることができる残りビット数、Ｎｐ，ＮｂはＧＯＰ中の残り（未符号化）Ｐ、Ｂフレーム数を示す。Ｓｉ，Ｓｐ，Ｓｂは直前のフレームタイプ毎の発生符号量、Ｑｉ，Ｑｐ，Ｑｂは直前の同フレームタイプの量子化パラメータ平均値、Ｘｉ，Ｘｐ，Ｘｂはフレームの複雑度（Complexity）を示し、式（４）から（６）で求まる。ｂｉｔ＿ｒａｔｅは目標符号量［ｂｉｔｓ／ｓｅｃ］を示し、ｐｉｃｔｕｒｅ＿ｒａｔｅは、符号化対象の画像における１秒あたりのフレーム数を示す。

一方、入力画像がＨＤＲ画像である場合は、符号量制御部１１９は、Ｓ２０３にて、ＫｐとＫｂの値を変更し、Ｉ、Ｐ、Ｂフレームの目標符号量比率を変更する。

入力画像がＨＤＲ画像の場合、画像の中に明るい画素領域が少ない場合は、画素値としてはＳＤＲ画像に比べて低い画素値に偏る傾向にあり、図１の加算器１０３において原画像と予測画像の差分画像の振幅がＳＤＲ画像に比べて小さくなる傾向にある。その結果、算術符号化部１１６で生成されるストリームの発生符号量も、ＳＤＲ画像のストリームの発生符号量に比べて低くなる。

そこで、符号化対象画像がＨＤＲ画像である場合、本第１の実施形態の符号量制御部１１９は、Ｓ２０３において、上記式（１）から（３）で使用するＫｐ、Ｋｂの値を変更し、Ｉ、Ｐ、Ｂフレームの目標符号量比率を変更する。より具体的には、符号量制御部１１９は、ＳＤＲ画像の場合のＩ、Ｐ、Ｂ目標符号量比率と比較して、Ｉフレームの目標符号量比率を大きくなるようにＫｐ、Ｋｂを設定し、Ｉフレームの発生符号量が低下してしまうことを防ぐ。Ｋｐ，Ｋｂの値は、予め不揮発性メモリに保持するものとする。

このようにＩ、Ｐ、Ｂフレームの目標符号量比率を制御することでＨＤＲ画像を入力した場合でも回路規模を増加させることなく画質劣化を抑制した符号量制御が可能となる。なお、上記実施形態では、１ＧＯＰに含まれるフレームの種類として、Ｉフレーム、Ｐフレーム、Ｂフレームとしたが、ＩフレームとＰフレームの２種類としても良い。

［第２の実施形態］
第２の実施形態を説明する。図４は、本第２の実施形態が適用する、撮像装置における符号化部４００のブロック構成図である。図４において、参照符号４０１〜４１９は、図１の参照符号１０１〜１１９それぞれに対応するものであるので、その説明は省略する。図１に示した符号化部１００の場合、撮像部１０１から符号量制御部１１９への入力があったが、図４に示す符号化部４００では撮像部４０１に加え画像並び替えバッファ４０２から符号量制御部４１９への入力も加わっている点が異なる。

画像並び替えバッファ４０２は、撮像部４０１から入力した画像データをＧＯＰ（Group Of Pictures）構造に応じて並び替えるためのメモリで、複数フレーム分の画像を保持可能な容量を有する。

複数フレーム分のメモリを有するため撮像部４０１から画像を入力した際に入力画像１フレーム分をスキャンし、解析することが可能である。そのため、符号量制御部４１９は、例えば入力画像の画素値を解析し、最頻値や平均値などを算出することが可能である。

続いて本第２の実施形態における符号量制御部４１９の処理を、図５のフローチャートを参照して説明する。

Ｓ５０１にて、符号量制御部４１９は、撮像部４０１からの入力画像がＨＤＲ画像かどうかを判断する。符号量制御部４１９は、入力画像がＨＤＲ画像であると判定した場合は処理をＳ５０２に、ＨＤＲ画像でないと判定した場合（ＳＤＲ画像であると判定した場合）は、処理をＳ５０３に進める。

Ｓ５０２にて、符号量制御部４１９は、画像並び替えバッファ４０２を参照して、入力画像の画素値を解析し、画素値に偏りがあるかどうかを判断する。例えば入力された画像のヒストグラムを求め、画素値の最頻値や平均値が所定の閾値以下である場合は、画素値が偏っていると判断する。図３で示したＨＤＲ画像のヒストグラムでは、１画素１０ｂｉｔで画素値は０から１０２３まで取り得て、最頻値は６３４で平均値は４４０である。例えば最頻値の閾値を８００、平均値の閾値を５００などと設定しており、図３で示したＨＤＲ画像の画素値における最頻値が６３４、平均値が４４０であるとする。この場合、いずれも閾値よりも低い画素値であるので偏っていると判断する。この例では偏りの指標値として最頻値と平均値を用いたが、画像の画素値の偏りを示せる情報であれば、特にこれに限定されず、他の指標を採用しても良い。

さて、符号量制御部４１９は画像に偏りがあると判定した場合は、処理をＳ５０４に進める。そして、このＳ５０４にて、符号量制御部４１９は、第１の実施形態で示した目標符号量Ｔｉ、Ｔｐ、Ｔｂを求める式（１）から（３）で用いるＫｐとＫｂの値を変更し、ＳＤＲ画像と比較し、Ｉ、Ｐ、Ｂフレームの符号量比率でのＩフレームの符号量比率を高くなるように設定する。

一方、画素値に偏りがないと判断した場合、符号量制御部４１９は、処理をＳ５０３に進みる。このＳ５０３ｂにて、符号量制御部４１９は、予め設定されているＫｐ、Ｋｂの値を用いて各フレームの目標符号量を算出する。なお、ＨＤＲ画像でも明るい画素値が多い場合は、高い画素値も出現するため偏りが少なくなるためＳ５０３に進むこともある。

偏りを判断する別の方法として、撮像部４０１において、ＳＤＲ画像用のガンマ補正を行ったＳＤＲ画像と、ＨＤＲ画像用のガンマ補正を行ったＨＤＲ画像をそれぞれ生成し、２画像を画像並び替えバッファ４０２に入力してもよい。そして、Ｓ５０２にて、符号量制御部４１９は、ＨＤＲ画像、ＳＤＲ画像それぞれの最頻値や平均値を比較し画素値の偏りを判断しても良い。例えばＨＤＲ画像の最頻値及び平均値が、ＳＤＲ画像の最頻値から閾値２００、平均値から閾値１００離れている場合、符号量制御部４１９はＨＤＲ画像には偏りがあると判断する、とする。図３で示したヒストグラムの画像では、ＨＤＲ画像の最頻値６３４、平均値４４０に対し、ＳＤＲ画像の最頻値９４０、平均値５８０であり共に閾値よりも離れているためＨＤＲ画像はＳＤＲ画像に対して低い画素値で偏っていると判断する。

このようにＩ、Ｐ、Ｂフレームの目標符号量比率を制御することでＨＤＲ画像を入力した場合でも回路規模を増加させることなく画質劣化を抑制した符号量制御が可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００，４００…符号化部、１０１，４０１…撮像部、１０２，４０２…画像並び替えバッファ、１０３，１０８，４０３，４０８…加算器、１０４，４０４…直交変換部、１０５，４０５…量子化部、１０６，４０６…逆量子化部、１０７，４０７…逆直交変換部、１０９，４０９…ループフィルタ、１１０，４１０…フレームメモリ、１１１，４１１…動き検出部、１１２，４１２…動き補償部、１１３，４１３…イントラ予測部、１１４，４１４…スイッチ、１１５，４１５…二値化部、１１６，４１６…算術符号化部、１１７，４１７…記録処理部、１１８，４１８…記録媒体、１１９，４１９…符号量制御部

Claims (5)

1. 撮像手段を有する撮像装置であって、
   前記撮像手段により撮像された符号化対象の画像を、フレームの種類ごとに設定された目標符号量に従って符号化する符号化手段と、
   該符号化手段を制御し、前記目標符号量を設定する制御手段とを有し、
   前記制御手段は、
   符号化対象の画像がＨＤＲ（High Dynamic Range）画像か、ＳＤＲ（Standard Dynamic Range）画像かを判定する判定手段と、
   該判定手段により、符号化対象の画像がＨＤＲ画像であると判定された場合は、Ｉフレームの他の種類のフレームに対する目標符号量の比率を、ＳＤＲ画像であると判定された場合のＩフレームの他の種類のフレームに対する目標符号量の比率よりも高く設定する設定手段とを含む
   ことを特徴とする撮像装置。
2. 前記制御手段は、符号化対象の画像を解析し、所定の閾値と比較することで、画素値に偏りがあるか否かを判定する第２の判定手段を更に含み、
   前記設定手段は、前記判定手段により符号化対象の画像がＨＤＲ画像であると判定され、且つ、前記第２の判定手段により画素値に偏りがあると判定された場合に、Ｉフレームの他の種類のフレームに対する目標符号量の比率を、ＳＤＲ画像であると判定した場合のＩフレームの他の種類のフレームに対する目標符号量の比率よりも高く設定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記フレームの種類には、Ｉフレーム、Ｐフレーム、Ｂフレームが含まれることを特徴とする請求項１又は２に記載の撮像装置。
4. 撮像手段を有する撮像装置の制御方法であって、
   前記撮像手段により撮像された符号化対象の画像を、フレームの種類ごとに設定された目標符号量に従って符号化する符号化工程と、
   該符号化工程を制御し、前記目標符号量を設定する制御工程とを有し、
   前記制御工程は、
   符号化対象の画像がＨＤＲ（High Dynamic Range）画像か、ＳＤＲ（Standard Dynamic Range）画像かを判定する判定工程と、
   該判定工程により、符号化対象の画像がＨＤＲ画像であると判定された場合は、Ｉフレームの他の種類のフレームに対する目標符号量の比率を、ＳＤＲ画像であると判定された場合のＩフレームの他の種類のフレームに対する目標符号量の比率よりも高く設定する設定工程とを含む
   ことを特徴とする撮像装置の制御方法。
5. コンピュータに読み込ませ実行させることで、前記コンピュータに、請求項４に記載の制御方法の各工程を実行させるためのプログラム。

Images