JP2021034836A - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents

Abstract

【課題】拡大表示した際の符号化による歪を視認しにくくするとともに、データ量が増加しないようにすることができるようにする。
【解決手段】撮像装置１００において、被写体を撮像して画像データを生成する撮像手段（撮像部１０１）と、撮像手段で生成された画像データを圧縮する圧縮手段（符号化部１０２）と、圧縮手段によって圧縮された画像データを復号して表示部１０５に表示させる表示制御手段と、表示部に表示する画像の拡大を指示する指示手段（操作部１０６）とを有する。指示手段により表示部に表示する画像を拡大する指示がなされた場合に、圧縮手段は、画像データの圧縮率を小さくする。
【選択図】図１

Description

本発明は、撮像装置、撮像装置の制御方法およびプログラムに関する。

近年、デジタルカメラやデジタルカムコーダーなどの撮像装置において、高解像度化、高フレームレート化、および多ビット化に伴ってセンサーから出力されるデータ量が増加しており、伝送帯域を逼迫している。そこで、センサーから出力されるデータを符号化することで帯域を緩和する技術が提案されている（例えば、特許文献１参照）。

また、近年では、撮影時に撮像装置に付属のＥＶＦ（Electronic View Finder）やモニタで画像を確認しながら撮影する撮像装置が主流となっている。そこで、画面サイズが小さいモニタで合焦を確認することが困難なため、注目領域を拡大することで合焦を確認できる技術も提案されている（例えば、特許文献２参照）。

特開２０１６−２１３５２７号公報 特開２００９−２６７８９３号公報

従来技術ではセンサーからの出力データを符号化することで帯域を緩和することができる。しかしながらユーザが合焦確認のため拡大操作を行った際にＥＶＦやモニタに表示させる画像に前述の符号化を適用すると、符号化による歪が視認できてしまう課題がある。

本発明は前述の問題点に鑑み、拡大表示した際の符号化による歪を視認しにくくするとともに、データ量が増加しないようにすることができるようにすることを目的としている。

本発明に係る撮像装置は、被写体を撮像して画像データを生成する撮像手段と、前記撮像手段で生成された画像データを圧縮する圧縮手段と、前記圧縮手段によって圧縮された画像データを復号して表示部に表示させる表示制御手段と、前記表示部に表示する画像の拡大を指示する指示手段とを有し、前記指示手段により前記表示部に表示する画像を拡大する指示がなされた場合に、前記圧縮手段は、前記画像データの圧縮率を小さくすることを特徴とする。

本発明によれば、拡大表示した際の符号化による歪を視認しにくくするとともに、データ量が増加しないようにすることができる。

第１の実施形態に係る撮像装置の構成例を示すブロック図である。 第１の実施形態において、被写体を拡大表示する処理手順の一例を示すフローチャートである。 ユーザによる画像の拡大操作を説明するための図である。 拡大画像の読み出し領域を説明するための図である。 拡大率とデータ量との関係を示す図である。 第２の実施形態に係る撮像装置の構成例を示すブロック図である。 第２の実施形態において、被写体を拡大表示する処理手順の一例を示すフローチャートである。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る撮像装置１００の構成例を示すブロック図である。
図１に示すように、撮像装置１００は、撮像素子１１１および画像処理部１１２を備えている。撮像素子１１１はさらに撮像部１０１および符号化部１０２を備え、画像処理部１１２は、復号部１０３、現像処理部１０４、表示部１０５、操作部１０６、および制御部１０７を備える。

まず、撮像素子１１１に含まれる構成について説明する。
撮像部１０１は、光学レンズ、絞り、フォーカス制御部及びレンズ駆動部を含む光学ズームが可能なレンズ光学系と、レンズ光学系からの光情報を電気信号に変換するＣＣＤイメージセンサー、ＣＭＯＳセンサーなどのイメージセンサーとを含む。そして、イメージセンサーにより得られた電気信号をデジタル信号へ変換した画像データを生成する。

符号化部１０２は、撮像部１０１で生成された画像データを符号化してデータ量を削減し、センサーＩ／Ｆを介して符号データを画像処理部１１２へ出力する。

次に、画像処理部１１２に含まれる構成について説明する。
制御部１０７は、撮像装置１００全体を制御する。復号部１０３は、撮像素子１１１からセンサーＩ／Ｆを介して入力した符号データを復号する。現像処理部１０４は、復号された画像データに対してデモザイク処理、ノイズ除去処理、光学歪補正処理、色補正処理等の現像処理を行う。

表示部１０５は、撮像装置１００に付随するモニタやＥＶＦに代表される表示装置であり、現像処理部１０４で現像された画像を表示する。表示部１０５に画像を表示することで、ユーザはこれから撮像する画像を確認することが可能となる。操作部１０６は、撮像装置１００に対してユーザが指示を出すためのユーザーインターフェースである。表示部１０５にタッチパネルが搭載されている場合は、表示部１０５のモニタに表示されるボタンを介して指示を出すことが可能である。また、撮像装置１００に付随する物理的なボタンやスティック、シャッターボタン、メニューボタン等も操作部１０６の一部である。

続いて、撮像装置１００の制御部１０７による処理手順について、図１及び図３を参照しながら図２に示すフローチャートに基づいて説明する。具体的には、撮像装置１００の電源がＯＮにされ、撮像する被写体を表示部１０５に表示し、ユーザの操作によって被写体を拡大表示する際の制御について説明する。

図２は、本実施形態において、被写体を拡大表示する処理手順の一例を示すフローチャートである。
まず、Ｓ２０１において、制御部１０７は、撮像部１０１におけるイメージセンサーの有効画素領域のうち、撮像するために読み出す領域を初期設定する。この初期設定では最大の記録画素領域を読み出すように設定される。

次に、Ｓ２０２において、制御部１０７は符号化部１０２の圧縮率の初期設定を行う。この処理では、Ｓ２０１で決定した読み出す領域と撮像部１０１から読み出すフレームレートとに応じて決まる撮像素子１１１から出力されるデータ量がセンサーＩ／Ｆから伝送可能なデータ量になるように圧縮率を決定する。

例えば、モニタやＥＶＦに高フレームレートで画像を表示するとユーザに違和感を与えない表示が可能となる。しかしながら、このような表示を行うにはセンサーＩ／Ｆで伝送するデータ量が膨大になり、センサーＩ／Ｆの伝送能力を超えて十分なフレームレートが確保できなくなる。そのため、データ量を削減するために圧縮率を１／２などに設定し、高フレームレートを維持したまま伝送できるようにする。

次に、Ｓ２０３において、制御部１０７は、現在のモードが、ユーザが被写体をモニタやＥＶＦから確認できるＬＶ（ライブビュー）モードであるか否かを判断する。この判断の結果、現在のモードがＬＶモードでない場合（例えば再生モードの場合）はそのまま処理を終了し、ＬＶモードである場合はＳ２０４に進む。なお、撮像装置１００の電源がＯＦＦになった場合も同様に、処理は終了する。

Ｓ２０４においては、撮像部１０１により、Ｓ２０１又は後述のＳ２１０にて設定された読み出し領域で画像データを生成する。そして、Ｓ２０５において、符号化部１０２により、Ｓ２０２又は後述のＳ２１１にて設定された圧縮率で画像データを符号化し、センサーＩ／Ｆを介して画像処理部１１２に符号データを出力する。

次に、Ｓ２０６において、復号部１０３により、センサーＩ／Ｆを介して出力された符号データを復号する。続いて、Ｓ２０７において、現像処理部１０４により、Ｓ２０６で復号された画像データを現像処理する。そして、Ｓ２０８において、制御部１０７は、Ｓ２０７で現像処理された画像データを表示部１０５であるモニタもしくはＥＶＦに表示させるための表示制御を行う。

図３の（ａ）には、撮像装置１００の表示部１０５であるモニタに被写体を含む画像が拡大されずに表示されている状態を示す。撮像装置１００の右上には、操作部１０６の一部として、拡大（＋）ボタンと縮小（−）ボタンとがある。ユーザによる拡大操作がなされていない段階では、被写体を含む画像が拡大されずに表示される。

次に、Ｓ２０９において、制御部１０７は、ユーザの拡大操作により操作部１０６から画像の拡大指示があったか否かを判断する。図３（ｂ）は、ユーザにより拡大操作がされている状態を説明するための図である。被写体を含む画像が表示部１０５に表示されている状態では、例えばユーザは被写体に焦点が合っているか否かを確認するために画像の拡大操作を行う可能性がある。ユーザは拡大（＋）ボタンを操作することにより、操作部１０６から制御部１０７へ画像の拡大指示を送ることができる。Ｓ２０９の判断の結果、操作部１０６から画像の拡大指示があった場合はＳ２１０に進み、拡大指示がなかった場合はＳ２０３に戻り、次のフレームの処理に移る。

Ｓ２１０においては、制御部１０７は、操作部１０６から指示された拡大率に応じて撮像部１０１におけるイメージセンサーの読み出し領域を再設定する。拡大操作があった場合は、読み出し領域はＳ２０１で設定された読み出し領域よりも小さくなる。これにより、撮像素子１１１の撮像部１０１から出力されるデータ量は削減される。また、拡大率はユーザの拡大操作に応じて決定され、例えば拡大（＋）ボタンの操作時間に応じて制御部１０７が拡大率を決定する。

続いてＳ２１１において、制御部１０７は、符号化部１０２の圧縮率を再設定する。ユーザにより拡大操作がされた場合、Ｓ２０２で設定された高い圧縮率のまま画像を拡大すると、拡大画像において符号化歪が視認できてしまう可能性がある。そこで、Ｓ２１１で圧縮率を低くすることにより、拡大画像において符号化歪を低減することができる。なお、Ｓ２１０の処理により撮像部１０１から出力されるデータ量は減少するので、Ｓ２０２で設定した圧縮率よりも低くしても高フレームレートは維持することができる。

図３（ｃ）は、Ｓ２１０にてイメージセンサーの読み出し領域が再設定され、Ｓ２１１で圧縮率が変更された後に拡大画像が表示されている状態を説明するための図である。Ｓ２１１で圧縮率が低くされているため、画像が拡大された状態でも撮像素子１１１内の符号化部１０２による符号化歪は低減されている。

続いて、図４と図５を用いて、拡大率に応じて符号化部１０２の圧縮率を変更することで、センサーＩ／Ｆから伝送するデータ量を一定にし、かつ拡大表示時の符号化歪の視認を低減するための制御について説明する。

図４（ａ）は、撮像部１０１のイメージセンサーが記録可能な最大記録画素領域４０１と拡大表示領域４０２との関係を示す図である。ユーザによる拡大操作がない通常表示時は、制御部１０７は表示部１０５の全画面に最大記録画素領域４０１で撮像された画像を表示する。例えばユーザにより拡大操作があった場合は、最大記録画素領域４０１の１／４のサイズの拡大表示領域４０２を拡大し、表示部１０５に全画面表示する。

図４（ｂ）には、拡大表示時におけるイメージセンサーの読み出し領域と拡大表示領域との関係を示す図である。図４（ｂ）の網掛け部分には、拡大表示領域４０２で拡大表示する際の撮像部１０１のセンサー読み出し領域を示している。拡大表示領域４０２の縦横の長さがともに最大記録画素領域４０１の１／２であった場合でも、イメージセンサーの読み出し領域４０３は横方向が最大記録画素領域４０１と同じであり、横方向を全て読み出す必要がある。

図５は、撮像素子１１１から画像処理部１１２へデータを伝送する際のデータ量と操作部１０６にて拡大操作がなされた際の拡大率との関係を示す図である。ポイント５０１は、拡大率が１倍、つまり拡大していないときの伝送データ量を示し、本実施形態では伝送データ量を１と定義している。図４（ａ）の最大記録画素領域４０１の全てを撮像して所定のフレームレート（例えば６０ｆｐｓ）で伝送する場合のデータ量である。以降のデータ量の説明は、このデータ量を基準にして説明する。

ここで、図５に示すように本実施形態では、撮像素子１１１から画像処理部１１２へ伝送可能なデータ量に制限があり、単位時間あたりに伝送可能な限界値である最大伝送データ量５１０が０．５であるものとする。なお、最大伝送データ量５１０は例えば省電目的もしくはハードウェアの仕様によって異なるものである。図５の例では、拡大操作がされていない場合に、撮像素子１１１から画像処理部１１２に前述のフレームレートで伝送するためには、データ量を１／２に圧縮する必要がある。そのため、図２のＳ２０２における圧縮率初期設定では圧縮率が１／２に設定される。

その後ユーザの拡大操作があり、ポイント５０２が示す拡大率が１．２倍となる拡大操作がなされた場合は、伝送データ量は０．８になるため、Ｓ２１１では、圧縮率が５／８に再設定される。また、ユーザによりポイント５０３が示す拡大率が１．６倍となる拡大操作がなされた場合は、伝送データ量は０．６となるため、Ｓ２１１では、圧縮率が４／５に再設定される。

以上のように本実施形態によれば、撮像素子１１１から画像処理部１１２へ伝送するデータ量（フレームレート）を一定にし、拡大率が大きくなる場合は、その分圧縮率を低く設定するようにした。これにより画像を拡大した場合には圧縮率も低下するため、符号化の歪が生じにくくなり、符号化歪を視認しにくくすることが可能となる。

（第２の実施形態）
以下、本発明の第２の実施形態について図面を参照しながら説明する。
図６は、本実施形態に係る撮像装置６００の構成例を示すブロック図である。以下、図１に示した撮像装置１００の構成と異なる構成についてのみ説明し、重複する部分については説明を省略する。

図６に示すように、撮像装置６００は、撮像素子６１１および画像処理部６１２を備えている。撮像素子６１１はさらに撮像部１０１及び第１の符号化部１０２を備えている。一方、画像処理部６１２は、さらに復号部１０３、表示部１０５、操作部１０６、制御部１０７、現像処理部６０１、第２の符号化部６０２、メモリＩ／Ｆ６０３、メモリ６０４、および記録部６０５を備えている。

現像処理部６０１は、基本的な処理内容は図１の現像処理部１０４と同様であり、表示部１０５と第２の符号化部６０２とに対して現像した画像データを出力する。第２の符号化部６０２は、入力された画像データに対してＨ．２６４やＨ．２６５などに代表される高効率符号化を行い、符号データをメモリＩ／Ｆ６０３に出力する。メモリＩ／Ｆ６０３は、各処理部からのメモリ６０４へのアクセス要求を調停し、メモリ６０４に対するデータの読み出しまたは書き込み制御を行う。メモリ６０４は、撮像装置６００を構成する各処理部から出力される各種データを格納するためのメモリであり、例えば揮発性メモリで構成される。記録部６０５は、メモリ６０４に記憶されている符号データを読み出して記録メディア６０６に記録する。記録メディア６０６は、撮像装置６００で撮像、符号化された符号データを記録するための外部記録媒体であり、例えばＳＤカードなどである。

続いて撮像装置６００の制御部１０７による処理手順について、図７に示すフローチャートに基づいて説明する。なお、図２のフローチャートと重複する処理については説明を省略する。

Ｓ７０１においては、制御部１０７は、操作部１０６の一部であるシャッターボタンが全押しされたことによって記録指示を受けたか否かを判断する。この判断の結果、記録指示を受けていない場合はＳ２０８に進み、記録指示を受けた場合はＳ７０２に進む。

Ｓ７０２においては、第２の符号化部６０２により、現像された画像データの符号化処理を行う。そして、Ｓ７０３において、メモリＩ／Ｆ６０３により、符号データをメモリ６０４に記憶する。そして、記録部６０５により、記録メディア６０６に符号データ（画像データ）を記録する。

以上のようにユーザにより拡大操作がなされた場合には、第１の実施形態と同様に拡大率に応じて第１の符号化部１０２の圧縮率が変更される。したがって、拡大操作がなされた後に記録指示がなされた場合には、拡大画像に係る画像データがメモリに６０４に記憶され、その後、記録部６０５により記録メディア６０６に記録される。

以上のように本実施形態によれば、拡大画像を記録する場合においても、符号化歪が生じにくい拡大画像を記録することができる。なお、本実施形態では、Ｓ７０２およびＳ７０３の処理をＳ２０８の処理よりも前に行ったが、Ｓ２０８の処理が先であってもよく、並行して処理を行ってもよい。

（その他の実施形態）
前述の実施形態では、ユーザの拡大操作により操作部１０６から画像の拡大指示があった場合に、圧縮率を小さくするようにした。さらに、ユーザの縮小操作により操作部１０６から画像の縮小指示があった場合には、圧縮率を大きくするようにしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像部、１０２ 符号化部、１０５ 表示部、１０６ 操作部、１０７ 制御部

Claims (10)

1. 被写体を撮像して画像データを生成する撮像手段と、
   前記撮像手段で生成された画像データを圧縮する圧縮手段と、
   前記圧縮手段によって圧縮された画像データを復号して表示部に表示させる表示制御手段と、
   前記表示部に表示する画像の拡大を指示する指示手段とを有し、
   前記指示手段により前記表示部に表示する画像を拡大する指示がなされた場合に、前記圧縮手段は、前記画像データの圧縮率を小さくすることを特徴とする撮像装置。
2. 前記圧縮手段は、指示された画像の拡大率に応じて前記画像データの圧縮率を小さくすることを特徴とする請求項１に記載の撮像装置。
3. 前記圧縮手段は、指示された画像の拡大率が大きくなるに従って前記画像データの圧縮率を小さくすることを特徴とする請求項２に記載の撮像装置。
4. 前記指示手段により前記表示部に表示する画像を拡大する指示がなされた場合に、前記撮像手段のイメージセンサーの読み出し領域を縮小する設定手段をさらに有し、
   前記圧縮手段は、前記設定手段によって前記読み出し領域が縮小された画像データの圧縮率を小さくすることを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. 前記指示手段により前記表示部に表示する画像を拡大する指示がなされた場合に、前記圧縮手段は、前記画像データのデータ量を維持しながら前記画像データの圧縮率を小さくすることを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
6. 前記表示制御手段は、
   前記圧縮手段によって圧縮された画像データを復号する復号手段と、
   前記復号手段によって復号された画像データに対して現像処理する処理手段とを有し、
   前記処理手段によって現像処理された画像データを前記表示部に表示させることを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
7. 前記現像処理された画像データを符号化する符号化手段と、
   前記符号化手段によって符号化された画像データを記録媒体に記録する記録手段とをさらに有することを特徴とする請求項６に記載の撮像装置。
8. 前記指示手段は、前記表示部に表示する画像の縮小を指示し、
   前記指示手段により前記表示部に表示する画像を縮小する指示がなされた場合に、前記圧縮手段は、前記画像データの圧縮率を大きくすることを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
9. 撮像手段で生成された画像データを圧縮する圧縮工程と、
   前記圧縮工程において圧縮された画像データを復号して表示部に表示させる表示制御工程と、
   前記表示部に表示する画像の拡大を指示する指示工程とを有し、
   前記指示工程により前記表示部に表示する画像を拡大する指示がなされた場合に、前記圧縮工程においては、前記画像データの圧縮率を小さくすることを特徴とする撮像装置の制御方法。
10. 撮像手段で生成された画像データを圧縮する圧縮工程と、
    前記圧縮工程において圧縮された画像データを復号して表示部に表示させる表示制御工程と、
    前記表示部に表示する画像の拡大を指示する指示工程とをコンピュータに実行させ、
    前記指示工程により前記表示部に表示する画像を拡大する指示がなされた場合に、前記圧縮工程においては、前記画像データの圧縮率を小さくすることを特徴とするプログラム。

Images