JP2020167456A - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2020167456A JP2020167456A JP2019063724A JP2019063724A JP2020167456A JP 2020167456 A JP2020167456 A JP 2020167456A JP 2019063724 A JP2019063724 A JP 2019063724A JP 2019063724 A JP2019063724 A JP 2019063724A JP 2020167456 A JP2020167456 A JP 2020167456A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- display device
- region
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
【課題】撮影者の意図に合った表示輝度で画像を表示装置に表示させることを可能にすることを課題とする。【解決手段】画像処理装置は、画像から輝度値を取得する取得手段(104)と、画像の一部の領域を指定する指定手段(103)と、表示装置(107)に表示される画像情報を生成する生成手段(103)と、画像情報を表示する表示装置(107)に、輝度値に関する情報を通知する通知手段(105,106)と、を有し、取得手段(104)は、画像の一部の領域から輝度値を取得し、通知手段(105,106)は、当該一部の領域から取得された輝度値に関する情報を表示装置(107)に通知する。【選択図】図1
Description
本発明は、表示用の画像を処理する画像処理技術に関する。
デジタルカメラやデジタルビデオカメラは、撮影時の画像をカメラ内蔵の表示パネルや電子ビューファインダー(EVF)、カメラ外のディスプレイ(表示装置)に表示させることができる。これにより撮影者は撮影対象を確認しながら撮影することが可能となる。ここで、撮影時に撮影者が確認したい項目の一つとして、輝度のレベルが挙げられる。近年、HDR(High Dynamic Range)での撮影や表示が本格化しており、HDR関連の規格化や製品化が進められている。例えばHDR10+などの規格では、MaxCLL(Maximum Content Light Level)やMaxFALL(Maximum Frame Average Light Level)などの付加情報が定義されている。MaxCLLはフレームやシーン毎の最大輝度値を示す情報であり、MaxFALLはフレーム毎の平均輝度値を示す情報である。これらMaxCLLやMaxFALLの情報は、HDMI(High−Definition Multimedia Interface:HDMIは登録商標)規格などで機器間伝送することが可能である。これによりカメラからディスプレイには映像の輝度情報が動的に伝えられるようになり、ディスプレイの表示輝度の調整が容易になった。一方で、画像がフレーム内で部分的に黒色となるレターボックスやピラーボックスと呼ばれる画像も存在する。これらの画像では、MaxFALL情報が撮影者の意図に反する場合がある。
なお特許文献1には、表示映像を撮影者の意図に合わせるために、表示装置として映像の特徴量を測定し、その特徴量に応じてバックライト光源の発光輝度を制御することによって最適な表示品位の映像表示を実現する表示装置が開示されている。
ところで、撮影待機中には撮像センサから読み出された画像全体を表示しており、例えば撮影を実行した際には一部の画像領域をクロップして記録可能なカメラも存在している。このカメラの場合、撮影待機状態において撮影されるクロップ領域が解るように、撮像センサから読み出された画像全体の上に、クロップ領域を示す枠を表示するような工夫がなされている。
前述したように撮影待機中には画像全体が表示され、撮影を実行した際にクロップが行われて記録された画像を、表示装置に表示する場合、撮影者の意図に合った表示が行われなくなることがある。例えば、MaxCLL情報やMaxFALL情報を使用した表示映像調整に対応していない従来の表示装置では、それらの情報に基づく表示映像調整ができないため、撮影者の意図に合った表示を行えないことが多い。また、MaxCLL情報やMaxFALL情報を使用した表示映像調整に対応した表示装置の場合でも撮影者の意図に合った表示を行えないことがある。例えばMaxFALL情報を使用して表示輝度を調整すると、静止画撮影された際に実際に記録されたクロップ領域外のMaxFALL情報を使用してしまい、撮影時に記録される輝度とは異なる表示輝度の画像がディスプレイに表示されてしまうことがある。
そこで、本発明は、撮影者の意図に合った表示輝度で画像を表示装置に表示させることを可能にすることを目的とする。
本発明の画像処理装置は、画像から輝度値を取得する取得手段と、前記画像の一部の領域を指定する指定手段と、表示装置に表示される画像情報を生成する生成手段と、前記画像情報を表示する表示装置に、前記輝度値に関する情報を通知する通知手段と、を有し、前記取得手段は、前記一部の領域から輝度値を取得し、前記通知手段は、前記一部の領域から取得された輝度値に関する情報を前記表示装置に通知することを特徴とする。
本発明によれば、撮影者の意図に合った表示輝度で画像を表示装置に表示させることが可能となる。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
本実施形態の画像処理装置は、撮像装置により撮像された画像から、表示装置に表示するための表示用の画像を生成可能であり、特に表示装置で画像を表示する際の表示用の輝度評価値を生成する装置である。本実施形態の画像処理装置は、デジタルカメラ等の撮像装置やパーソナルコンピュータ等の情報処理装置に適用可能である。また本実施形態の画像処理装置が適用された撮像装置は、撮影待機中には撮像センサから読み出された画像全体が表示され、例えば撮影を実行した際には一部の画像領域をクロップして記録可能なカメラであるとする。このため、本実施形態の撮像装置は、撮影待機状態において撮影されるクロップ領域が解るように、撮像センサから読み出された画像の上に、クロップ領域を示す枠を表示する機能を有しているとする。
本実施形態の画像処理装置は、撮像装置により撮像された画像から、表示装置に表示するための表示用の画像を生成可能であり、特に表示装置で画像を表示する際の表示用の輝度評価値を生成する装置である。本実施形態の画像処理装置は、デジタルカメラ等の撮像装置やパーソナルコンピュータ等の情報処理装置に適用可能である。また本実施形態の画像処理装置が適用された撮像装置は、撮影待機中には撮像センサから読み出された画像全体が表示され、例えば撮影を実行した際には一部の画像領域をクロップして記録可能なカメラであるとする。このため、本実施形態の撮像装置は、撮影待機状態において撮影されるクロップ領域が解るように、撮像センサから読み出された画像の上に、クロップ領域を示す枠を表示する機能を有しているとする。
<第1の実施形態>
図1(A)は第1の実施形態の撮像装置の機能構成を示したブロック図である。図1(A)に示した撮像装置は、撮像センサ部101から読み出された画像全体のなかで、クロップ領域として指定された領域から輝度値の抽出及び算出を行い、外部表示装置107に対して画像データを伝送すると共に輝度値に関する情報を通知する機能を有する。以下の説明では、輝度値に関する情報として、MaxCLLやMaxFALLの情報がフレーム毎に算出されるとする。MaxCLL及びMaxFALLは、前述したHDR10+などの規格において定義された付加情報であり、MaxCLLはフレームやシーン毎に最大輝度値を示す情報であり、MaxFALLはフレーム毎の平均輝度値を示す情報である。また前述したように、MaxCLLやMaxFALLの情報は機器間伝送が可能であり、撮像装置は外部表示装置107に対し映像の輝度情報を動的に通知することができる。図1(A)に示した撮像装置は、撮像センサから読み出された画像全体のなかでクロップ領域のみでMaxFALLの情報を算出して外部表示装置107に送信可能となされている。
図1(A)は第1の実施形態の撮像装置の機能構成を示したブロック図である。図1(A)に示した撮像装置は、撮像センサ部101から読み出された画像全体のなかで、クロップ領域として指定された領域から輝度値の抽出及び算出を行い、外部表示装置107に対して画像データを伝送すると共に輝度値に関する情報を通知する機能を有する。以下の説明では、輝度値に関する情報として、MaxCLLやMaxFALLの情報がフレーム毎に算出されるとする。MaxCLL及びMaxFALLは、前述したHDR10+などの規格において定義された付加情報であり、MaxCLLはフレームやシーン毎に最大輝度値を示す情報であり、MaxFALLはフレーム毎の平均輝度値を示す情報である。また前述したように、MaxCLLやMaxFALLの情報は機器間伝送が可能であり、撮像装置は外部表示装置107に対し映像の輝度情報を動的に通知することができる。図1(A)に示した撮像装置は、撮像センサから読み出された画像全体のなかでクロップ領域のみでMaxFALLの情報を算出して外部表示装置107に送信可能となされている。
図1(A)の撮像装置において、撮像センサ部101は、CCDやCMOSなどの撮像素子であり、レンズ群100で入射光量や合焦の調節が行われて結像された画像を光電変換し、さらにアナログ・デジタル変換した画像データを出力する。撮像素子の各画素には、R(赤),G(緑),B(青)の何れかのカラーフィルタが所定の配列となるように配置されている。カラーフィルタにおける所定の配列は、例えば4画素毎に赤1画素、青1画素、緑2画素を1組として規則的に並べたモザイク状の構造となされており、このようなモザイク状配列は一般的にベイヤー配列と呼ばれている。撮像センサ部101から出力された画像データは、ベイヤー画像のデータとして現像処理部102に送られる。
現像処理部102は、ベイヤー画像に対し、まずRGBのオフセット調整、ゲイン調整、ガンマ補正処理を行う。ガンマ補正処理は、撮像センサ部101やレンズ群100などの特性を考慮して、撮像装置のユーザが所望する記録画像を生成するための特性の処理となされている。ガンマ補正値を変えることによって、TVモニタ等で表示するための記録画像の生成や、映画フィルムの質感や階調を再現した記録画像の生成が可能となる。次に現像処理部102は、RGB画像データを輝度(Y)と色差(Cb,Cr)のデータに変換して出力する。また現像処理部102は、レンズ群100の歪曲収差の補正処理や、撮像装置の防振処理やノイズリダクション処理に係る処理なども行う。この現像処理部102による処理後のデータは表示画像生成部103に送られる。
表示画像生成部103は、現像処理部102で輝度(Y)と色差(Cb,Cr)に変換された画像データに対し、表示用の解像度へ変換する処理、及び、輝度と色差のデータ量(ビット幅)を調整する処理等を行う。また、表示画像生成部103は、様々な表示用の情報を重畳して表示画像を生成する。重畳される表示用の情報としては、図や文字、線などで表される撮影アシスト情報を挙げることができる。
ここで例えば、撮像装置が撮像可能な静止画のアスペクトと外部表示装置107に表示される映像のアスペクトとが異なるような場合、表示画像生成部103は、必要に応じてクロップ処理を行うことができる。例えば、撮像装置が撮像可能な静止画のアスペクトよりも、外部表示装置107に表示される映像のアスペクトが狭いような場合、表示画像生成部103は、撮像センサ部101で撮像された画像に対し、外部表示装置107のアスペクトに応じたクロップ処理を行う。また、表示画像生成部103は、撮像センサ部101で撮像された画像のアスペクトと外部表示装置107のアスペクトが異なる場合、それらアスペクトの異なりを視認可能にする画像(線等の画像)を、静止画に重畳した表示画像を生成する。
図2(A)は、撮像装置の撮像センサ部101で撮像可能なアスペクトと、外部表示装置107に表示可能な映像表示領域のアスペクトとが異なる場合の画像例を示した図である。図2(A)は、撮像センサ部101で撮像された画像全体領域200に対し、外部表示装置107に表示可能な映像表示領域201が狭い場合の例を示している。この例の場合、表示画像生成部103は、画像全体領域200に、外部表示装置107に表示可能な映像表示領域201を視認可能にする画像、例えば映像表示領域201のアスペクトに相当する範囲を表す例えば点線の画像を生成する。さらに、表示画像生成部103は、画像全体領域200の画像にその点線画像を重畳した表示画像を生成する。そして、図2(A)に示したような画像全体領域200に映像表示領域201を表す点線画像が重畳された表示画像情報は、IF処理部106と輝度値算出部104に送られる。
輝度値算出部104は、表示画像生成部103で生成された表示画像の最大輝度値を示すMaxCLLと、平均輝度値を示すMaxFALLとを、フレーム毎に算出する。ここで、輝度値算出部104は、MaxFALLを算出する際、例えば図2(A)の映像表示領域201の輝度値と、画像全体領域200から映像表示領域201を除いた領域の輝度値とを取得して、MaxFALLを算出する。なお、本実施形態で用いる輝度値は、最大輝度値と平均輝度値に限定するものではなく、指定された領域内の輝度に関する情報を算出可能な輝度値であればよい。
図3(A)は、図2(A)の例において算出されるMaxFALLにおける輝度と時間の関係を表した図である。曲線301は、画像全体領域200から映像表示領域201を除いた領域の輝度値から算出されたMaxFALLの輝度と時間の関係を表している。曲線302は、映像表示領域201から算出されたMaxFALLの輝度と時間の関係を表している。図3(A)のように、MaxFALLは、画像全体領域200から映像表示領域201を除いた領域の輝度値から算出されたMaxFALLを表す曲線301と、映像表示領域201から算出されたMaxFALLを表す曲線302とで、輝度値に差が生じている。なお、図3(B)は、MaxCLLとMaxFALLの輝度値の関係を示した図であり、一例として、曲線303がMaxCLLを示し、曲線304がMaxFALLを示している。
そして、輝度値算出部104は、それらMaxCLLとMaxFALLの情報を付加情報生成部105へ送る。
そして、輝度値算出部104は、それらMaxCLLとMaxFALLの情報を付加情報生成部105へ送る。
付加情報生成部105は、輝度値算出部104で生成されたMaxCLLとMaxFALLを加工して、HDMIなどの映像伝送規格として伝送データ内に埋め込める付加情報を生成する。また付加情報生成部105は、図2(A)に示した画像全体領域200から算出したMaxFALLの値なのか、静止画撮影時にクロップされる領域から算出したMaxFALLの値なのかを示す算出領域情報も付加情報として生成する。そして、付加情報生成部105は、それら付加情報をIF処理部106に送る。
さらに付加情報生成部105は、輝度値算出部104で生成されたMaxCLLから、映像表示領域201の領域外に最大輝度値があるか否かを判断し、当該領域外に最大輝度値がある場合にはその旨を視認可能に通知する通知情報を付加情報に加えてもよい。
IF処理部106は、表示画像生成部103で生成した表示画像情報と、付加情報生成部105で生成したMaxCLL及びMaxFALL情報と、算出領域情報とを、HDMIなどの映像伝送規格に則った映像信号形式に変換して伝送データを生成する。そして、IF処理部106は、その伝送データを外部表示装置107に送信する。
外部表示装置107は、受信した伝送データから表示画像情報を抽出し、その表示画像情報に基づく画像を表示する。外部表示装置107は、撮像装置で撮像される静止画のアスペクトよりも狭いアスペクトの表示装置であるとする。このため外部表示装置107には、例えば図2(A)に示したような映像表示領域201に相当する画像が表示される。またこの時の外部表示装置107は、受信データからMaxFALL情報と算出領域情報とを抽出し、その抽出した情報を基に、例えばバックライトや電流、電圧等を調整して最適な表示輝度に制御する。また、前述した付加情報の中に、映像表示領域201の領域外に最大輝度値がある旨を示す通知情報が含まれている場合、外部表示装置107の画面上に当該通知情報が表示される。
次に図4のフローチャートを参照しながら、第1の実施形態の撮像装置における処理の流れを説明する。
撮像装置で撮像が開始されると、まずステップS101において、現像処理部102は、撮像センサ部101から送られてきた画像データの現像処理を行う。
次にステップS102において、表示画像生成部103は、現像処理された画像データから前述した表示画像情報を生成する。すなわち、図2(A)で説明したように、表示装置のアスペクトを考慮して静止画撮影時にクロップ処理が行われる場合、当該クロップされる領域を表す線等を重畳した表示画像情報を生成する。また、前述した撮影をアシストする文字や図が重畳される場合も、このステップS102において行われる。
撮像装置で撮像が開始されると、まずステップS101において、現像処理部102は、撮像センサ部101から送られてきた画像データの現像処理を行う。
次にステップS102において、表示画像生成部103は、現像処理された画像データから前述した表示画像情報を生成する。すなわち、図2(A)で説明したように、表示装置のアスペクトを考慮して静止画撮影時にクロップ処理が行われる場合、当該クロップされる領域を表す線等を重畳した表示画像情報を生成する。また、前述した撮影をアシストする文字や図が重畳される場合も、このステップS102において行われる。
次にステップS103に進むと、輝度値算出部104は、表示画像生成部103においてクロップ処理が行われるか否かを判定する。そして、輝度値算出部104は、クロップ処理が行われると判定した場合にはステップS104に処理を進め、一方、クロップ処理が行われないと判定した場合にはステップS106に処理を進める。
ステップS104に進むと、輝度値算出部104は、クロップ領域内から輝度値を抽出する。例えば図2(A)のように、画像全体領域200から映像表示領域201がクロップされる場合、輝度値算出部104は、映像表示領域201に相当するクロップ領域から輝度値を抽出する。
次にステップS105に進むと、付加情報生成部105は、ステップS104でクロップ領域のみから抽出された輝度値を用いて、MaxCLLとMaxFALLの情報を算出する。MaxCLLは前述したように1フレーム毎の最高輝度値を表し、MaxFALLは1フレーム内の全画素の輝度値の平均値を表す。
またステップS106に進んだ場合、輝度値算出部104は、クロップ処理が行われない表示画像から輝度値を算出する。例えば図2(A)の場合、輝度値算出部104は、画像全体領域200から輝度値を抽出する。
次にステップS107に進むと、付加情報生成部105は、画像全体領域の表示画像から抽出された輝度値を用いて、MaxCLLとMaxFALLの情報を算出する。ここでもステップS105と同様に、MaxCLLは1フレーム毎の最高輝度値であり、MaxFALLは1フレーム内の全画素の輝度値の平均値である。
次にステップS108において、付加情報生成部105は、ステップS105又はステップS107で算出したMaxCLLとMaxFALLの情報を用いて、前述のように付加情報を生成する。
その後、IF処理部106は、表示画像データ及び付加情報を、HDMIなどの映像伝送規格に則った信号形式へ変換して伝送データを生成し、その伝送データを外部表示装置107に送信する。
その後、IF処理部106は、表示画像データ及び付加情報を、HDMIなどの映像伝送規格に則った信号形式へ変換して伝送データを生成し、その伝送データを外部表示装置107に送信する。
以上説明したように、第1の実施形態によれば、撮影者の意図に合ったMaxFALL情報が生成されて外部表示装置107に通知されることで、外部表示装置107において撮影者の意図に合わせた表示輝度での表示制御が可能となる。また本実施形態によれば、外部表示装置は映像の特徴量を測定する機能が不要である。
<第2の実施形態>
次に第2の実施形態について説明する。第2の実施形態は、撮像装置が備えている内部表示装置に映像表示が行われる場合の例を挙げている。なお内部表示装置はHDR表示が可能な表示装置であるとする。
図1(B)は、第2の実施形態の画像処理装置が適用された撮像装置の機能構成例を示したブロック図である。図1(B)において、前述した第1の実施形態の図1(A)と同様の構成には同じ参照符号を付しており、それらの説明は適宜省略する。第2の実施形態の撮像装置において第1の実施形態と異なる部分は、図1(A)のIF処理部106に変えて表示処理部108が設けられ、表示処理部108が内部表示装置109に接続されていることである。以下、表示処理部108と内部表示装置109について説明する。
次に第2の実施形態について説明する。第2の実施形態は、撮像装置が備えている内部表示装置に映像表示が行われる場合の例を挙げている。なお内部表示装置はHDR表示が可能な表示装置であるとする。
図1(B)は、第2の実施形態の画像処理装置が適用された撮像装置の機能構成例を示したブロック図である。図1(B)において、前述した第1の実施形態の図1(A)と同様の構成には同じ参照符号を付しており、それらの説明は適宜省略する。第2の実施形態の撮像装置において第1の実施形態と異なる部分は、図1(A)のIF処理部106に変えて表示処理部108が設けられ、表示処理部108が内部表示装置109に接続されていることである。以下、表示処理部108と内部表示装置109について説明する。
表示処理部108は、表示画像生成部103で生成された表示画像を内部表示装置109で最適に表示するための制御情報を、付加情報生成部105が生成したMaxCLLやMaxFALL情報を用いて生成する。そして、表示処理部108は、その制御情報を、表示画像生成部103で生成された表示画像と共に伝送データとして、内部表示装置109に送信する。
内部表示装置109は撮像装置に内蔵された表示パネルや電子ビューファインダー(EVF)であり、撮像装置内部でMIPI(Mobile Industry Processor Interface)などの映像伝送規格で接続されている。内部表示装置109は、表示処理部108がMaxFALLの値などをMIPIで制御可能な情報形式に変換した制御情報によって表示輝度が制御される。
次に第2の実施形態の撮像装置における処理の流れを図4のフローチャートを参照しながら説明する。
ステップS101からステップS107までは前述の第1の実施形態と同様の処理であるためその説明は省略する。
ステップS101からステップS107までは前述の第1の実施形態と同様の処理であるためその説明は省略する。
第2の実施形態の場合、ステップS108において、付加情報生成部105は、第1の実施形態と同様に、MaxCLLとMaxFALLの情報を、HDMIなどの映像伝送規格として伝送データ内に埋め込める情報に変換する。また、付加情報生成部105は、前述同様の算出領域情報も付加情報として生成する。そして、付加情報生成部105は、それら表示処理部108に送る。
またステップS108において、表示処理部108は、HDMIなどの一般的な映像伝送規格で使用できる情報を、内部表示装置109用の情報に変換した伝送データを生成し、その伝送データを内部表示装置109に送信する。これにより、内部表示装置109では、映像表示領域201に適した輝度となるように表示輝度が制御される。また、付加情報の中に、映像表示領域201の領域外に最大輝度値がある旨を示す通知情報が含まれている場合、内部表示装置109は、当該通知情報を表示する。
第2の実施形態においても、撮影者の意図に合ったMaxFALL情報が生成されて内部表示装置109に通知されることで、内部表示装置109において撮影者の意図に合わせた表示輝度での表示制御が可能となる。また第2の実施形態においても、内部表示装置109は映像の特徴量を測定する機能が不要である。
<第3の実施形態>
次に第3の実施形態について説明する。第3の実施形態は、撮像装置から外部表示装置107と内部表示装置109に伝送データが送られる例である。第3の実施形態では、図2(B)に示すように、被写体の特定の領域の一例として、顔枠領域202をクロップ処理して表示する場合を例に挙げて説明する。
次に第3の実施形態について説明する。第3の実施形態は、撮像装置から外部表示装置107と内部表示装置109に伝送データが送られる例である。第3の実施形態では、図2(B)に示すように、被写体の特定の領域の一例として、顔枠領域202をクロップ処理して表示する場合を例に挙げて説明する。
図5(A)は、第3の実施形態の画像処理装置が適用された撮像装置の機能構成例を示したブロック図である。図5(A)において、前述した図1(A)又は図1(B)と同様の構成には同じ参照符号を付しており、それらの説明は適宜省略する。第3の実施形態の撮像装置において前述した実施形態と異なる部分は、第1の実施形態で説明したIF処理部106及び外部表示装置107と、第2の実施形態で説明した表示処理部108及び内部表示装置109とを備えていることである。また図6は、第3の実施形態の撮像装置における処理の流れを示したフローチャートである。
以下、図5(A)、図6及び図2(B)を参照しながら、第3の実施形態の撮像装置の構成及び処理について説明する。図6のステップS201とステップS202の処理は、図4の対応したステップS101とステップS102と同様である。ただし第3の実施形態では、図2(B)のように、被写体の顔枠領域202を表示するため、表示画像生成部103は、撮像装置における画像全体領域200に対し、クロップされる顔枠領域202に相当する線(例えば実線)を重畳した表示画像を生成する。なお、表示画像には、前述の実施形態と同様に、撮影をアシストする文字や図等が重畳されてもよい。そして、図2(B)に示したような画像全体領域200に顔枠領域202に相当する実線を重畳した表示画像情報は、表示処理部108と輝度値算出部104に送られる。
ステップS202の後、ステップS203に進むと、輝度値算出部104は、表示画像生成部103において図2(B)の顔枠領域202のようなクロップ処理の領域指定があるか否かを判定する。そして、輝度値算出部104は、領域指定があると判定した場合にはステップS204に処理を進め、一方、領域指定がない判定した場合にはステップS206に処理を進める。
ステップS204に進むと、輝度値算出部104は、領域指定されたクロップ領域内から輝度値を抽出する。
そして次のステップS205において、輝度値算出部104は、抽出したクロップ領域のみの輝度値から、MaxCLLとMaxFALLの値を算出し、それら算出した値をフレーム毎に記憶する。
そして次のステップS205において、輝度値算出部104は、抽出したクロップ領域のみの輝度値から、MaxCLLとMaxFALLの値を算出し、それら算出した値をフレーム毎に記憶する。
またステップS206に進んだ場合、輝度値算出部104は、図4のステップS106と同様に画像全体領域から輝度値を抽出する。また次のステップS207においても図4のステップS107と同様に、輝度値算出部104は、画像全体領域から抽出した輝度値からMaxCLLとMaxFALLの値を算出して1フレーム毎に記憶する。
次にステップS208に進むと、付加情報生成部105は、ステップS205又はステップS207で算出したMaxCLLとMaxFALLの情報を用いて、前述のように付加情報を生成する。また、付加情報生成部105は、図2(B)に示した顔枠領域202から算出したMaxFALLの値であることを示す算出領域情報も付加情報として生成する。これらの付加情報は、表示処理部108に送られ、さらに表示処理部108を介してIF処理部106にも送られる。
表示処理部108は、HDMIなどの一般的な映像伝送規格で使用できる情報を、表示処理部108で内部表示装置109用の情報に変換して内部表示装置109に送信する。これにより、内部表示装置109では、表示輝度が制御された映像表示が行われる。
またIF処理部106は、表示画像データ及び付加情報に対し、HDMIなどの映像伝送規格に則った信号形式への変換を行って外部表示装置107に送信する。これにより外部表示装置107では、受信した伝送データからMaxFALL情報と算出領域情報とを抽出し、その抽出した情報を基に、バックライトや電流、電圧等を調整して最適な表示輝度に制御した映像表示が行われる。
またIF処理部106は、表示画像データ及び付加情報に対し、HDMIなどの映像伝送規格に則った信号形式への変換を行って外部表示装置107に送信する。これにより外部表示装置107では、受信した伝送データからMaxFALL情報と算出領域情報とを抽出し、その抽出した情報を基に、バックライトや電流、電圧等を調整して最適な表示輝度に制御した映像表示が行われる。
<第3の実施形態の他の構成例>
第3の実施形態の撮像装置は、図5(A)の構成の他に、図5(B)の構成となされてもよい。図5(B)の構成は、図5(A)の構成から、輝度値算出部104と付加情報生成部105を、データ伝送先の表示装置ごとに分離した構成を示した図である。このため、図5(B)の構成では、輝度値算出部104と付加情報生成部105は、それぞれ外部表示装置107用と内部表示装置109用とでそれぞれ二つ設けられている。図5(B)において、図5(A)と同様の構成にはそれぞれ同じ参照符号を付しており、それらの説明は省略する。図5(B)の構成によれば、データ伝送先の外部表示装置107と内部表示装置109とに対応して分離した構成となされているため、外部表示装置107と内部表示装置109とでそれぞれ映像を表示できる。
第3の実施形態の撮像装置は、図5(A)の構成の他に、図5(B)の構成となされてもよい。図5(B)の構成は、図5(A)の構成から、輝度値算出部104と付加情報生成部105を、データ伝送先の表示装置ごとに分離した構成を示した図である。このため、図5(B)の構成では、輝度値算出部104と付加情報生成部105は、それぞれ外部表示装置107用と内部表示装置109用とでそれぞれ二つ設けられている。図5(B)において、図5(A)と同様の構成にはそれぞれ同じ参照符号を付しており、それらの説明は省略する。図5(B)の構成によれば、データ伝送先の外部表示装置107と内部表示装置109とに対応して分離した構成となされているため、外部表示装置107と内部表示装置109とでそれぞれ映像を表示できる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
101:撮像センサ部、102:現像処理部、103:表示画像生成部、104:輝度値算出部、105:付加情報生成部、106:IF処理部、107:外部表示装置、108:表示処理部、109:内部表示装置
Claims (11)
- 画像から輝度値を取得する取得手段と、
前記画像の一部の領域を指定する指定手段と、
表示装置に表示される画像情報を生成する生成手段と、
前記画像情報を表示する表示装置に、前記輝度値に関する情報を通知する通知手段と、を有し、
前記取得手段は、前記一部の領域から輝度値を取得し、
前記通知手段は、前記一部の領域から取得された輝度値に関する情報を前記表示装置に通知することを特徴とする画像処理装置。 - 前記通知手段は、前記生成手段が生成した前記画像情報に、前記一部の領域から取得された輝度値に関する情報を付加することを特徴とする請求項1に記載の画像処理装置。
- 前記指定手段は、撮像素子にて撮像された画像から、前記指定された一部の領域をクロップすることを特徴とする請求項1または2に記載の画像処理装置。
- 前記指定手段は、前記撮像素子にて撮像された画像から、前記表示装置のアスペクトに応じて前記一部の領域をクロップすることを特徴とする請求項3に記載の画像処理装置。
- 前記指定手段は、前記撮像素子にて撮像された画像の中の特定の領域を、前記一部の領域としてクロップすることを特徴とする請求項3に記載の画像処理装置。
- 前記生成手段は、前記撮像素子にて撮像された画像に対し、前記クロップされた領域を視認可能に表す画像を重畳した、前記画像情報を生成することを特徴とする請求項3から5のいずれか1項に記載の画像処理装置。
- 前記生成手段は、前記クロップされた領域を視認可能に表す線の画像を重畳した前記画像情報を生成することを特徴とする請求項6に記載の画像処理装置。
- 前記生成手段は、前記クロップされた領域から前記画像情報を生成することを特徴とする請求項3から5のいずれか1項に記載の画像処理装置。
- 前記取得手段は、前記画像から最大輝度の輝度値をも取得し、
前記通知手段は、前記一部の領域の領域外に前記最大輝度の輝度値があることを視認可能に表す通知情報を、前記表示装置に通知することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。 - 画像処理装置が実行する画像処理方法であって、
画像から輝度値を取得する取得工程と、
前記画像の一部の領域を指定する指定工程と、
表示装置に表示される画像情報を生成する生成工程と、
前記画像情報を表示する表示装置に、前記輝度値に関する情報を通知する通知工程と、を有し、
前記取得工程では、前記一部の領域から輝度値を取得し、
前記通知工程では、前記一部の領域から取得された輝度値に関する情報を前記表示装置に通知することを特徴とする画像処理方法。 - コンピュータを、請求項1から9のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019063724A JP2020167456A (ja) | 2019-03-28 | 2019-03-28 | 画像処理装置、画像処理方法、およびプログラム |
US16/821,817 US20200314349A1 (en) | 2019-03-28 | 2020-03-17 | Image processing device, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019063724A JP2020167456A (ja) | 2019-03-28 | 2019-03-28 | 画像処理装置、画像処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020167456A true JP2020167456A (ja) | 2020-10-08 |
Family
ID=72605275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019063724A Pending JP2020167456A (ja) | 2019-03-28 | 2019-03-28 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20200314349A1 (ja) |
JP (1) | JP2020167456A (ja) |
-
2019
- 2019-03-28 JP JP2019063724A patent/JP2020167456A/ja active Pending
-
2020
- 2020-03-17 US US16/821,817 patent/US20200314349A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20200314349A1 (en) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3948229B2 (ja) | 画像撮像装置及び方法 | |
JP5018770B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
US8488019B2 (en) | Image-capturing device, image-capturing method and storage medium storing image-capturing program for generating a wide dynamic range image | |
JP6019964B2 (ja) | 画像処理装置及びそれを搭載した撮像装置、並びに画像処理方法 | |
JP5612017B2 (ja) | カメラの手ぶれ低減システム | |
JP2010050737A (ja) | ビデオ撮像装置および露光ガイド表示方法 | |
US8218021B2 (en) | Image capture apparatus, method of controlling the same, and program | |
JP2004363726A (ja) | 画像処理方法及びデジタルカメラ | |
JP7123568B2 (ja) | 画像処理装置、その制御方法及びプログラム | |
JP4880375B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP2009055415A (ja) | カメラ | |
JP7249212B2 (ja) | 画像処理装置および画像処理方法、撮像装置およびその制御方法、システム、並びにプログラム | |
JP2020167456A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6250970B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体 | |
JP6157274B2 (ja) | 撮像装置、情報処理方法及びプログラム | |
US8854256B2 (en) | Image capture apparatus and method of controlling the same | |
US20210218887A1 (en) | Imaging apparatus | |
WO2020071108A1 (ja) | 画像処理装置および画像処理方法 | |
JP2006109046A (ja) | 撮像装置 | |
JP4978669B2 (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JP6849351B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2006086610A (ja) | 画像処理装置、画像記録装置、及び画像処理方法 | |
JP6247513B2 (ja) | 撮像装置、制御方法およびプログラム | |
JP2019201269A (ja) | 撮像装置 | |
JP2004159087A (ja) | スキャナシステム、画像処理プログラム |