JP2022151987A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2022151987A JP2022151987A JP2021054574A JP2021054574A JP2022151987A JP 2022151987 A JP2022151987 A JP 2022151987A JP 2021054574 A JP2021054574 A JP 2021054574A JP 2021054574 A JP2021054574 A JP 2021054574A JP 2022151987 A JP2022151987 A JP 2022151987A
- Authority
- JP
- Japan
- Prior art keywords
- exposure
- area
- imaging apparatus
- combined
- areas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 70
- 238000011161 development Methods 0.000 claims abstract description 41
- 238000011156 evaluation Methods 0.000 claims abstract description 33
- 238000012937 correction Methods 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 8
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 239000013589 supplement Substances 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6077—Colour balance, e.g. colour cast correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Abstract
【課題】 異光源がある撮影シーンにおいても良好な現像パラメーターを適用すること。【解決手段】 単一画素または複数画素で構成される露光領域ごとに露光条件を変更可能なイメージセンサと、撮像された映像信号をデジタル信号処理する画像処理部を有し、前記露光領域ごとに露光条件の閾値から露光領域を結合した結合領域を生成し、前記結合領域ごとに現像パラメーターの評価値を算出し、前記露光領域ごとに取得された現像パラメーターを画像処理部に適用することを特徴とする。【選択図】 図1
Description
本発明は、撮像装置にする。
従来、イメージセンサ内で領域別に露光条件を変更可能な構成を備え、ホワイトバランス処理を領域別に行う技術が知られている(特許文献1参照)。
本発明が解決しようとする課題は、異光源がある撮影シーンにおいても良好な現像パラメーターを適用することである。
本発明の一態様に係る撮像装置は、単一画素または複数画素で構成される露光領域ごとに露光条件を変更可能なイメージセンサと、撮像された映像信号をデジタル信号処理する画像処理部を有し、前記露光領域ごとに露光条件の閾値から露光領域を結合した結合領域を生成し、前記結合領域ごとに現像パラメーターの評価値を算出し、前記露光領域ごとに取得された現像パラメーターを画像処理部に適用することを特徴とする。
異光源がある撮影シーンにおいても良好な現像パラメーターを適用することができる。
(第1の実施形態)
以下、図1から図4を参照して、第1の実施形態による、現像パラメーターのひとつであるホワイトバランス評価値の取得方法および補正方法について説明する。本明細書の実施形態での説明はすべてホワイトバランスについて説明するが、ホワイトバランスだけでなく、色に関わる色信号処理、彩度または色相を補正するための現像パラメーターであってもよい。本実施形態のホワイトバランスはすべてオートホワイトバランス(AWB)であり、ホワイトバランスの評価値を自動で取得する。
以下、図1から図4を参照して、第1の実施形態による、現像パラメーターのひとつであるホワイトバランス評価値の取得方法および補正方法について説明する。本明細書の実施形態での説明はすべてホワイトバランスについて説明するが、ホワイトバランスだけでなく、色に関わる色信号処理、彩度または色相を補正するための現像パラメーターであってもよい。本実施形態のホワイトバランスはすべてオートホワイトバランス(AWB)であり、ホワイトバランスの評価値を自動で取得する。
本実施形態では異光源によって色味が異なる領域が存在する撮影環境において、ひとつの撮像装置で異光源の領域を同時に撮影する場合における、ホワイトバランス評価値の算出方法と、算出された評価値を基にした画像処理の方法について説明する。
図1を参照して、本実施形態における撮像装置100の構成について説明する。図1は本実施形態における撮像装置100の構成図である。撮像装置100は、レンズ101、イメージセンサ102、画像処理部103、露光領域制御部104、画像出力部105から構成される。
レンズ101は、撮影画角内の光を受け、イメージセンサ102に集光する。
イメージセンサ102は、集光された光を光電変換して、映像信号として画像処理部103に送信する。また、イメージセンサ102はRGBのカラーフィルタを有しており、RGBの色情報を持った映像信号を生成する。さらに、イメージセンサ102は、単一画素または複数画素で構成された領域(以下、露光領域と呼称する)ごとに露光条件を変更可能なイメージセンサであり、詳細については図2を用いて後述する。
画像処理部103は、デジタル信号である映像信号に対して、現像処理を含めた画像処理を行う。映像信号を画像データ(JPEG形式など)に変換する。このときイメージセンサ102から送信されるRGBの色情報を持った映像信号は、YUV形式などの色差信号に変換されてデジタル信号処理される。最終的に映像信号が画像データとして変換(現像)され、画像データは画像出力部105を介して出力される。現像処理とは、ホワイトバランス補正、彩度補正、色調補正、シャープネス補正、ガンマ補正、階調補正などである。ホワイトバランスは固定の現像パラメーターでなく、映像信号からホワイトバランス評価値(現像パラメーター)を算出する。算出された現像パラメーターを適用してホワイトバランス補正を行う。また、画像処理部103はYUV変換することで輝度情報および色差情報を算出することが可能である。この輝度情報を基に適正露光となる露光条件を決定する。露光条件とはイメージセンサ102の露光時間およびアナログゲイン値によって決定される。算出された露光条件は露光領域制御部104に送信される。また、輝度情報および色差情報を基にホワイトバランスの評価値を算出する。
露光領域制御部104は、露光領域ごとに露光条件を割り当て、イメージセンサ102を制御する。露光領域制御部104は被写体の明るさに対するダイナミックレンジを向上するために、例えば露光領域内の平均輝度値が、出力可能なデータ諧調の中央値となるように露光条件(露光時間およびアナログゲイン)を設定する。
画像出力部105は画像データの配信に関わるインターフェースであり、例えばネットワークを介して、撮像装置から画像データを出力することが可能である。
図2を参照して、本実施形態におけるイメージセンサ102の露光領域について説明する。図2はイメージセンサ102と露光領域201の関係を示した図である。図2においては、イメージセンサ102が9つの露光領域に分割されている。説明を明確化するために、図示する行に対応する記号A,B,Cおよび列に対応する記号1,2,3を用いて、イメージセンサ102の露光領域201を説明する。例えば、図2における露光領域A1はイメージセンサ102の左上の露光領域に対応し、露光領域B2はイメージセンサ102の中央の露光領域に対応する。9つの露光領域はそれぞれ独立に露光条件(露光時間およびアナログゲイン)を設定可能である。また、イメージセンサ102における露光領域に対応する画素の位置情報は画像処理部103および露光領域制御部104へ送信され、画像処理および評価値の算出に用いられる。画像処理部103は、露光領域ごとに映像信号から評価値の算出および現像処理を含めた画像処理を実施することが可能である。
図3を参照して、本実施形態における現像処理について説明する。図3は本実施形態の手順について示したフローチャートである。各ステップ(以降、Sと省略する)について説明する。
ステップS301において、露光領域制御部104が露光領域ごとの輝度情報を基に、各露光領域の露光条件を決定する。このとき露光領域内で適正露光となる露光条件に独立して制御される。また、輝度情報は前フレームの映像信号から算出する。イメージセンサ102は露光領域制御部104によって制御された露光条件が設定される。
ステップS302において、露光条件の閾値に基づき、露光領域を結合して結合領域を生成する。露光条件の閾値によって、撮影される被写体の明るい領域と暗い領域に分かることが可能となる。すなわち、異なる光源である領域を分割した結合領域を生成することができる。
露光条件の閾値の詳細な説明および被写体の明るさの算出方法については後述する。露光領域ごとに被写体の明るさが閾値に明るいか、暗いか判定する。閾値よりも明るい領域をまとめて明部の結合領域、閾値よりも暗い領域をまとめて暗部の結合領域と呼称する。明部の結合領域および暗部結合領域については図4を用いて補足説明する。
ステップS303において、設定された露光条件で撮影を行う。
ステップS304において、イメージセンサ102は撮影された映像信号を画像処理部103へ送信する。画像処理部103は、撮影された映像信号から結合領域ごとにホワイトバランスの評価値を算出する。またこのとき、画像処理部103は露光領域ごとに輝度情報を算出し、露光領域制御部104へ送信し、次フレームの露光条件の設定を行えるようにする。
ステップS305において、結合領域ごとにホワイトバランス補正を行う。またこのとき露光領域ごとに、ホワイトバランス補正以外の現像処理も実施する。
ステップS306において、現像された画像を出力する。
図4を参照して、本実施形態における結合領域について説明する。図4は、イメージセンサ102と結合領域の関係を示した図である。図4は、図2と同様にイメージセンサ102の露光領域を図示している。露光領域ごとに平均の輝度値および露光条件の設定から、露光領域ごとの被写体の明るさを推測する。このとき、イメージセンサ102は露光領域ごとに輝度値が同じになるように露光条件を設定しているため、露光条件のみを参照することで、被写体の明るさを推測することができる。すなわち露光時間が2倍長い領域は1/2倍の明るさの領域であり、アナログゲインが2倍大きい領域は1/2倍の明るさの領域であるといえる。本実施形態では露光条件を数式001に表す。露光条件をX,露光時間をT、アナログゲインをGとする。ただしこのとき、露光時間TおよびアナログゲインGは被写体の明るさに対して正規化されており、露光時間TおよびアナログゲインGの重みづけは一緒である。すなわち、T:G=2:1のときもT:G=1:2のときもXの値としては同一となる。
X=T×G ・・・数式001
X=T×G ・・・数式001
このとき露光条件Xに対する閾値Xthを設けて、結合領域を生成する。露光条件Xは露光領域ごとにそれぞれ独立して保有している。そのため、図4のように露光条件XがXthよりも小さい領域は、明部の結合領域401(図4の白の領域、A2、A3、B2、B3、C3)となる。対して露光条件XがXthよりも大きい領域は、暗部の結合領域402(図4の斜線の領域、A1、B1、C1、C2)となる。同一の結合領域に割り当てられた露光領域は撮影される被写体の明るさが近く、同一光源によって照らされている可能性が高い領域である。そのため、結合領域ごとにホワイトバランスの評価値を取得する。さらにホワイトバランスの評価値は対応する結合領域ごとに適用し、デジタルゲインによってホワイトバランス補正を実施する。
以上の説明で示したように、異光源である可能性が高い領域である結合領域ごとにホワイトバランスの評価値を算出が可能となる。さらに算出されたホワイトバランスの評価値を露光領域(あるいは結合領域)ごとに適用することで、異光源に対して領域毎に適切なホワイトバランス補正を適用した画像を生成できる。
以降で、第一の実施形態について補足で説明を行う。
ホワイトバランスの補正は結合領域ごとではなく、露光領域ごとに実施してもよい。例えば、露光領域ごとに露光条件が異なるため、データ圧縮などの現像処理を露光領域ごとに実施する場合がある。このとき、露光領域ごとにホワイトバランス補正を含めた現像処理を一括して行うことで、信号処理を容易にできる。
ホワイトバランスの評価値の算出方法について補足で説明を行う。ホワイトバランスの評価値を算出する際、結合領域ごとにR,G,Bの比率を算出する。そのため、画素数が多ければ多いほどサンプル数が増え、精度が向上する。すなわち、結合領域が細かくなりすぎるとサンプル数が少なくなり、精度が低下してしまう。そのことからブロックの最小サイズ(最小の画素数)を定めておくことが望ましい。
また、黒つぶれや、白飛びしている画素が多いと適切なホワイトバランスの評価値が算出できない。そのため、中間輝度の画素または露光領域のみの映像信号からホワイトバランスの評価値を算出することが望ましい。
また、被写体の色の偏りが大きい場合には、適切なホワイトバランスの評価値を算出できない。そのため、評価値を算出する領域を結合領域内の無彩色の領域に限定してもよい。このとき、色味の偏りが多く、被写体の無彩色が検出されないことが考えられる。この場合、無彩色が検出できていない結合領域の露光条件差の閾値を緩和することが望ましい。これにより、無彩色の検出が可能となり、適切なホワイトバランスの補正が可能となる。
結合領域の生成方法について、補足で説明を行う。結像領域を生成する場合は露光領域が隣接している場合に限定してもよい。結合領域を隣接している露光領域に限定する場合は、すくなくとも画像上では近くにある領域に限定されるため、同じ光源である可能性が高くなる。そのため、ホワイトバランスの評価値の精度が向上する。
また、隣接している領域に限定しない場合にもメリットがある。撮影しているシーンに奥行きがあり、手間に被写体が存在して、背景の領域が分断される場合がある。このとき、隣接している領域に限定しない場合には、分断された領域を同一の結合領域として判定することができる。これにより、結合領域内のサンプル数が増え、精度が向上する。
露光条件の閾値について補足で説明を行う。露光条件Xに対する閾値Xthは複数あってもよい。複数設けることで異光源が3つ以上ある場合であっても適切にホワイトバランスの補正が可能となる。
また、露光条件の閾値は絶対値と相対値のどちらでもよい。絶対値を用いる場合には、明るい被写体と暗い被写体が分かれるように事前に露光条件の閾値を設定しておくことが望ましい。この場合、事前に閾値を決めればよいため、演算負荷は小さくなる。
相対値を用いる場合には、露光条件の中から例えば最大値と最小値を算出し、中央値を閾値にする。これにより、撮影シーンに応じて適切な結合領域を生成できるため、ホワイトバランス補正の精度が向上する。また、画素ごとの明るさ予測からヒストグラムをとり、ヒストグラムが谷になっている(明るさの段差がある)値を閾値とするなど、ヒストグラムを参照してもよい。
露光条件について補足で説明を行う。撮像装置は単一の光学系であるため、露光領域ごとの輝度情報および露光領域ごとの露光条件から、露光領域ごとの被写体の明るさを予測することができる。例えば、同一の露光条件の場合には、輝度情報と被写体の明るさは比例する。露光領域間の輝度情報が2倍であれば被写体の明るさも2倍であると予測できる。
さらにアナログゲインはISO感度に換算してもよい。イメージセンサ102の光学特性を基に、アナログゲインをISO感度に変換可能である。また、しぼり値(F値)はイメージセンサ102で一律であるため、露光条件Xに追加して、ISO感度およびしぼり値がわかれば、被写体の明るさを推測することが可能となる。
図3について補足で説明を行う。図3において、連続的に撮影が実施される場合にはS304で取得した輝度情報を基に、露光領域ごとに露光条件を設定する。これにより1フレーム前の被写体の明るさを反映した露光条件で撮影が可能となる。
ホワイトバランスの評価値について、補足で説明を行う。
ホワイトバランスの評価値の時間的な反映は露光条件の変化速度に合わせて行うことが望ましい。露光条件が急峻に変化している場合には、光源が変化している可能性が高いため、ホワイトバランス補正も急峻に実施する。また、露光条件が緩やかに変化している場合には、同様にホワイトバランス補正も緩やかにすることが望ましい。このように露光条件の変化速度に合わせて、ホワイトバランス補正を実施することで、動画としてみたときに自然な色味の変化となる。
また、ホワイトバランス補正の頻度を抑えることで、画像処理部103の負荷を低減させることができる。露光条件に変化があった結合領域のみに対してホワイトバランス補正を行うことで、画像処理部103の負荷を抑えることができる。このとき露光領域の露光条件の変化量について、閾値を設けておき、どこまで変化したらホワイトバランス補正(現像パラメータの再取得・再適用)を再度行うか決めておいてもよい。また、ホワイトバランス補正に関して、ホワイトバランス補正を実施しない場合には評価値を算出する必要もない。
本実施形態では結合領域を設け、結合領域ごとに異なるホワイトバランスの評価値を適用することを示した。しかし、結合領域の境界部分で極端にホワイトバランスの評価値が異なると、不自然な画像となってしまう。そこで、結合領域の境界部については、ホワイトバランスの評価値にグラデーションをつけ、なだらかに色味が変化させることが望ましい。例えば境界の中心のホワイトバランスの評価値を隣接する結合領域の平均値とし、結合領域ごとの内側50画素まではなだらかに評価値の変化をつけるなどとすればよい。また、ホワイトバランスの評価値の差が大きければ大きいほど、グラデーションの範囲を広くすることが望ましい。これによりなだらかな変化となり、自然な画像となる。
図1の説明において露光領域制御部104は独立したブロックとして説明したが、イメージセンサ102や画像処理部103の機能の一部であってもよい。また、露光領域制御部104の制御の説明において、平均輝度値がデータ諧調の中央値とする制御の例を挙げたが、これに限定されない。黒つぶれや白飛びが少なくなるような露光条件に決定されていればよい。
図2の説明において、露光領域201が9つある例を挙げて説明したが、露光領域は2つ以上あれば本実施形態は適用可能である。さらに、単一画素をひとつの露光領域としてもよい。
(第2の実施形態)
第1の実施形態では現像処理のすべてを画像処理部103で実施する場合について説明した。第2の実施形態では現像処理の一部をイメージセンサ102で実施する場合について説明する。また、第2の実施形態では、第1の実施形態ですでに説明している内容については省略する。
第1の実施形態では現像処理のすべてを画像処理部103で実施する場合について説明した。第2の実施形態では現像処理の一部をイメージセンサ102で実施する場合について説明する。また、第2の実施形態では、第1の実施形態ですでに説明している内容については省略する。
本実施形態で用いる複数の露光領域を有するイメージセンサ102の映像信号は、領域毎に露光条件が異なるため、画像処理部103の処理が複雑となる。そのため、汎用的な画像処理では露光領域ごとの処理が実施できないことがある。第2の実施形態では複数の露光領域を有するイメージセンサ102が第1の実施形態で示した画像処理機能の一部を有することで、汎用的な画像処理部103であっても現像処理を実施することが可能となる。
図5を参照して第2の実施形態に示す現像処理部を有するイメージセンサ102を備えた撮像装置100について説明する。図5は本実施形態にかかわる現像処理部501を有するイメージセンサ102を備えた、撮像装置100の構成図である。レンズ101、画像出力部105、露光領域制御部104は第1の実施形態と同一のため説明は省略する。
図5のイメージセンサ102は現像処理部501を備えている。イメージセンサ102はカラーフィルタを通して集光された光を光電変換することでRGBの映像信号に変換している。イメージセンサ102は積層センサであり、デジタル信号処理を行う回路である現像処理部501を有している。現像処理部501ではRGB信号をYUV信号(輝度情報および色差情報)に変換する。このとき露光領域ごとの露光条件を基にデジタルゲインによって画像の明るさを補正(以降、明るさ補正と呼称する)することが望ましい。明るさ補正では、画像全体としてみたときに暗い領域を暗く、明るい領域を明るくなるように、露光領域ごとにデジタルゲインで補正する。
ホワイトバランス補正は、明るさ補正前に実施することが望ましい。第1の実施形態で説明した結合領域によるホワイトバランス補正を、明るさ補正前に行うことで露光領域ごとに適切なホワイトバランスが適用される。その状態で明るさ補正のデジタルゲインがかかるため、現像後の色味がずれることなく、ホワイトバランス補正が可能となる。
イメージセンサ102は明るさ補正を実施した映像信号を画像処理部103へ送信する。その際、YUV信号をそのまま出力してもよく、RGB信号に再変換してもよい。画像処理部103は明るさ補正された映像信号を扱うため、露光条件がイメージセンサで一律に設定されている場合と同様に処理できるため、汎用的な画像処理部であっても処理が可能となる。
仮に、明るさ補正後にホワイトバランス補正をしてしまうと、明るさ補正のデジタルゲインによって、色味が露光領域ごとにずれてしまい、適切なホワイトバランス補正ができなくなってしまう。
以上で説明したように、イメージセンサ102が現像処理部501を備え、結合領域ごとにホワイトバランス補正を実施した映像信号を出力することで、汎用的な画像処理部103であっても現像処理を実施することが可能となる。また、汎用的な画像処理部103であっても適切なホワイトバランス補正を適用した画像を生成することができる。
イメージセンサ102の出力形式について補足で説明を行う。YUV信号のまま出力することで、画像処理部103で実施するRGB信号からYUV信号へ変換する処理を省略することができる。また、RGB信号からのデータ変換はYUV形式に限定されない。YCrCbなどのほかの色差信号の形式でも良い。
また、イメージセンサ102でYUV信号をRGB信号に再変換してから出力することで、イメージセンサとしては汎用的なフォーマットとして出力することができる。そのため、画像処理部103における映像信号の入力部分のソフト開発を容易にすることができる。
また、イメージセンサ102は映像信号とは別に結合領域の大きさおよび位置を示した結合領域マップを生成し、画像処理部103へ送信してもよい。これにより、画像処理部103は結合領域マップを基に画像処理や映像信号のデータ抽出が可能となる。
明るさ補正では現像処理とは別にデータ量(諧調)の圧縮処理を実施してもよい。また、画像処理部103で実施する処理の一部またはすべてを現像処理部501で実施してもよい。また、明るさ補正は画像処理部103で実施してもよく、現像処理部501と画像処理部103の役割は自由に変更してもよい。
明るさ補正について補足で説明を行う。イメージセンサ102は露光領域ごとに適正露光となる光量となる露光条件に設定されている。そのため、デジタルゲインによる明るさ補正をしない場合には画像全体として明るさの諧調がない画像となってしまう。明るさ補正を実施することで、明るい被写体を明るく、暗い被写体は暗く画像に表現することができる。
以上、本実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
100 撮像装置
101 レンズ
102 イメージセンサ
103 画像処理部
104 露光領域制御部
105 画像出力部
101 レンズ
102 イメージセンサ
103 画像処理部
104 露光領域制御部
105 画像出力部
Claims (14)
- 単一画素または複数画素で構成される露光領域ごとに露光条件を変更可能なイメージセンサと、
撮像された映像信号をデジタル信号処理する画像処理部を有し、
前記露光領域ごとに露光条件の閾値から露光領域を結合した結合領域を生成し、
前記結合領域ごとに現像パラメーターの評価値を算出し、
前記露光領域ごとに取得された現像パラメーターを画像処理部に適用することを特徴とする撮像装置。 - 前記結合領域ごとに取得された現像パラメーターを適用することを特徴とする請求項1に記載の撮像装置。
- 前記現像パラメーターが色の補正にかかわるパラメーターであることを特徴とする請求項1または2に記載の撮像装置。
- 前記現像パラメーターがホワイトバランスであることを特徴とする請求項1から3のいずれか一項に記載の撮像装置。
- 結合領域が隣接する露光領域のみから生成されることを特徴とする請求項1から4のいずれか一項に記載の撮像装置。
- 結合領域が隣接する露光領域に限定されずに生成されることを特徴とする請求項1から4のいずれか一項に記載の撮像装置。
- 結合領域の間の境界部で現像パラメーターの評価値にグラデーションをつけることを特徴とする請求項1から6のいずれか一項に記載の撮像装置。
- 結合領域の間で露光条件の差が大きければ大きいほど、境界部のグラデーションの範囲を広げることを特徴とする請求項1から7のいずれか一項に記載の撮像装置。
- 露光条件の変化速度を基に、現像パラメーターの適用の頻度を決定することを特徴とする請求項1から8のいずれか一項に記載の撮像装置。
- 露光条件の変化が第二の閾値を超えた結合領域に対してのみ現像パラメーターの再取得または、現像パラメーターの再適用を実施することを特徴とする請求項1から9のいずれか一項に記載の撮像装置。
- 前記イメージセンサが現像処理部を備え、現像パラメーターを適用したRGB信号または色差信号を出力可能であることを特徴とする請求項1から10のいずれか一項に記載の撮像装置。
- 前記イメージセンサが結合領域マップを生成し、結合領域マップを出力することを特徴とする請求項1から11のいずれか一項に記載の撮像装置。
- 結合領域を構成する最小の露光領域が二つ以上であることを特徴とする請求項1から12のいずれか一項に記載の撮像装置。
- 無彩色の領域がない結合領域に対して、前記結合領域の大きさが大きくなるように第一の閾値を緩和することを特徴とする請求項1から13のいずれか一項に記載の撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021054574A JP2022151987A (ja) | 2021-03-29 | 2021-03-29 | 撮像装置 |
US17/705,069 US11696044B2 (en) | 2021-03-29 | 2022-03-25 | Image capturing apparatus, control method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021054574A JP2022151987A (ja) | 2021-03-29 | 2021-03-29 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022151987A true JP2022151987A (ja) | 2022-10-12 |
Family
ID=83365196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021054574A Pending JP2022151987A (ja) | 2021-03-29 | 2021-03-29 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11696044B2 (ja) |
JP (1) | JP2022151987A (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7493030B2 (en) * | 2005-06-24 | 2009-02-17 | Nokia Corporation | Adaptive optical plane formation with rolling shutter |
JP6136456B2 (ja) | 2013-03-28 | 2017-05-31 | パナソニックIpマネジメント株式会社 | 表示灯付きスイッチ |
WO2014192150A1 (ja) | 2013-05-31 | 2014-12-04 | 株式会社ウイル・コーポレーション | ラベル貼付装置 |
EP3007434B1 (en) | 2013-05-31 | 2021-11-03 | Nikon Corporation | Electronic device and control program |
US8958640B1 (en) * | 2013-07-01 | 2015-02-17 | Google Inc. | Image color cast correction using groups of pixels |
CN109151426B (zh) * | 2017-06-28 | 2020-05-22 | 杭州海康威视数字技术股份有限公司 | 一种白平衡调整方法、装置、相机及介质 |
GB201908521D0 (en) * | 2019-06-13 | 2019-07-31 | Spectral Edge Ltd | Image white balance processing system and method |
-
2021
- 2021-03-29 JP JP2021054574A patent/JP2022151987A/ja active Pending
-
2022
- 2022-03-25 US US17/705,069 patent/US11696044B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11696044B2 (en) | 2023-07-04 |
US20220311982A1 (en) | 2022-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10412296B2 (en) | Camera using preview image to select exposure | |
JP3668014B2 (ja) | 画像処理方法及び装置 | |
EP2426928B1 (en) | Image processing apparatus, image processing method and program | |
EP2426927B1 (en) | Image processing apparatus, image processing method and computer program | |
JP5743696B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2000228747A (ja) | 画像処理装置 | |
JP2013240031A (ja) | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 | |
JP2002232906A (ja) | ホワイトバランス制御装置 | |
US11880963B2 (en) | Apparatus and method for image processing | |
JP5149055B2 (ja) | 撮像装置 | |
CN113411554A (zh) | 水下图像色彩还原方法和装置 | |
JP7307541B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
CN106575434B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
JP2019029833A (ja) | 撮像装置 | |
JP2001268345A (ja) | 画像合成装置 | |
JP5854716B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5365881B2 (ja) | 画像処理装置、画像処理方法 | |
JP2022151987A (ja) | 撮像装置 | |
JP5952573B2 (ja) | 画像処理装置およびその制御方法 | |
JP2019040382A (ja) | 画像処理装置 | |
JP6849351B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022186166A (ja) | 撮像装置、その制御方法、プログラムおよび記憶媒体 | |
JP6021885B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN116362986A (zh) | 一种图像处理方法、设备及存储介质 | |
JP2007329621A (ja) | 画像処理装置と画像処理方法、および画像信号処理プログラム。 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240328 |