JP2022037781A - 撮像装置、および画像処理システム - Google Patents
撮像装置、および画像処理システム Download PDFInfo
- Publication number
- JP2022037781A JP2022037781A JP2020142096A JP2020142096A JP2022037781A JP 2022037781 A JP2022037781 A JP 2022037781A JP 2020142096 A JP2020142096 A JP 2020142096A JP 2020142096 A JP2020142096 A JP 2020142096A JP 2022037781 A JP2022037781 A JP 2022037781A
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- image
- image processing
- raw data
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 6
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 58
- 238000007781 pre-processing Methods 0.000 claims description 47
- 238000003702 image correction Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000000052 comparative effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006641 stabilisation Effects 0.000 description 4
- 238000011105 stabilization Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】回路の小型化と低消費電力化とを行うことを可能にする。【解決手段】本開示の撮像装置は、入射光に応じた画素信号を出力する受光部を有し、画素信号に基づくRAWデータを出力するセンサ層と、センサ層に積層され、センサ層からのRAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う画像処理回路と、画像処理回路による前処理後のRAWデータを符号化する符号化器とを有するロジック回路層とを備える。【選択図】図3
Description
本開示は、積層型イメージセンサに好適な撮像装置、および画像処理システムに関する。
受光部を含むセンサ層と前記受光部からの画像信号に対する画像処理を行うロジック回路層とが積層された構造を持つ積層型イメージセンサがある(例えば特許文献1参照)。また、イメージセンサから出力されたRAWデータを符号化する技術がある(例えば特許文献2~4参照)。一方、撮像装置においては、例えば、イメージセンサから出力されたRAWデータにさまざまな画像処理を行って画像符号化の標準入力フォーマットであるY(輝度)/C(クロマ)データに変換し、これを符号化するのが通常である。
積層型イメージセンサにおけるロジック回路層に、画像処理および画像符号化を行う回路をすべて積載してしまうと、回路面積が大きくなり、また消費電力も大きくなってしまう。
回路の小型化と低消費電力化とを行うことが可能な撮像装置、および画像処理システムを提供することが望ましい。
本開示の一実施の形態に係る撮像装置は、入射光に応じた画素信号を出力する受光部を有し、画素信号に基づくRAWデータを出力するセンサ層と、センサ層に積層され、センサ層からのRAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う画像処理回路と、画像処理回路による前処理後のRAWデータを符号化する符号化器とを有するロジック回路層とを備える。
本開示の一実施の形態に係る画像処理システムは、画素信号に基づくRAWデータを符号化して出力する撮像装置と、撮像装置によって符号化されたRAWデータを復号化して再生する再生機とを含み、撮像装置は、入射光に応じた画素信号を出力する受光部を有し、画素信号に基づくRAWデータを出力するセンサ層と、センサ層に積層され、センサ層からのRAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う前段画像処理回路と、前段画像処理回路による前処理後のRAWデータを符号化する符号化器とを有するロジック回路層とを備える。
本開示の一実施の形態に係る撮像装置、または画像処理システムでは、センサ層に積層されたロジック回路層において、センサ層からのRAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行い、その前処理後のRAWデータを符号化して出力する。
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
0.比較例(図1~図2)
0.1 比較例に係る撮像装置、および画像処理システムの構成
0.2 課題
1.第1の実施の形態(図3~図7)
1.1 構成
1.2 動作
1.3 効果
1.4 変形例
2.その他の実施の形態
0.比較例(図1~図2)
0.1 比較例に係る撮像装置、および画像処理システムの構成
0.2 課題
1.第1の実施の形態(図3~図7)
1.1 構成
1.2 動作
1.3 効果
1.4 変形例
2.その他の実施の形態
<0.比較例>
[0.1 比較例に係る撮像装置、および画像処理システムの構成]
イメージセンサで取り込まれた動画像を符号化した符号化データを記録媒体に記録、あるいはネットワークを利用して再生機に伝送する画像処理システムがある。このような画像処理システムでは、イメージセンサにより動画像のRAWデータを生成し、生成されたRAWデータにさまざまな画像処理を行って画像符号化の標準入力フォーマットであるY/Cデータに変換した後、そのY/Cデータを符号化するのが通常である。
[0.1 比較例に係る撮像装置、および画像処理システムの構成]
イメージセンサで取り込まれた動画像を符号化した符号化データを記録媒体に記録、あるいはネットワークを利用して再生機に伝送する画像処理システムがある。このような画像処理システムでは、イメージセンサにより動画像のRAWデータを生成し、生成されたRAWデータにさまざまな画像処理を行って画像符号化の標準入力フォーマットであるY/Cデータに変換した後、そのY/Cデータを符号化するのが通常である。
図1は、比較例に係る画像処理システムの一構成例を示している。
図1に示した比較例に係る画像処理システムは、撮像装置としてのカメラシステム101において符号化された動画像の符号化データを、ネットワーク103を介して再生機102に伝送して復号化し、画像を再生するネットワークカメラシステムである。
カメラシステム101は、イメージセンサ110と、画像処理回路113と、動画像符号化器114と、ネットワークインタフェース115と、補助センサ116とを備えている。
イメージセンサ110は、受光部111と、A(アナログ)/D(デジタル)変換回路112とを有している。
受光部111は、図示しない撮影レンズを介して入射した入射光に応じた画素信号を出力する。受光部111は、例えばフォトダイオード等の光電変換素子を有し、複数の画素を有する。受光部111は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子である。A/D変換回路112は、受光部111からの画素信号のA/D変換を行い、画素信号に基づく動画像のRAWデータを出力する。
補助センサ116は、センサ情報を画像処理回路113に出力する。補助センサ116は、例えばジャイロセンサ等であり、センサ情報として例えば姿勢データを画像処理回路113に出力する。
画像処理回路113は、イメージセンサ110からのRAWデータにさまざまな画像処理を行ってY/Cデータを生成する。
動画像符号化器114は、画像処理回路113からのY/Cデータを符号化した符号化データを出力する。
ネットワークインタフェース115は、動画像符号化器114から出力された符号化データをネットワーク103を介して再生機102に伝送する。
再生機102は、ネットワークインタフェース121と、動画像復号化器122とを備えている。
ネットワークインタフェース121は、カメラシステム101から伝送されてきた符号化データを受信して動画像復号化器122に出力する。動画像復号化器122は、符号化データを復号化する。
図2は、比較例に係る画像処理システムのカメラシステム101における画像処理回路113の一構成例を示している。
画像処理回路113は、RAWデータに対する処理を行う回路として、黒レベル補正回路31と、格子欠陥補正回路32と、ノイズ除去回路33と、AE(Auto Exposure)/AWB(Auto White Balance)検波回路34と、ホワイトバランス調整回路35と、デモザイク回路36とを有している。
画像処理回路113は、さらに、RGBデータに対する処理を行う回路として、リニアマトリックス回路41と、ガンマ補正回路42と、Y/C変換回路43とを有している。
画像処理回路113は、さらに、Y/Cデータに対する処理を行う回路として、シャープネス処理回路51と、クロマ処理回路52と、補正回路53とを有している。
黒レベル補正回路31は、RAWデータに対して、黒レベルを合わせるためのクランプ処理を行う。
格子欠陥補正回路32は、RAWデータに対して、受光部111における欠陥画素の画素信号を補正する欠陥補正処理を行う。
ノイズ除去回路33は、RAWデータに対して、ノイズ成分を除去する処理を行う。
AE/AWB検波回路34は、RAWデータに対する検波処理を行う。AE/AWB検波回路34は、露光検波回路と、ホワイトバランス検波回路とを含む。露光検波回路は、イメージセンサ110の露光制御(露出補正)を行うための検波処理を行う。ホワイトバランス検波回路は、ホワイトバランスの調整を行うための検波処理を行う。
ホワイトバランス調整回路35は、RAWデータに対して、AE/AWB検波回路34のホワイトバランス検波回路において検波されたAWB検波情報に基づいてホワイトバランスの調整を行う。
デモザイク回路36は、RAWデータに対してデモザイク処理を行い、RGBデータを生成する。例えば受光部111の画素がBayer配列である場合、1画素当たり1色の情報しか有していないため、RGBデータとして、1画素当たりRGB3色の情報を有するRGBプレーン信号を生成する。
リニアマトリックス回路41は、RGBデータに対して、色再現性が向上するようなマトリックス演算処理を行う。ガンマ補正回路42は、RGBデータに対して、ガンマ補正処理を行う。Y/C変換回路43は、RGBデータをY(輝度)信号とC(クロマ)信号とからなるY/Cデータに変換する処理を行う。
シャープネス処理回路51は、Y信号に対してシャープネス処理を行う。クロマ処理回路52は、C信号に対してクロマ処理を行う。
補正回路53は、シャープネス処理およびクロマ処理がなされたY/Cデータに対して画像の補正処理を行う。補正回路53は、レンズ歪補正回路54と、手振れ補正回路55とを有している。レンズ歪補正回路54は、図示しない撮影レンズに起因する画像のレンズ歪を補正する処理を行う。手振れ補正回路55は、例えば補助センサ116からの姿勢データ等に基づいて、画像の手振れ補正処理を行う。
[0.2 課題]
図1に示した比較例に係る撮像装置の構成に対して、受光部を含むセンサ層と受光部からの画像信号に対する画像処理を行うロジック回路層とが積層された構造を持つ積層型イメージセンサを用いる構成が考えられる。積層型イメージセンサを使うことにより撮像装置の小型化が可能になり、また受光部とロジック回路間における余分な信号処理が減ることにより消費電力を抑えることができる。例えば特許文献1(特開2017-135760号公報)では、積層型イメージセンサのロジック回路に符号化回路を含め、受光部とロジック回路間の信号帯域を減らしている。
図1に示した比較例に係る撮像装置の構成に対して、受光部を含むセンサ層と受光部からの画像信号に対する画像処理を行うロジック回路層とが積層された構造を持つ積層型イメージセンサを用いる構成が考えられる。積層型イメージセンサを使うことにより撮像装置の小型化が可能になり、また受光部とロジック回路間における余分な信号処理が減ることにより消費電力を抑えることができる。例えば特許文献1(特開2017-135760号公報)では、積層型イメージセンサのロジック回路に符号化回路を含め、受光部とロジック回路間の信号帯域を減らしている。
積層型イメージセンサの限られたサイズのロジック回路に、図1および図2に示した比較例に係る撮像装置の構成おける画像処理回路113のすべての回路と動画像符号化器114とをすべて含めると、回路面積が大きくなり、また消費電力も大きくなってしまう。
<1.第1の実施の形態>
次に、本開示の第1の実施の形態に係る撮像装置、および画像処理システムについて説明する。なお、以下では、上記比較例に係る撮像装置、および画像処理システムの構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
次に、本開示の第1の実施の形態に係る撮像装置、および画像処理システムについて説明する。なお、以下では、上記比較例に係る撮像装置、および画像処理システムの構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
[1.1 構成]
図3は、本開示の第1の実施の形態に係る画像処理システムの一構成例を示している。
図3は、本開示の第1の実施の形態に係る画像処理システムの一構成例を示している。
第1の実施の形態に係る画像処理システムは、撮像装置としてのカメラシステム1において符号化された動画像の符号化データを、ネットワーク3を介して再生機2に伝送して復号化し、画像を再生するネットワークカメラシステムである。
カメラシステム1は、積層型イメージセンサ10と、ネットワークインタフェース17とを備えている。
図4は、積層型イメージセンサ10の積層構造の一例を示している。
積層型イメージセンサ10は、センサ層10Aと、ロジック回路層10Bとが積層された多層基板構造とされている。センサ層10Aとロジック回路層10Bとの間は、例えばビアにより電気的に接続された構造とされている。
積層型イメージセンサ10は、センサ層10Aと、ロジック回路層10Bとが積層された多層基板構造とされている。センサ層10Aとロジック回路層10Bとの間は、例えばビアにより電気的に接続された構造とされている。
センサ層10Aは、受光部11と、A/D変換回路12とを有している。
受光部11は、図示しない撮影レンズを介して入射した入射光に応じた画素信号を出力する。受光部11は、例えばフォトダイオード等の光電変換素子を有し、複数の画素を有する。受光部11は、例えばCCDやCMOS等の固体撮像素子である。A/D変換回路12は、受光部11からの画素信号のA/D変換を行い、画素信号に基づく動画像のRAWデータを出力する。
ロジック回路層10Bは、画像処理回路13と、動画像符号化器14と、補助センサ16と、出力インタフェース15とを有している。
補助センサ16は、センサ情報を動画像符号化器14に出力する。補助センサ16は、例えばジャイロセンサ等であり、センサ情報として例えば姿勢データを動画像符号化器14に出力する。センサ情報は、再生機2においてRAWデータを復号化した後に行われる画像の補正処理を行うための制御データとして用いられる。
画像処理回路13は、センサ層10AからのRAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う。画像処理回路13は、デモザイク処理の一部の前処理が行われた後のRAWデータと、再生機2においてRAWデータを復号化した後に行われる画像の補正処理を行うための制御データとを動画像符号化器14に出力する。画像処理回路13は、後述する図5に示すように、一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路(AE/AWB検波回路34)を含む。画像処理回路13は、後述する図5に示すように、制御データとして、ホワイトバランス検波回路により検波されたホワイトバランスの調整を行うためのホワイトバランス検波情報(AWB検波情報)等を含む検波情報を出力する。また、画像処理回路13は、後述する図5に示すように、制御データとして、図示しない撮影レンズに起因する画像のレンズ歪に関する情報や、画像のシェーディング情報を含む情報を出力する。
動画像符号化器14は、画像処理回路13による前処理後のRAWデータと、画像処理回路13および補助センサ16からの制御データとを符号化して出力インタフェース15を介してネットワークインタフェース17に出力する。動画像符号化器14は、例えば、後述する図7に示すように、ヘッダ領域に制御データが重畳された、RAWデータを含むストリームデータを生成して符号化データとして出力する。
ネットワークインタフェース17は、出力インタフェース15を介して動画像符号化器14から出力された符号化データを、ネットワーク3を介して再生機2に伝送する。
再生機2は、ネットワークインタフェース21と、動画像復号化器22と、画像処理回路23とを備えている。
ネットワークインタフェース21は、カメラシステム1から伝送されてきた符号化データを受信して動画像復号化器22に出力する。動画像復号化器22は、カメラシステム1によって符号化されたRAWデータと制御データとを復号化して、画像処理回路23に出力する。
図5は、第1の実施の形態に係る画像処理システムのカメラシステム1における画像処理回路13の一構成例を示している。図6は、第1の実施の形態に係る画像処理システムの再生機2における画像処理回路23の一構成例を示している。
第1の実施の形態に係る画像処理システムでは、図1および図2に示した比較例におけるカメラシステム101における画像処理回路113が備える複数の回路を、カメラシステム1における画像処理回路13と、再生機2における画像処理回路23とに分けた構成とされている。
ここで、カメラシステム1における画像処理回路13は、本開示の技術における「前段画像処理回路」の一具体例に相当する。再生機2における画像処理回路23は、本開示の技術における「後段画像処理回路」の一具体例に相当する。
前段画像処理回路としての画像処理回路13は、黒レベル補正回路31と、格子欠陥補正回路32と、ノイズ除去回路33と、AE/AWB検波回路34とを有している。これにより、画像処理回路13は、センサ層10AからのRAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、AE/AWB検波回路34による検波処理までの処理を行う。
後段画像処理回路としての画像処理回路23は、ホワイトバランス調整回路35と、デモザイク回路36と、リニアマトリックス回路41と、ガンマ補正回路42と、Y/C変換回路43と、シャープネス処理回路51と、クロマ処理回路52と、補正回路53とを有している。これにより、画像処理回路23は、RAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、ホワイトバランス調整回路35によるホワイトバランスの調整処理を行う。また、画像処理回路23は、デモザイク回路36によってRAWデータに対してデモザイク処理を行い、RGBデータを生成した後、Y/Cデータに変換する処理と、Y/Cデータに対する画像の補正処理とを行う。
画像処理回路23において、ホワイトバランス調整回路35は、デモザイク処理の前処理として、動画像復号化器22によって復号化されたRAWデータに対して、制御データに含まれるホワイトバランス検波情報(AWB検波情報)に基づいてホワイトバランス調整処理を行う。
デモザイク回路36は、動画像復号化器22によって復号化されたRAWデータに対しデモザイク処理を行う。
補正回路53は、制御データに含まれるセンサ情報、レンズ歪に関する情報、画像のシェーディング情報等に基づいて、デモザイク処理後の画像データ(Y/Cデータ)に対して画像の補正処理を行う。
[1.2 動作]
第1の実施の形態に係る撮像装置としてのカメラシステム1では、積層型イメージセンサ10に、センサ層10Aとロジック回路層10Bとが積層されている。ロジック回路層10Bには、RAWデータに対してデモザイク処理前の一部の前処理を行う画像処理回路13と、一部の前処理を行ったRAWデータを符号化する動画像符号化器14と、補助センサ16とが含まれる。積層型イメージセンサ10に動画像符号化器14が搭載されているため、積層型イメージセンサ10からは直接、符号化データとしてのストリームデータが出力される。
第1の実施の形態に係る撮像装置としてのカメラシステム1では、積層型イメージセンサ10に、センサ層10Aとロジック回路層10Bとが積層されている。ロジック回路層10Bには、RAWデータに対してデモザイク処理前の一部の前処理を行う画像処理回路13と、一部の前処理を行ったRAWデータを符号化する動画像符号化器14と、補助センサ16とが含まれる。積層型イメージセンサ10に動画像符号化器14が搭載されているため、積層型イメージセンサ10からは直接、符号化データとしてのストリームデータが出力される。
通常、撮像装置における画像処理回路では、イメージセンサから出力されたRAWデータにさまざまな画像処理を行って画像符号化の標準入力フォーマットであるY/Cデータに変換する処理を行う。これに対し、第1の実施の形態に係るカメラシステム1では、前段画像処理回路としての画像処理回路13において、センサ層10Aへのフィードバックが必要な検波処理を行うAE/AWB検波回路34までの最小限の処理を行う。これにより、前段画像処理回路を最小化し、ロジック回路層10Bの限られた領域を効率的に使うことができる。画像処理回路13からは、RAWデータの他、システムで時間的に変動しない制御データ(レンズ歪、シェーディング情報)とフレームごとに変動する制御データ(検波情報、センサ情報)などが、動画像符号化器14に出力される。
動画像符号化器14は、画像処理回路13からのRAWデータを動画像圧縮してストリームを生成し符号化データとして出力する。この際、再生機2の画像処理回路23による画像処理に必要な制御データ(レンズ歪、シェーディング情報、検波情報、センサ情報など)は、例えば、ストリームのヘッダのユーザデータの部分に重畳される。
図7は、ストリームデータの一例を示している。
図7には、ストリームデータの一例として、MPEG(Moving Picture Experts Group)方式のストリームを示す。ストリームデータには、例えば図7に示したように、イントラ符号化を行うIピクチャと、インター符号化を行うPピクチャとが含まれる。ストリームデータの先頭にはシーケンスヘッダが配置される。各ピクチャの先頭にはピクチャヘッダが配置される。シーケンスヘッダおよびピクチャヘッダには、ユーザデータ領域が含まれる。
MPEGなどの標準的な符号化のシンタックスでは、シーケンスで不変な情報を保持するヘッダ(シーケンスヘッダ)とピクチャごとに変動する情報を保持するヘッダ(ピクチャヘッダ)とが図7のようにストリーム中に配置されているのが普通である。各々のヘッダにはアプリケーションごとにユーザが定義して使用できるユーザデータ領域(プライベートヘッダ)が存在する。
動画像符号化器14は、図7に示すように、ヘッダ領域に制御データが重畳された、RAWデータを含むストリームデータを生成して符号化データとして出力する。
例えば、制御データのうち、レンズ歪、およびシェーディング情報などの時間的に変動しないデータはシーケンスヘッダのユーザデータ領域に配置することが望ましい。また、検波情報、センサ情報(姿勢データ等)等のフレームごとに変化する情報は、ピクチャヘッダのユーザデータ領域に配置することが望ましい。実際の運用においては、ストリームの途中からの再生に対応するために、シーケンスヘッダは再生のエントリーポイントとなるIピクチャごとにその前に配置されることが多い。このように配置することで、後段画像処理回路としての再生機2側の画像処理回路23において、RAWデータのフレームとそれを処理するのに必要な制御データとの対応付けが容易になる。
カメラシステム1から出力されたストリームデータは、ネットワーク3を介して再生機2に伝送された後、復号化され、再生機2側の画像処理回路23による画像処理が行われた後、ディスプレイなどに表示される。この際、再生機2の動画像復号化器22はストリーム中のヘッダから、制御データを取り出し、RAWデータと共に制御データを後段の画像処理回路23に供給する。
[1.3 効果]
以上説明したように、第1の実施の形態に係る撮像装置、および画像処理システムによれば、センサ層10Aに積層されたロジック回路層10Bにおいて、センサ層10AからのRAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行い、その前処理後のRAWデータを符号化して出力するようにしたので、回路の小型化と低消費電力化とを行うことが可能となる。
以上説明したように、第1の実施の形態に係る撮像装置、および画像処理システムによれば、センサ層10Aに積層されたロジック回路層10Bにおいて、センサ層10AからのRAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行い、その前処理後のRAWデータを符号化して出力するようにしたので、回路の小型化と低消費電力化とを行うことが可能となる。
また、第1の実施の形態に係る撮像装置によれば、積層型イメージセンサ10のロジック回路層10Bに搭載する画像処理回路13(前段画像処理回路)で行う処理を一部の前処理に限定しているので、ロジック回路層10Bに搭載する回路面積を小さくできる。このため、限られた面積に実装可能で、かつ、消費電力を抑えることができる。
また、第1の実施の形態に係る画像処理システムによれば、前段画像処理回路で行う画像処理以外の処理を再生機2側の画像処理回路23(後段画像処理回路)で行うようにしたので、規模の大きな画像処理プロセスの大半を再生機2側にオフロードすることが可能となり、カメラデバイスの消費電力を削減することができる。
また、第1の実施の形態に係る画像処理システムによれば、積層型イメージセンサ10のロジック回路層10Bで得られた制御データをストリームデータのヘッダ領域に重畳するようにしたので、再生機2側の画像処理回路23(後段画像処理回路)において画像処理プロセスを行う際に、制御データと画像処理を行うフレームとの対応付けが容易になる。
また、制御データに、補助センサ16の姿勢データ等のセンサ情報を含めるようにしたので、再生機2側の画像処理回路23において、姿勢データ等をストリームデータのヘッダ領域から取り出して手振れ補正を行うことが可能となる。手振れ補正などの処理負荷の重い機能をカメラデバイス側から再生デバイス側に移すことにより、カメラデバイス側の消費電力を削減することができる。また、再生デバイスの能力に応じて手振れ補正を行う/行わないという選択が可能となる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
[1.4 変形例]
上記第1の実施の形態では、画像処理システムの例として、カメラシステム1において符号化されたRAWデータを、ネットワーク3を介して再生機2に伝送して復号化し、画像を再生するネットワークカメラシステムの例を示したが、画像処理システムの構成はこれに限定されない。例えば、カメラシステム1において符号化されたRAWデータを記録媒体に記録し、その記録媒体に記録されたRAWデータを再生機2で復号化して画像を再生するような構成であってもよい。
上記第1の実施の形態では、画像処理システムの例として、カメラシステム1において符号化されたRAWデータを、ネットワーク3を介して再生機2に伝送して復号化し、画像を再生するネットワークカメラシステムの例を示したが、画像処理システムの構成はこれに限定されない。例えば、カメラシステム1において符号化されたRAWデータを記録媒体に記録し、その記録媒体に記録されたRAWデータを再生機2で復号化して画像を再生するような構成であってもよい。
上記第1の実施の形態では、RAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、AE/AWB検波回路34による処理までを前段画像処理回路(画像処理回路13)で行い、ホワイトバランス調整回路35以降の処理を後段画像処理回路(画像処理回路23)で行う構成にしたが、前段画像処理回路と後段画像処理回路との構成はこれに限定されない。例えば、AE/AWB検波回路34による処理よりも前の処理までを前段画像処理回路で行う構成であってもよい。または、デモザイク回路36による処理よりも前で、かつAE/AWB検波回路34による処理よりも後の処理を前段画像処理回路で行う構成であってもよい。
また、上記第1の実施の形態では、動画像の生成および処理を行う場合を例に説明したが、本開示による技術は、動画像に限らず、静止画の生成および処理を行う場合にも適用可能である。
<2.その他の実施の形態>
本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。
本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。
例えば、本技術は以下のような構成を取ることもできる。
以下の構成の本技術によれば、センサ層に積層されたロジック回路層において、センサ層からのRAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行い、その前処理後のRAWデータを符号化して出力するようにしたので、回路の小型化と低消費電力化とを行うことが可能となる。
以下の構成の本技術によれば、センサ層に積層されたロジック回路層において、センサ層からのRAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行い、その前処理後のRAWデータを符号化して出力するようにしたので、回路の小型化と低消費電力化とを行うことが可能となる。
(1)
入射光に応じた画素信号を出力する受光部を有し、前記画素信号に基づくRAWデータを出力するセンサ層と、
前記センサ層に積層され、前記センサ層からの前記RAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う画像処理回路と、前記画像処理回路による前記前処理後の前記RAWデータを符号化する符号化器とを有するロジック回路層と
を備える
撮像装置。
(2)
前記画像処理回路は、前記一部の前処理として、前記受光部の露光制御を行うための検波処理を行う露光検波回路、を含む
上記(1)に記載の撮像装置。
(3)
前記画像処理回路は、前記符号化器により符号化された前記RAWデータを復号化した後に行われる画像の補正処理を行うための制御データと、前記画像処理回路による前記前処理後の前記RAWデータとを出力し、
前記符号化器は、前記RAWデータと前記制御データとを符号化して出力する
上記(1)または(2)に記載の撮像装置。
(4)
前記符号化器は、ヘッダ領域に前記制御データが重畳された、前記RAWデータを含むストリームデータを生成して出力する
上記(3)に記載の撮像装置。
(5)
前記画像処理回路は、前記一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路を含み、前記制御データは、前記ホワイトバランス検波回路により検波された前記ホワイトバランスの調整を行うためのホワイトバランス検波情報を含む
上記(3)または(4)に記載の撮像装置。
(6)
前記ロジック回路層は、補助センサをさらに有し、
前記補助センサは、前記制御データとしてセンサ情報を前記符号化器に出力する
上記(3)ないし(5)のいずれか1つに記載の撮像装置。
(7)
画素信号に基づくRAWデータを符号化して出力する撮像装置と、
前記撮像装置によって符号化された前記RAWデータを復号化して再生する再生機と
を含み、
前記撮像装置は、
入射光に応じた前記画素信号を出力する受光部を有し、前記画素信号に基づく前記RAWデータを出力するセンサ層と、
前記センサ層に積層され、前記センサ層からの前記RAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う前段画像処理回路と、前記前段画像処理回路による前記前処理後の前記RAWデータを符号化する符号化器とを有するロジック回路層と
を備える
画像処理システム。
(8)
前記再生機は、
前記撮像装置によって符号化された前記RAWデータを復号化する復号化器と、
前記復号化器によって復号化された前記RAWデータに対しデモザイク処理を行うデモザイク回路を含む後段画像処理回路と
を備える
上記(7)に記載の画像処理システム。
(9)
前記撮像装置において、
前記前段画像処理回路は、前記符号化器により符号化された前記RAWデータを復号化した後に行われる画像の補正処理を行うための制御データと、前記前段画像処理回路による前記前処理後の前記RAWデータとを出力し、
前記符号化器は、前記RAWデータと前記制御データとを符号化して出力し、
前記再生機において、
前記復号化器は、前記撮像装置によって符号化された前記RAWデータと前記制御データとを復号化する
上記(8)に記載の画像処理システム。
(10)
前記撮像装置において、
前記前段画像処理回路は、前記一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路を含み、前記制御データは、前記ホワイトバランス検波回路により検波された前記ホワイトバランスの調整を行うためのホワイトバランス検波情報を含み、
前記再生機において、
前記後段画像処理回路は、前記デモザイク処理の前処理として、前記復号化器によって復号化された前記RAWデータに対して前記ホワイトバランス検波情報に基づいてホワイトバランス調整処理を行うホワイトバランス調整回路、をさらに含む
上記(9)に記載画像処理システム。
(11)
前記撮像装置において、
前記ロジック回路層は、補助センサをさらに有し、
前記補助センサは、前記制御データとしてセンサ情報を前記符号化器に出力し、
前記再生機において、
前記後段画像処理回路は、前記補助センサによる前記センサ情報に基づいて、前記デモザイク回路によるデモザイク処理後の画像データに対して画像の補正処理を行う補正回路、をさらに含む
上記(9)または(10)に記載画像処理システム。
入射光に応じた画素信号を出力する受光部を有し、前記画素信号に基づくRAWデータを出力するセンサ層と、
前記センサ層に積層され、前記センサ層からの前記RAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う画像処理回路と、前記画像処理回路による前記前処理後の前記RAWデータを符号化する符号化器とを有するロジック回路層と
を備える
撮像装置。
(2)
前記画像処理回路は、前記一部の前処理として、前記受光部の露光制御を行うための検波処理を行う露光検波回路、を含む
上記(1)に記載の撮像装置。
(3)
前記画像処理回路は、前記符号化器により符号化された前記RAWデータを復号化した後に行われる画像の補正処理を行うための制御データと、前記画像処理回路による前記前処理後の前記RAWデータとを出力し、
前記符号化器は、前記RAWデータと前記制御データとを符号化して出力する
上記(1)または(2)に記載の撮像装置。
(4)
前記符号化器は、ヘッダ領域に前記制御データが重畳された、前記RAWデータを含むストリームデータを生成して出力する
上記(3)に記載の撮像装置。
(5)
前記画像処理回路は、前記一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路を含み、前記制御データは、前記ホワイトバランス検波回路により検波された前記ホワイトバランスの調整を行うためのホワイトバランス検波情報を含む
上記(3)または(4)に記載の撮像装置。
(6)
前記ロジック回路層は、補助センサをさらに有し、
前記補助センサは、前記制御データとしてセンサ情報を前記符号化器に出力する
上記(3)ないし(5)のいずれか1つに記載の撮像装置。
(7)
画素信号に基づくRAWデータを符号化して出力する撮像装置と、
前記撮像装置によって符号化された前記RAWデータを復号化して再生する再生機と
を含み、
前記撮像装置は、
入射光に応じた前記画素信号を出力する受光部を有し、前記画素信号に基づく前記RAWデータを出力するセンサ層と、
前記センサ層に積層され、前記センサ層からの前記RAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う前段画像処理回路と、前記前段画像処理回路による前記前処理後の前記RAWデータを符号化する符号化器とを有するロジック回路層と
を備える
画像処理システム。
(8)
前記再生機は、
前記撮像装置によって符号化された前記RAWデータを復号化する復号化器と、
前記復号化器によって復号化された前記RAWデータに対しデモザイク処理を行うデモザイク回路を含む後段画像処理回路と
を備える
上記(7)に記載の画像処理システム。
(9)
前記撮像装置において、
前記前段画像処理回路は、前記符号化器により符号化された前記RAWデータを復号化した後に行われる画像の補正処理を行うための制御データと、前記前段画像処理回路による前記前処理後の前記RAWデータとを出力し、
前記符号化器は、前記RAWデータと前記制御データとを符号化して出力し、
前記再生機において、
前記復号化器は、前記撮像装置によって符号化された前記RAWデータと前記制御データとを復号化する
上記(8)に記載の画像処理システム。
(10)
前記撮像装置において、
前記前段画像処理回路は、前記一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路を含み、前記制御データは、前記ホワイトバランス検波回路により検波された前記ホワイトバランスの調整を行うためのホワイトバランス検波情報を含み、
前記再生機において、
前記後段画像処理回路は、前記デモザイク処理の前処理として、前記復号化器によって復号化された前記RAWデータに対して前記ホワイトバランス検波情報に基づいてホワイトバランス調整処理を行うホワイトバランス調整回路、をさらに含む
上記(9)に記載画像処理システム。
(11)
前記撮像装置において、
前記ロジック回路層は、補助センサをさらに有し、
前記補助センサは、前記制御データとしてセンサ情報を前記符号化器に出力し、
前記再生機において、
前記後段画像処理回路は、前記補助センサによる前記センサ情報に基づいて、前記デモザイク回路によるデモザイク処理後の画像データに対して画像の補正処理を行う補正回路、をさらに含む
上記(9)または(10)に記載画像処理システム。
1…カメラシステム(撮像装置)、2…再生機、3…ネットワーク、10…積層型イメージセンサ、10A…センサ層、10B…ロジック回路層、11…受光部、12…A/D変換回路、13…画像処理回路(前段画像処理回路)、14…動画像符号化器(符号化器)、15…出力インタフェース、16…補助センサ(ジャイロセンサ)、17…ネットワークインタフェース、21…ネットワークインタフェース、22…動画像復号化器、23…画像処理回路(後段画像処理回路)、31…黒レベル補正回路、32…格子欠陥補正回路、33…ノイズ除去回路、34…AE/AWB検波回路(露光検波回路/ホワイトバランス検波回路)、35…ホワイトバランス調整回路、36…デモザイク回路、41…リニアマトリックス回路、42…ガンマ補正回路、43…Y/C変換回路、51…シャープネス処理回路、52…クロマ処理回路、53…補正回路、54…レンズ歪補正回路、55…手振れ補正回路、101…カメラシステム、102…再生機、103…ネットワーク、110…イメージセンサ、111…受光部、112…A/D変換回路、113…画像処理回路、114…動画像符号化器、115…ネットワークインタフェース、116…補助センサ、121…ネットワークインタフェース、122…動画像復号化器。
Claims (11)
- 入射光に応じた画素信号を出力する受光部を有し、前記画素信号に基づくRAWデータを出力するセンサ層と、
前記センサ層に積層され、前記センサ層からの前記RAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う画像処理回路と、前記画像処理回路による前記前処理後の前記RAWデータを符号化する符号化器とを有するロジック回路層と
を備える
撮像装置。 - 前記画像処理回路は、前記一部の前処理として、前記受光部の露光制御を行うための検波処理を行う露光検波回路、を含む
請求項1に記載の撮像装置。 - 前記画像処理回路は、前記符号化器により符号化された前記RAWデータを復号化した後に行われる画像の補正処理を行うための制御データと、前記画像処理回路による前記前処理後の前記RAWデータとを出力し、
前記符号化器は、前記RAWデータと前記制御データとを符号化して出力する
請求項1に記載の撮像装置。 - 前記符号化器は、ヘッダ領域に前記制御データが重畳された、前記RAWデータを含むストリームデータを生成して出力する
請求項3に記載の撮像装置。 - 前記画像処理回路は、前記一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路を含み、前記制御データは、前記ホワイトバランス検波回路により検波された前記ホワイトバランスの調整を行うためのホワイトバランス検波情報を含む
請求項3に記載の撮像装置。 - 前記ロジック回路層は、補助センサをさらに有し、
前記補助センサは、前記制御データとしてセンサ情報を前記符号化器に出力する
請求項3に記載の撮像装置。 - 画素信号に基づくRAWデータを符号化して出力する撮像装置と、
前記撮像装置によって符号化された前記RAWデータを復号化して再生する再生機と
を含み、
前記撮像装置は、
入射光に応じた前記画素信号を出力する受光部を有し、前記画素信号に基づく前記RAWデータを出力するセンサ層と、
前記センサ層に積層され、前記センサ層からの前記RAWデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う前段画像処理回路と、前記前段画像処理回路による前記前処理後の前記RAWデータを符号化する符号化器とを有するロジック回路層と
を備える
画像処理システム。 - 前記再生機は、
前記撮像装置によって符号化された前記RAWデータを復号化する復号化器と、
前記復号化器によって復号化された前記RAWデータに対しデモザイク処理を行うデモザイク回路を含む後段画像処理回路と
を備える
請求項7に記載の画像処理システム。 - 前記撮像装置において、
前記前段画像処理回路は、前記符号化器により符号化された前記RAWデータを復号化した後に行われる画像の補正処理を行うための制御データと、前記前段画像処理回路による前記前処理後の前記RAWデータとを出力し、
前記符号化器は、前記RAWデータと前記制御データとを符号化して出力し、
前記再生機において、
前記復号化器は、前記撮像装置によって符号化された前記RAWデータと前記制御データとを復号化する
請求項8に記載の画像処理システム。 - 前記撮像装置において、
前記前段画像処理回路は、前記一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路を含み、前記制御データは、前記ホワイトバランス検波回路により検波された前記ホワイトバランスの調整を行うためのホワイトバランス検波情報を含み、
前記再生機において、
前記後段画像処理回路は、前記デモザイク処理の前処理として、前記復号化器によって復号化された前記RAWデータに対して前記ホワイトバランス検波情報に基づいてホワイトバランス調整処理を行うホワイトバランス調整回路、をさらに含む
請求項9に記載の画像処理システム。 - 前記撮像装置において、
前記ロジック回路層は、補助センサをさらに有し、
前記補助センサは、前記制御データとしてセンサ情報を前記符号化器に出力し、
前記再生機において、
前記後段画像処理回路は、前記補助センサによる前記センサ情報に基づいて、前記デモザイク回路によるデモザイク処理後の画像データに対して画像の補正処理を行う補正回路、をさらに含む
請求項9に記載の画像処理システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020142096A JP2022037781A (ja) | 2020-08-25 | 2020-08-25 | 撮像装置、および画像処理システム |
US18/042,020 US20240015409A1 (en) | 2020-08-25 | 2021-08-12 | Imaging device and image processing system |
PCT/JP2021/029773 WO2022044839A1 (ja) | 2020-08-25 | 2021-08-12 | 撮像装置、および画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020142096A JP2022037781A (ja) | 2020-08-25 | 2020-08-25 | 撮像装置、および画像処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022037781A true JP2022037781A (ja) | 2022-03-09 |
Family
ID=80352285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020142096A Pending JP2022037781A (ja) | 2020-08-25 | 2020-08-25 | 撮像装置、および画像処理システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240015409A1 (ja) |
JP (1) | JP2022037781A (ja) |
WO (1) | WO2022044839A1 (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6873658B2 (en) * | 1999-12-20 | 2005-03-29 | Texas Instruments Incorporated | Digital still camera system and method |
US7545412B2 (en) * | 2003-09-09 | 2009-06-09 | Konica Minolta Holdings, Inc. | Image-sensing apparatus with a solid-state image sensor switchable between linear and logarithmic conversion |
US7773127B2 (en) * | 2006-10-13 | 2010-08-10 | Apple Inc. | System and method for RAW image processing |
JP6184080B2 (ja) * | 2012-11-20 | 2017-08-23 | ソニー株式会社 | 撮像素子 |
JP2017143355A (ja) * | 2016-02-08 | 2017-08-17 | キヤノン株式会社 | 画像符号化装置及び方法及び撮像装置 |
JP6980480B2 (ja) * | 2017-10-06 | 2021-12-15 | キヤノン株式会社 | 撮像装置および制御方法 |
WO2019142821A1 (ja) * | 2018-01-16 | 2019-07-25 | 株式会社ニコン | 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム |
JP2019135818A (ja) * | 2018-02-05 | 2019-08-15 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法 |
US10897573B2 (en) * | 2018-11-21 | 2021-01-19 | Ricoh Company, Ltd. | Image capturing system, terminal and computer readable medium which correct images |
-
2020
- 2020-08-25 JP JP2020142096A patent/JP2022037781A/ja active Pending
-
2021
- 2021-08-12 US US18/042,020 patent/US20240015409A1/en active Pending
- 2021-08-12 WO PCT/JP2021/029773 patent/WO2022044839A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20240015409A1 (en) | 2024-01-11 |
WO2022044839A1 (ja) | 2022-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11750937B2 (en) | Image capturing apparatus and image capturing method | |
US7719572B2 (en) | Image pickup apparatus, image processing method, and program | |
US20080247653A1 (en) | Method and apparatus for parallelization of image compression encoders | |
US20070076104A1 (en) | Image signal processing apparatus, and image signal processing method | |
JP2006148931A (ja) | 補色カラーフィルタを採用したSoCカメラシステム | |
JP3227173B2 (ja) | 撮像装置及びその方法 | |
KR100366738B1 (ko) | 촬상장치 | |
JP4121493B2 (ja) | デジタルカメラとその信号処理方法及び信号処理装置 | |
JP2001016598A (ja) | カラー撮像素子及び撮像装置 | |
US6677994B1 (en) | Image processing apparatus method of the same and camera apparatus | |
WO2022044839A1 (ja) | 撮像装置、および画像処理システム | |
WO2011010431A1 (ja) | 画像処理装置、画像処理方法および撮像装置 | |
JP5407651B2 (ja) | 画像処理装置、画像処理プログラム | |
US8368782B2 (en) | Multiple exposure image pickup apparatus, multiple exposure image pickup method, program, and recording medium | |
JPWO2019142836A1 (ja) | 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム | |
JP5300630B2 (ja) | 撮像装置 | |
JP5824341B2 (ja) | 撮像装置、記録装置、映像信号処理装置、撮像システム及び映像信号処理プログラム | |
JPH0630444A (ja) | 画像符号化装置 | |
JP2007228514A (ja) | 撮像装置および方法 | |
JPH06153085A (ja) | 撮像装置 | |
JP2003224770A (ja) | ディジタルスチルカメラ | |
JP2007067823A (ja) | 撮像圧縮記録再生装置 | |
JP2007124371A (ja) | 映像信号処理装置及び方法 | |
JPH0215795A (ja) | 撮像記録装置 |