JP2022037781A - 撮像装置、および画像処理システム - Google Patents

Abstract

【課題】回路の小型化と低消費電力化とを行うことを可能にする。【解決手段】本開示の撮像装置は、入射光に応じた画素信号を出力する受光部を有し、画素信号に基づくＲＡＷデータを出力するセンサ層と、センサ層に積層され、センサ層からのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う画像処理回路と、画像処理回路による前処理後のＲＡＷデータを符号化する符号化器とを有するロジック回路層とを備える。【選択図】図３

Description

本開示は、積層型イメージセンサに好適な撮像装置、および画像処理システムに関する。

受光部を含むセンサ層と前記受光部からの画像信号に対する画像処理を行うロジック回路層とが積層された構造を持つ積層型イメージセンサがある（例えば特許文献１参照）。また、イメージセンサから出力されたＲＡＷデータを符号化する技術がある（例えば特許文献２～４参照）。一方、撮像装置においては、例えば、イメージセンサから出力されたＲＡＷデータにさまざまな画像処理を行って画像符号化の標準入力フォーマットであるＹ（輝度）／Ｃ（クロマ）データに変換し、これを符号化するのが通常である。

特開２０１７－１３５７６０号公報 特開２０１１－１６６２１９号公報 特開２０１８－１２９７５３号公報 国際公開第２０１５／０６４４０２号

積層型イメージセンサにおけるロジック回路層に、画像処理および画像符号化を行う回路をすべて積載してしまうと、回路面積が大きくなり、また消費電力も大きくなってしまう。

回路の小型化と低消費電力化とを行うことが可能な撮像装置、および画像処理システムを提供することが望ましい。

本開示の一実施の形態に係る撮像装置は、入射光に応じた画素信号を出力する受光部を有し、画素信号に基づくＲＡＷデータを出力するセンサ層と、センサ層に積層され、センサ層からのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う画像処理回路と、画像処理回路による前処理後のＲＡＷデータを符号化する符号化器とを有するロジック回路層とを備える。

本開示の一実施の形態に係る画像処理システムは、画素信号に基づくＲＡＷデータを符号化して出力する撮像装置と、撮像装置によって符号化されたＲＡＷデータを復号化して再生する再生機とを含み、撮像装置は、入射光に応じた画素信号を出力する受光部を有し、画素信号に基づくＲＡＷデータを出力するセンサ層と、センサ層に積層され、センサ層からのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う前段画像処理回路と、前段画像処理回路による前処理後のＲＡＷデータを符号化する符号化器とを有するロジック回路層とを備える。

本開示の一実施の形態に係る撮像装置、または画像処理システムでは、センサ層に積層されたロジック回路層において、センサ層からのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行い、その前処理後のＲＡＷデータを符号化して出力する。

比較例に係る画像処理システムの一構成例を示すブロック図である。 比較例に係る画像処理システムのカメラシステムにおける画像処理回路の一構成例を示すブロック図である。 本開示の第１の実施の形態に係る画像処理システムの一構成例を示すブロック図である。 積層型イメージセンサの積層構造の一例を示す構成図である。 第１の実施の形態に係る画像処理システムのカメラシステムにおける画像処理回路の一構成例を示すブロック図である。 第１の実施の形態に係る画像処理システムの再生機における画像処理回路の一構成例を示すブロック図である。 ストリームデータの一例を示す説明図である。

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
０．比較例（図１～図２）
０．１ 比較例に係る撮像装置、および画像処理システムの構成
０．２ 課題
１．第１の実施の形態（図３～図７）
１．１ 構成
１．２ 動作
１．３ 効果
１．４ 変形例
２．その他の実施の形態

＜０．比較例＞
［０．１ 比較例に係る撮像装置、および画像処理システムの構成］
イメージセンサで取り込まれた動画像を符号化した符号化データを記録媒体に記録、あるいはネットワークを利用して再生機に伝送する画像処理システムがある。このような画像処理システムでは、イメージセンサにより動画像のＲＡＷデータを生成し、生成されたＲＡＷデータにさまざまな画像処理を行って画像符号化の標準入力フォーマットであるＹ／Ｃデータに変換した後、そのＹ／Ｃデータを符号化するのが通常である。

図１は、比較例に係る画像処理システムの一構成例を示している。

図１に示した比較例に係る画像処理システムは、撮像装置としてのカメラシステム１０１において符号化された動画像の符号化データを、ネットワーク１０３を介して再生機１０２に伝送して復号化し、画像を再生するネットワークカメラシステムである。

カメラシステム１０１は、イメージセンサ１１０と、画像処理回路１１３と、動画像符号化器１１４と、ネットワークインタフェース１１５と、補助センサ１１６とを備えている。

イメージセンサ１１０は、受光部１１１と、Ａ（アナログ）／Ｄ（デジタル）変換回路１１２とを有している。

受光部１１１は、図示しない撮影レンズを介して入射した入射光に応じた画素信号を出力する。受光部１１１は、例えばフォトダイオード等の光電変換素子を有し、複数の画素を有する。受光部１１１は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子である。Ａ／Ｄ変換回路１１２は、受光部１１１からの画素信号のＡ／Ｄ変換を行い、画素信号に基づく動画像のＲＡＷデータを出力する。

補助センサ１１６は、センサ情報を画像処理回路１１３に出力する。補助センサ１１６は、例えばジャイロセンサ等であり、センサ情報として例えば姿勢データを画像処理回路１１３に出力する。

画像処理回路１１３は、イメージセンサ１１０からのＲＡＷデータにさまざまな画像処理を行ってＹ／Ｃデータを生成する。

動画像符号化器１１４は、画像処理回路１１３からのＹ／Ｃデータを符号化した符号化データを出力する。

ネットワークインタフェース１１５は、動画像符号化器１１４から出力された符号化データをネットワーク１０３を介して再生機１０２に伝送する。

再生機１０２は、ネットワークインタフェース１２１と、動画像復号化器１２２とを備えている。

ネットワークインタフェース１２１は、カメラシステム１０１から伝送されてきた符号化データを受信して動画像復号化器１２２に出力する。動画像復号化器１２２は、符号化データを復号化する。

図２は、比較例に係る画像処理システムのカメラシステム１０１における画像処理回路１１３の一構成例を示している。

画像処理回路１１３は、ＲＡＷデータに対する処理を行う回路として、黒レベル補正回路３１と、格子欠陥補正回路３２と、ノイズ除去回路３３と、ＡＥ（Auto Exposure）／ＡＷＢ（Auto White Balance）検波回路３４と、ホワイトバランス調整回路３５と、デモザイク回路３６とを有している。

画像処理回路１１３は、さらに、ＲＧＢデータに対する処理を行う回路として、リニアマトリックス回路４１と、ガンマ補正回路４２と、Ｙ／Ｃ変換回路４３とを有している。

画像処理回路１１３は、さらに、Ｙ／Ｃデータに対する処理を行う回路として、シャープネス処理回路５１と、クロマ処理回路５２と、補正回路５３とを有している。

黒レベル補正回路３１は、ＲＡＷデータに対して、黒レベルを合わせるためのクランプ処理を行う。

格子欠陥補正回路３２は、ＲＡＷデータに対して、受光部１１１における欠陥画素の画素信号を補正する欠陥補正処理を行う。

ノイズ除去回路３３は、ＲＡＷデータに対して、ノイズ成分を除去する処理を行う。

ＡＥ／ＡＷＢ検波回路３４は、ＲＡＷデータに対する検波処理を行う。ＡＥ／ＡＷＢ検波回路３４は、露光検波回路と、ホワイトバランス検波回路とを含む。露光検波回路は、イメージセンサ１１０の露光制御（露出補正）を行うための検波処理を行う。ホワイトバランス検波回路は、ホワイトバランスの調整を行うための検波処理を行う。

ホワイトバランス調整回路３５は、ＲＡＷデータに対して、ＡＥ／ＡＷＢ検波回路３４のホワイトバランス検波回路において検波されたＡＷＢ検波情報に基づいてホワイトバランスの調整を行う。

デモザイク回路３６は、ＲＡＷデータに対してデモザイク処理を行い、ＲＧＢデータを生成する。例えば受光部１１１の画素がＢａｙｅｒ配列である場合、１画素当たり１色の情報しか有していないため、ＲＧＢデータとして、１画素当たりＲＧＢ３色の情報を有するＲＧＢプレーン信号を生成する。

リニアマトリックス回路４１は、ＲＧＢデータに対して、色再現性が向上するようなマトリックス演算処理を行う。ガンマ補正回路４２は、ＲＧＢデータに対して、ガンマ補正処理を行う。Ｙ／Ｃ変換回路４３は、ＲＧＢデータをＹ（輝度）信号とＣ（クロマ）信号とからなるＹ／Ｃデータに変換する処理を行う。

シャープネス処理回路５１は、Ｙ信号に対してシャープネス処理を行う。クロマ処理回路５２は、Ｃ信号に対してクロマ処理を行う。

補正回路５３は、シャープネス処理およびクロマ処理がなされたＹ／Ｃデータに対して画像の補正処理を行う。補正回路５３は、レンズ歪補正回路５４と、手振れ補正回路５５とを有している。レンズ歪補正回路５４は、図示しない撮影レンズに起因する画像のレンズ歪を補正する処理を行う。手振れ補正回路５５は、例えば補助センサ１１６からの姿勢データ等に基づいて、画像の手振れ補正処理を行う。

［０．２ 課題］
図１に示した比較例に係る撮像装置の構成に対して、受光部を含むセンサ層と受光部からの画像信号に対する画像処理を行うロジック回路層とが積層された構造を持つ積層型イメージセンサを用いる構成が考えられる。積層型イメージセンサを使うことにより撮像装置の小型化が可能になり、また受光部とロジック回路間における余分な信号処理が減ることにより消費電力を抑えることができる。例えば特許文献１（特開２０１７－１３５７６０号公報）では、積層型イメージセンサのロジック回路に符号化回路を含め、受光部とロジック回路間の信号帯域を減らしている。

積層型イメージセンサの限られたサイズのロジック回路に、図１および図２に示した比較例に係る撮像装置の構成おける画像処理回路１１３のすべての回路と動画像符号化器１１４とをすべて含めると、回路面積が大きくなり、また消費電力も大きくなってしまう。

＜１．第１の実施の形態＞
次に、本開示の第１の実施の形態に係る撮像装置、および画像処理システムについて説明する。なお、以下では、上記比較例に係る撮像装置、および画像処理システムの構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。

［１．１ 構成］
図３は、本開示の第１の実施の形態に係る画像処理システムの一構成例を示している。

第１の実施の形態に係る画像処理システムは、撮像装置としてのカメラシステム１において符号化された動画像の符号化データを、ネットワーク３を介して再生機２に伝送して復号化し、画像を再生するネットワークカメラシステムである。

カメラシステム１は、積層型イメージセンサ１０と、ネットワークインタフェース１７とを備えている。

図４は、積層型イメージセンサ１０の積層構造の一例を示している。
積層型イメージセンサ１０は、センサ層１０Ａと、ロジック回路層１０Ｂとが積層された多層基板構造とされている。センサ層１０Ａとロジック回路層１０Ｂとの間は、例えばビアにより電気的に接続された構造とされている。

センサ層１０Ａは、受光部１１と、Ａ／Ｄ変換回路１２とを有している。

受光部１１は、図示しない撮影レンズを介して入射した入射光に応じた画素信号を出力する。受光部１１は、例えばフォトダイオード等の光電変換素子を有し、複数の画素を有する。受光部１１は、例えばＣＣＤやＣＭＯＳ等の固体撮像素子である。Ａ／Ｄ変換回路１２は、受光部１１からの画素信号のＡ／Ｄ変換を行い、画素信号に基づく動画像のＲＡＷデータを出力する。

ロジック回路層１０Ｂは、画像処理回路１３と、動画像符号化器１４と、補助センサ１６と、出力インタフェース１５とを有している。

補助センサ１６は、センサ情報を動画像符号化器１４に出力する。補助センサ１６は、例えばジャイロセンサ等であり、センサ情報として例えば姿勢データを動画像符号化器１４に出力する。センサ情報は、再生機２においてＲＡＷデータを復号化した後に行われる画像の補正処理を行うための制御データとして用いられる。

画像処理回路１３は、センサ層１０ＡからのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う。画像処理回路１３は、デモザイク処理の一部の前処理が行われた後のＲＡＷデータと、再生機２においてＲＡＷデータを復号化した後に行われる画像の補正処理を行うための制御データとを動画像符号化器１４に出力する。画像処理回路１３は、後述する図５に示すように、一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路（ＡＥ／ＡＷＢ検波回路３４）を含む。画像処理回路１３は、後述する図５に示すように、制御データとして、ホワイトバランス検波回路により検波されたホワイトバランスの調整を行うためのホワイトバランス検波情報（ＡＷＢ検波情報）等を含む検波情報を出力する。また、画像処理回路１３は、後述する図５に示すように、制御データとして、図示しない撮影レンズに起因する画像のレンズ歪に関する情報や、画像のシェーディング情報を含む情報を出力する。

動画像符号化器１４は、画像処理回路１３による前処理後のＲＡＷデータと、画像処理回路１３および補助センサ１６からの制御データとを符号化して出力インタフェース１５を介してネットワークインタフェース１７に出力する。動画像符号化器１４は、例えば、後述する図７に示すように、ヘッダ領域に制御データが重畳された、ＲＡＷデータを含むストリームデータを生成して符号化データとして出力する。

ネットワークインタフェース１７は、出力インタフェース１５を介して動画像符号化器１４から出力された符号化データを、ネットワーク３を介して再生機２に伝送する。

再生機２は、ネットワークインタフェース２１と、動画像復号化器２２と、画像処理回路２３とを備えている。

ネットワークインタフェース２１は、カメラシステム１から伝送されてきた符号化データを受信して動画像復号化器２２に出力する。動画像復号化器２２は、カメラシステム１によって符号化されたＲＡＷデータと制御データとを復号化して、画像処理回路２３に出力する。

図５は、第１の実施の形態に係る画像処理システムのカメラシステム１における画像処理回路１３の一構成例を示している。図６は、第１の実施の形態に係る画像処理システムの再生機２における画像処理回路２３の一構成例を示している。

第１の実施の形態に係る画像処理システムでは、図１および図２に示した比較例におけるカメラシステム１０１における画像処理回路１１３が備える複数の回路を、カメラシステム１における画像処理回路１３と、再生機２における画像処理回路２３とに分けた構成とされている。

ここで、カメラシステム１における画像処理回路１３は、本開示の技術における「前段画像処理回路」の一具体例に相当する。再生機２における画像処理回路２３は、本開示の技術における「後段画像処理回路」の一具体例に相当する。

前段画像処理回路としての画像処理回路１３は、黒レベル補正回路３１と、格子欠陥補正回路３２と、ノイズ除去回路３３と、ＡＥ／ＡＷＢ検波回路３４とを有している。これにより、画像処理回路１３は、センサ層１０ＡからのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、ＡＥ／ＡＷＢ検波回路３４による検波処理までの処理を行う。

後段画像処理回路としての画像処理回路２３は、ホワイトバランス調整回路３５と、デモザイク回路３６と、リニアマトリックス回路４１と、ガンマ補正回路４２と、Ｙ／Ｃ変換回路４３と、シャープネス処理回路５１と、クロマ処理回路５２と、補正回路５３とを有している。これにより、画像処理回路２３は、ＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、ホワイトバランス調整回路３５によるホワイトバランスの調整処理を行う。また、画像処理回路２３は、デモザイク回路３６によってＲＡＷデータに対してデモザイク処理を行い、ＲＧＢデータを生成した後、Ｙ／Ｃデータに変換する処理と、Ｙ／Ｃデータに対する画像の補正処理とを行う。

画像処理回路２３において、ホワイトバランス調整回路３５は、デモザイク処理の前処理として、動画像復号化器２２によって復号化されたＲＡＷデータに対して、制御データに含まれるホワイトバランス検波情報（ＡＷＢ検波情報）に基づいてホワイトバランス調整処理を行う。

デモザイク回路３６は、動画像復号化器２２によって復号化されたＲＡＷデータに対しデモザイク処理を行う。

補正回路５３は、制御データに含まれるセンサ情報、レンズ歪に関する情報、画像のシェーディング情報等に基づいて、デモザイク処理後の画像データ（Ｙ／Ｃデータ）に対して画像の補正処理を行う。

［１．２ 動作］
第１の実施の形態に係る撮像装置としてのカメラシステム１では、積層型イメージセンサ１０に、センサ層１０Ａとロジック回路層１０Ｂとが積層されている。ロジック回路層１０Ｂには、ＲＡＷデータに対してデモザイク処理前の一部の前処理を行う画像処理回路１３と、一部の前処理を行ったＲＡＷデータを符号化する動画像符号化器１４と、補助センサ１６とが含まれる。積層型イメージセンサ１０に動画像符号化器１４が搭載されているため、積層型イメージセンサ１０からは直接、符号化データとしてのストリームデータが出力される。

通常、撮像装置における画像処理回路では、イメージセンサから出力されたＲＡＷデータにさまざまな画像処理を行って画像符号化の標準入力フォーマットであるＹ／Ｃデータに変換する処理を行う。これに対し、第１の実施の形態に係るカメラシステム１では、前段画像処理回路としての画像処理回路１３において、センサ層１０Ａへのフィードバックが必要な検波処理を行うＡＥ／ＡＷＢ検波回路３４までの最小限の処理を行う。これにより、前段画像処理回路を最小化し、ロジック回路層１０Ｂの限られた領域を効率的に使うことができる。画像処理回路１３からは、ＲＡＷデータの他、システムで時間的に変動しない制御データ（レンズ歪、シェーディング情報）とフレームごとに変動する制御データ（検波情報、センサ情報）などが、動画像符号化器１４に出力される。

動画像符号化器１４は、画像処理回路１３からのＲＡＷデータを動画像圧縮してストリームを生成し符号化データとして出力する。この際、再生機２の画像処理回路２３による画像処理に必要な制御データ（レンズ歪、シェーディング情報、検波情報、センサ情報など）は、例えば、ストリームのヘッダのユーザデータの部分に重畳される。

図７は、ストリームデータの一例を示している。

図７には、ストリームデータの一例として、ＭＰＥＧ（Moving Picture Experts Group）方式のストリームを示す。ストリームデータには、例えば図７に示したように、イントラ符号化を行うＩピクチャと、インター符号化を行うＰピクチャとが含まれる。ストリームデータの先頭にはシーケンスヘッダが配置される。各ピクチャの先頭にはピクチャヘッダが配置される。シーケンスヘッダおよびピクチャヘッダには、ユーザデータ領域が含まれる。

ＭＰＥＧなどの標準的な符号化のシンタックスでは、シーケンスで不変な情報を保持するヘッダ（シーケンスヘッダ）とピクチャごとに変動する情報を保持するヘッダ（ピクチャヘッダ）とが図７のようにストリーム中に配置されているのが普通である。各々のヘッダにはアプリケーションごとにユーザが定義して使用できるユーザデータ領域（プライベートヘッダ）が存在する。

動画像符号化器１４は、図７に示すように、ヘッダ領域に制御データが重畳された、ＲＡＷデータを含むストリームデータを生成して符号化データとして出力する。

例えば、制御データのうち、レンズ歪、およびシェーディング情報などの時間的に変動しないデータはシーケンスヘッダのユーザデータ領域に配置することが望ましい。また、検波情報、センサ情報（姿勢データ等）等のフレームごとに変化する情報は、ピクチャヘッダのユーザデータ領域に配置することが望ましい。実際の運用においては、ストリームの途中からの再生に対応するために、シーケンスヘッダは再生のエントリーポイントとなるＩピクチャごとにその前に配置されることが多い。このように配置することで、後段画像処理回路としての再生機２側の画像処理回路２３において、ＲＡＷデータのフレームとそれを処理するのに必要な制御データとの対応付けが容易になる。

カメラシステム１から出力されたストリームデータは、ネットワーク３を介して再生機２に伝送された後、復号化され、再生機２側の画像処理回路２３による画像処理が行われた後、ディスプレイなどに表示される。この際、再生機２の動画像復号化器２２はストリーム中のヘッダから、制御データを取り出し、ＲＡＷデータと共に制御データを後段の画像処理回路２３に供給する。

［１．３ 効果］
以上説明したように、第１の実施の形態に係る撮像装置、および画像処理システムによれば、センサ層１０Ａに積層されたロジック回路層１０Ｂにおいて、センサ層１０ＡからのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行い、その前処理後のＲＡＷデータを符号化して出力するようにしたので、回路の小型化と低消費電力化とを行うことが可能となる。

また、第１の実施の形態に係る撮像装置によれば、積層型イメージセンサ１０のロジック回路層１０Ｂに搭載する画像処理回路１３（前段画像処理回路）で行う処理を一部の前処理に限定しているので、ロジック回路層１０Ｂに搭載する回路面積を小さくできる。このため、限られた面積に実装可能で、かつ、消費電力を抑えることができる。

また、第１の実施の形態に係る画像処理システムによれば、前段画像処理回路で行う画像処理以外の処理を再生機２側の画像処理回路２３（後段画像処理回路）で行うようにしたので、規模の大きな画像処理プロセスの大半を再生機２側にオフロードすることが可能となり、カメラデバイスの消費電力を削減することができる。

また、第１の実施の形態に係る画像処理システムによれば、積層型イメージセンサ１０のロジック回路層１０Ｂで得られた制御データをストリームデータのヘッダ領域に重畳するようにしたので、再生機２側の画像処理回路２３（後段画像処理回路）において画像処理プロセスを行う際に、制御データと画像処理を行うフレームとの対応付けが容易になる。

また、制御データに、補助センサ１６の姿勢データ等のセンサ情報を含めるようにしたので、再生機２側の画像処理回路２３において、姿勢データ等をストリームデータのヘッダ領域から取り出して手振れ補正を行うことが可能となる。手振れ補正などの処理負荷の重い機能をカメラデバイス側から再生デバイス側に移すことにより、カメラデバイス側の消費電力を削減することができる。また、再生デバイスの能力に応じて手振れ補正を行う／行わないという選択が可能となる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。

［１．４ 変形例］
上記第１の実施の形態では、画像処理システムの例として、カメラシステム１において符号化されたＲＡＷデータを、ネットワーク３を介して再生機２に伝送して復号化し、画像を再生するネットワークカメラシステムの例を示したが、画像処理システムの構成はこれに限定されない。例えば、カメラシステム１において符号化されたＲＡＷデータを記録媒体に記録し、その記録媒体に記録されたＲＡＷデータを再生機２で復号化して画像を再生するような構成であってもよい。

上記第１の実施の形態では、ＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、ＡＥ／ＡＷＢ検波回路３４による処理までを前段画像処理回路（画像処理回路１３）で行い、ホワイトバランス調整回路３５以降の処理を後段画像処理回路（画像処理回路２３）で行う構成にしたが、前段画像処理回路と後段画像処理回路との構成はこれに限定されない。例えば、ＡＥ／ＡＷＢ検波回路３４による処理よりも前の処理までを前段画像処理回路で行う構成であってもよい。または、デモザイク回路３６による処理よりも前で、かつＡＥ／ＡＷＢ検波回路３４による処理よりも後の処理を前段画像処理回路で行う構成であってもよい。

また、上記第１の実施の形態では、動画像の生成および処理を行う場合を例に説明したが、本開示による技術は、動画像に限らず、静止画の生成および処理を行う場合にも適用可能である。

＜２．その他の実施の形態＞
本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。

例えば、本技術は以下のような構成を取ることもできる。
以下の構成の本技術によれば、センサ層に積層されたロジック回路層において、センサ層からのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行い、その前処理後のＲＡＷデータを符号化して出力するようにしたので、回路の小型化と低消費電力化とを行うことが可能となる。

（１）
入射光に応じた画素信号を出力する受光部を有し、前記画素信号に基づくＲＡＷデータを出力するセンサ層と、
前記センサ層に積層され、前記センサ層からの前記ＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う画像処理回路と、前記画像処理回路による前記前処理後の前記ＲＡＷデータを符号化する符号化器とを有するロジック回路層と
を備える
撮像装置。
（２）
前記画像処理回路は、前記一部の前処理として、前記受光部の露光制御を行うための検波処理を行う露光検波回路、を含む
上記（１）に記載の撮像装置。
（３）
前記画像処理回路は、前記符号化器により符号化された前記ＲＡＷデータを復号化した後に行われる画像の補正処理を行うための制御データと、前記画像処理回路による前記前処理後の前記ＲＡＷデータとを出力し、
前記符号化器は、前記ＲＡＷデータと前記制御データとを符号化して出力する
上記（１）または（２）に記載の撮像装置。
（４）
前記符号化器は、ヘッダ領域に前記制御データが重畳された、前記ＲＡＷデータを含むストリームデータを生成して出力する
上記（３）に記載の撮像装置。
（５）
前記画像処理回路は、前記一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路を含み、前記制御データは、前記ホワイトバランス検波回路により検波された前記ホワイトバランスの調整を行うためのホワイトバランス検波情報を含む
上記（３）または（４）に記載の撮像装置。
（６）
前記ロジック回路層は、補助センサをさらに有し、
前記補助センサは、前記制御データとしてセンサ情報を前記符号化器に出力する
上記（３）ないし（５）のいずれか１つに記載の撮像装置。
（７）
画素信号に基づくＲＡＷデータを符号化して出力する撮像装置と、
前記撮像装置によって符号化された前記ＲＡＷデータを復号化して再生する再生機と
を含み、
前記撮像装置は、
入射光に応じた前記画素信号を出力する受光部を有し、前記画素信号に基づく前記ＲＡＷデータを出力するセンサ層と、
前記センサ層に積層され、前記センサ層からの前記ＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う前段画像処理回路と、前記前段画像処理回路による前記前処理後の前記ＲＡＷデータを符号化する符号化器とを有するロジック回路層と
を備える
画像処理システム。
（８）
前記再生機は、
前記撮像装置によって符号化された前記ＲＡＷデータを復号化する復号化器と、
前記復号化器によって復号化された前記ＲＡＷデータに対しデモザイク処理を行うデモザイク回路を含む後段画像処理回路と
を備える
上記（７）に記載の画像処理システム。
（９）
前記撮像装置において、
前記前段画像処理回路は、前記符号化器により符号化された前記ＲＡＷデータを復号化した後に行われる画像の補正処理を行うための制御データと、前記前段画像処理回路による前記前処理後の前記ＲＡＷデータとを出力し、
前記符号化器は、前記ＲＡＷデータと前記制御データとを符号化して出力し、
前記再生機において、
前記復号化器は、前記撮像装置によって符号化された前記ＲＡＷデータと前記制御データとを復号化する
上記（８）に記載の画像処理システム。
（１０）
前記撮像装置において、
前記前段画像処理回路は、前記一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路を含み、前記制御データは、前記ホワイトバランス検波回路により検波された前記ホワイトバランスの調整を行うためのホワイトバランス検波情報を含み、
前記再生機において、
前記後段画像処理回路は、前記デモザイク処理の前処理として、前記復号化器によって復号化された前記ＲＡＷデータに対して前記ホワイトバランス検波情報に基づいてホワイトバランス調整処理を行うホワイトバランス調整回路、をさらに含む
上記（９）に記載画像処理システム。
（１１）
前記撮像装置において、
前記ロジック回路層は、補助センサをさらに有し、
前記補助センサは、前記制御データとしてセンサ情報を前記符号化器に出力し、
前記再生機において、
前記後段画像処理回路は、前記補助センサによる前記センサ情報に基づいて、前記デモザイク回路によるデモザイク処理後の画像データに対して画像の補正処理を行う補正回路、をさらに含む
上記（９）または（１０）に記載画像処理システム。

１…カメラシステム（撮像装置）、２…再生機、３…ネットワーク、１０…積層型イメージセンサ、１０Ａ…センサ層、１０Ｂ…ロジック回路層、１１…受光部、１２…Ａ／Ｄ変換回路、１３…画像処理回路（前段画像処理回路）、１４…動画像符号化器（符号化器）、１５…出力インタフェース、１６…補助センサ（ジャイロセンサ）、１７…ネットワークインタフェース、２１…ネットワークインタフェース、２２…動画像復号化器、２３…画像処理回路（後段画像処理回路）、３１…黒レベル補正回路、３２…格子欠陥補正回路、３３…ノイズ除去回路、３４…ＡＥ／ＡＷＢ検波回路（露光検波回路／ホワイトバランス検波回路）、３５…ホワイトバランス調整回路、３６…デモザイク回路、４１…リニアマトリックス回路、４２…ガンマ補正回路、４３…Ｙ／Ｃ変換回路、５１…シャープネス処理回路、５２…クロマ処理回路、５３…補正回路、５４…レンズ歪補正回路、５５…手振れ補正回路、１０１…カメラシステム、１０２…再生機、１０３…ネットワーク、１１０…イメージセンサ、１１１…受光部、１１２…Ａ／Ｄ変換回路、１１３…画像処理回路、１１４…動画像符号化器、１１５…ネットワークインタフェース、１１６…補助センサ、１２１…ネットワークインタフェース、１２２…動画像復号化器。

Claims (11)

1. 入射光に応じた画素信号を出力する受光部を有し、前記画素信号に基づくＲＡＷデータを出力するセンサ層と、
   前記センサ層に積層され、前記センサ層からの前記ＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う画像処理回路と、前記画像処理回路による前記前処理後の前記ＲＡＷデータを符号化する符号化器とを有するロジック回路層と
   を備える
   撮像装置。
2. 前記画像処理回路は、前記一部の前処理として、前記受光部の露光制御を行うための検波処理を行う露光検波回路、を含む
   請求項１に記載の撮像装置。
3. 前記画像処理回路は、前記符号化器により符号化された前記ＲＡＷデータを復号化した後に行われる画像の補正処理を行うための制御データと、前記画像処理回路による前記前処理後の前記ＲＡＷデータとを出力し、
   前記符号化器は、前記ＲＡＷデータと前記制御データとを符号化して出力する
   請求項１に記載の撮像装置。
4. 前記符号化器は、ヘッダ領域に前記制御データが重畳された、前記ＲＡＷデータを含むストリームデータを生成して出力する
   請求項３に記載の撮像装置。
5. 前記画像処理回路は、前記一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路を含み、前記制御データは、前記ホワイトバランス検波回路により検波された前記ホワイトバランスの調整を行うためのホワイトバランス検波情報を含む
   請求項３に記載の撮像装置。
6. 前記ロジック回路層は、補助センサをさらに有し、
   前記補助センサは、前記制御データとしてセンサ情報を前記符号化器に出力する
   請求項３に記載の撮像装置。
7. 画素信号に基づくＲＡＷデータを符号化して出力する撮像装置と、
   前記撮像装置によって符号化された前記ＲＡＷデータを復号化して再生する再生機と
   を含み、
   前記撮像装置は、
   入射光に応じた前記画素信号を出力する受光部を有し、前記画素信号に基づく前記ＲＡＷデータを出力するセンサ層と、
   前記センサ層に積層され、前記センサ層からの前記ＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う前段画像処理回路と、前記前段画像処理回路による前記前処理後の前記ＲＡＷデータを符号化する符号化器とを有するロジック回路層と
   を備える
   画像処理システム。
8. 前記再生機は、
   前記撮像装置によって符号化された前記ＲＡＷデータを復号化する復号化器と、
   前記復号化器によって復号化された前記ＲＡＷデータに対しデモザイク処理を行うデモザイク回路を含む後段画像処理回路と
   を備える
   請求項７に記載の画像処理システム。
9. 前記撮像装置において、
   前記前段画像処理回路は、前記符号化器により符号化された前記ＲＡＷデータを復号化した後に行われる画像の補正処理を行うための制御データと、前記前段画像処理回路による前記前処理後の前記ＲＡＷデータとを出力し、
   前記符号化器は、前記ＲＡＷデータと前記制御データとを符号化して出力し、
   前記再生機において、
   前記復号化器は、前記撮像装置によって符号化された前記ＲＡＷデータと前記制御データとを復号化する
   請求項８に記載の画像処理システム。
10. 前記撮像装置において、
    前記前段画像処理回路は、前記一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路を含み、前記制御データは、前記ホワイトバランス検波回路により検波された前記ホワイトバランスの調整を行うためのホワイトバランス検波情報を含み、
    前記再生機において、
    前記後段画像処理回路は、前記デモザイク処理の前処理として、前記復号化器によって復号化された前記ＲＡＷデータに対して前記ホワイトバランス検波情報に基づいてホワイトバランス調整処理を行うホワイトバランス調整回路、をさらに含む
    請求項９に記載の画像処理システム。
11. 前記撮像装置において、
    前記ロジック回路層は、補助センサをさらに有し、
    前記補助センサは、前記制御データとしてセンサ情報を前記符号化器に出力し、
    前記再生機において、
    前記後段画像処理回路は、前記補助センサによる前記センサ情報に基づいて、前記デモザイク回路によるデモザイク処理後の画像データに対して画像の補正処理を行う補正回路、をさらに含む
    請求項９に記載の画像処理システム。

Images