JP2020031336A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2020031336A JP2020031336A JP2018155765A JP2018155765A JP2020031336A JP 2020031336 A JP2020031336 A JP 2020031336A JP 2018155765 A JP2018155765 A JP 2018155765A JP 2018155765 A JP2018155765 A JP 2018155765A JP 2020031336 A JP2020031336 A JP 2020031336A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- data
- compression
- row
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 169
- 238000007906 compression Methods 0.000 claims abstract description 97
- 230000006835 compression Effects 0.000 claims abstract description 97
- 230000006837 decompression Effects 0.000 claims abstract description 54
- 238000006243 chemical reaction Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims description 44
- 239000000758 substrate Substances 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 18
- 238000011161 development Methods 0.000 abstract description 6
- 239000004065 semiconductor Substances 0.000 description 23
- 230000007246 mechanism Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000002427 irreversible effect Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 238000013144 data compression Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】撮像素子から大量のデータを高速で出力する際に、外部の処理回路の処理能力や回路規模を抑えつつリアルタイムの画像表示等を実現する撮像装置を提供する。【解決手段】撮像装置は、複数の画素を含み画素信号を形成する受光部と、画素信号をＡ／Ｄ変換するＡ／Ｄ変換部と、Ａ／Ｄ変換部の出力を行方向の所定画素ブロック単位で圧縮する圧縮部と、を備える撮像素子と、撮像素子の圧縮部から出力された圧縮データを行単位で間引き処理する第１のデータ加工手段と、第１のデータ加工手段により少なくとも行単位で間引き処理された圧縮データを行単位で伸長処理する第１のデータ伸長手段と、第１のデータ伸長手段によって行単位で伸長処理された圧縮データを行単位で現像する第１の現像手段と、第１の現像手段からの行単位のデータを逐次表示する表示手段と、を有する。【選択図】図２
Description
本発明は撮像素子や信号処理部を小型化可能な撮像装置に関する。
従来、入射光を光電変換する受光部が形成される半導体基板とその周辺回路が形成された半導体基板とが多層構造化されて封止された撮像素子がある。
このような撮像素子は、入射光を光電変換し、画像データを生成し、その画像データを非圧縮の状態で（例えばＲＡＷデータで）出力し、撮像素子外部の処理回路に伝送する。そして、画像データに対する、例えばデモザイク処理や欠陥補正等の信号処理は、イメージセンサ外部の処理回路にて行われていた（例えば、特許文献１参照）。
このような撮像素子は、入射光を光電変換し、画像データを生成し、その画像データを非圧縮の状態で（例えばＲＡＷデータで）出力し、撮像素子外部の処理回路に伝送する。そして、画像データに対する、例えばデモザイク処理や欠陥補正等の信号処理は、イメージセンサ外部の処理回路にて行われていた（例えば、特許文献１参照）。
近年、イメージセンサには、画像の高解像度化、静止画像の撮像から記録までの処理の高速化、連写枚数や連写速度の向上、動画像のフレームレートの高速化、動画像および静止画像の撮像等、撮像性能の向上が要求されている。
このような撮像性能の向上に伴い、１フレーム当たりの画像データのデータ量は増大し、かつ、１フレームの画像データがより高速に生成されるようになった。つまり、より大量のデータをより高速に処理する必要があった。
このような撮像性能の向上に伴い、１フレーム当たりの画像データのデータ量は増大し、かつ、１フレームの画像データがより高速に生成されるようになった。つまり、より大量のデータをより高速に処理する必要があった。
これに対して、特許文献２では撮像素子内でデータを圧縮処理してから出力することで、大量のデータを高速に外部に転送する方法が示されている（特許文献２参照）。
しかしながら、撮像素子内で圧縮し、より大量のデータをより高速に出力できるようにした場合、データを伸長した後に処理し画像生成を行う外部の処理回路はより高い性能を求められるようになった。
そのため、外部の処理回路の回路規模が増大し、例えばカメラなどにおいては小型化を阻害する要因になっている。
特許文献２では圧縮による出力データの増加と高速化に関する優位性については示されているが、上記のような撮像装置全体の最適な小型化の問題については考慮されていない。
本発明は上記のような問題を解決するためのものであり、撮像素子や信号処理部を小型化でき、しかもリアルタイムの画像表示等の画像処理が実現できる撮像装置を提供することにある。
そのため、外部の処理回路の回路規模が増大し、例えばカメラなどにおいては小型化を阻害する要因になっている。
特許文献２では圧縮による出力データの増加と高速化に関する優位性については示されているが、上記のような撮像装置全体の最適な小型化の問題については考慮されていない。
本発明は上記のような問題を解決するためのものであり、撮像素子や信号処理部を小型化でき、しかもリアルタイムの画像表示等の画像処理が実現できる撮像装置を提供することにある。
上記目的を達成するために、本発明の撮像装置は、複数の画素を含み画素信号を形成する受光部と、前記画素信号をＡ／Ｄ変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部の出力を行方向の所定画素ブロック単位で圧縮する圧縮部と、
を備える撮像素子と、
前記撮像素子の前記圧縮部から出力された圧縮データを行単位で間引き処理する第１のデータ加工手段と、
前記第１のデータ加工手段により少なくとも行単位で間引き処理された圧縮データを行単位で伸長処理する第１のデータ伸長手段と、
前記第１のデータ伸長手段によって行単位で伸長処理された圧縮データを行単位で現像する第１の現像手段と、
前記第１の現像手段からの行単位のデータを逐次表示する表示手段と、を有することを特徴とする。
を備える撮像素子と、
前記撮像素子の前記圧縮部から出力された圧縮データを行単位で間引き処理する第１のデータ加工手段と、
前記第１のデータ加工手段により少なくとも行単位で間引き処理された圧縮データを行単位で伸長処理する第１のデータ伸長手段と、
前記第１のデータ伸長手段によって行単位で伸長処理された圧縮データを行単位で現像する第１の現像手段と、
前記第１の現像手段からの行単位のデータを逐次表示する表示手段と、を有することを特徴とする。
撮像素子や信号処理部を小型化でき、しかもリアルタイムの画像表示等の画像処理が実現できる。
以下実施例に基づき本発明の実施形態を詳細に説明する。
図１は実施例１の撮像装置の構成を示すブロック図である。
図１に示す撮像装置は、光学鏡筒１０１、撮像素子１０２、画像処理部１０３、映像信号処理部１０４、圧縮伸張部１０５、制御部１０７、発光部１０８、操作部１０９、画像表示部１１０、画像記録部１１１、ＡＦ演算部１１２などを備える。
図１に示す撮像装置は、光学鏡筒１０１、撮像素子１０２、画像処理部１０３、映像信号処理部１０４、圧縮伸張部１０５、制御部１０７、発光部１０８、操作部１０９、画像表示部１１０、画像記録部１１１、ＡＦ演算部１１２などを備える。
光学鏡筒１０１は、被写体からの光を撮像素子１０２に集光するための複数のレンズを内蔵し、焦点調節を行うフォーカスレンズとフォーカス制御回路により構成されるフォーカス機構部１０１１を有する。また、光学結像の倍率を可変させるズームレンズとズーム制御回路により構成されるズーム機構部１０１２と、撮像素子１０２に入射される光量を調整する絞り機構部１０１３と、シャッタ機構部１０１４などを有する。フォーカス機構部１０１１、ズーム機構部１０１２、絞り機構部１０１３、シャッタ機構部１０１４は制御部１０７からの制御信号に基づいて駆動される。
撮像素子１０２は、後述のように受光部やデータ圧縮処理する圧縮部１０２１などを内蔵する。撮像素子１０２は、制御部１０７からの制御信号に応じて露光や信号読み出しやリセットなどの撮像動作が実施される。撮像素子１０２の詳細な構成およびデータ圧縮処理方法の詳細な説明については後述する。
画像処理部１０３は、撮像素子１０２から出力された圧縮データを加工処理するデータ加工部１０３１、撮像素子１０２から出力された圧縮データを一時的に保持するデータ保持部１０３２を有する。また、データ加工部１０３１で加工された圧縮データを伸長処理する伸長部Ａ１０３３、データ保持部１０３２でデータ保持された後にデータ保持部１０３２から出力された圧縮データを伸長処理する伸長部Ｂ１０３４などを有する。画像処理部１０３におけるデータ加工部１０３１でのデータ加工の詳細な説明および伸張部Ａ、Ｂでのデータ伸長処理方法等の詳細な説明は後述する。
映像信号処理部１０４は、制御部１０７の制御の下で動作する、不図示のＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）処理部、ホワイトバランス調整処理部、色補正処理部などを有する。
映像信号処理部１０４は、撮像素子１０２から画像信号を受けて、上記の各処理部によってＡＥ処理、ホワイトバランス調整処理、色補正処理などの信号処理を行う。
映像信号処理部１０４は、撮像素子１０２から画像信号を受けて、上記の各処理部によってＡＥ処理、ホワイトバランス調整処理、色補正処理などの信号処理を行う。
圧縮伸張部１０５は、制御部１０７の制御の下で動作し、映像信号処理部１０４からの画像信号に対して、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などの所定の静止画像データフォーマットで圧縮符号化処理したり、静止画像の圧縮データを伸張復号化処理する。さらに、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などにより動画像の圧縮符号化／伸張復号化処理をすることもできる。なお、圧縮方法としてはこれらの方法に限られず、また、圧縮符号化処理前の未現像画像を記録するようにしてもよい。
制御部１０７はＡＦ演算部１１２を有し、撮像光学系の焦点状態を示すデフォーカス量を算出する。デフォーカス量は例えば画像のコントラスト値や高周波成分を検出することによって得られる。制御部１０７はＡＦ演算部１１２で算出されたデフォーカス量に基づき、合焦状態を得るために必要なフォーカスレンズの駆動量を算出し、フォーカス機構部１０１１へと制御信号を送る。フォーカス機構部１０１１は制御部１０７からの制御信号に従って、ＡＦ機構を駆動させ所望の位置にまでフォーカスレンズを移動させる。なお、デフォーカス量を検出する方式としては、上記以外の方式を用いてもよい。例えば、撮像素子１０２にデフォーカス量に依存する位相差を取得可能な焦点検出画素を複数設け、当該焦点検出画素の出力に基づいてデフォーカス量を検出する位相差方式を用いてもよい。
制御部１０７は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成されるコンピュータ機能を有するマイクロコントローラである。制御部１０７は記憶媒体としてのＲＯＭなどに記憶されたコンピュータプログラムを実行することにより、撮像装置の各部を統括的に制御する。
発光部１０８は、映像信号処理部１０４でのＡＥ処理によって被写体の露光値が低いと判断された場合に、被写体に対して光を照射する装置であり、キセノン管を用いたストロボ装置やＬＥＤ発光装置などに代表される。
操作部１０９は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤル、タッチパネルなどから構成され、ユーザによる入力操作に応じた制御信号を制御部１０７に出力する。
操作部１０９は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤル、タッチパネルなどから構成され、ユーザによる入力操作に応じた制御信号を制御部１０７に出力する。
画像表示部１１０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスや、これに対するインタフェース回路などからなる。そして、制御部１０７から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。
画像記録部１１１は、例えば、着脱加納な可搬型の半導体メモリや、光ディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、磁気テープなどを含む。そして、圧縮伸張部１０５により符号化／伸長復号化された画像データファイルを制御部１０７から受け取って記憶する。また、制御部１０７からの制御信号を基に指定されたデータを読み出し、制御部１０７に出力する。
図２は、本発明の実施例の技術を適用した撮像素子１０２と画像処理部１０３の主な構成例を示すブロック図である。図２に示される撮像素子１０２は、被写体を撮像し、撮像画像のデジタルデータ（画像データ）を得て、その画像データを圧縮した後出力するように構成されている。撮像素子１０２は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などのイメージセンサである。
図２（Ａ）に示されるように、撮像素子１０２は、斜線模様で示される半導体基板２０１と、白色で示される半導体基板２０２とを有する。半導体基板２０１および半導体基板２０２は、図２（Ｂ）に示されるように重畳された状態で封止され、モジュール化（一体化）される。
図２（Ｃ）に示されるように、半導体基板２０１および半導体基板２０２は、多層構造（積層構造）を形成する。半導体基板２０１に形成される回路と半導体基板２０２に形成される回路は、ビア（ＶＩＡ）技術や電極設置等により互いに直接電気的に接続される。
このように、撮像素子１０２は、半導体基板２０１と半導体基板２０２が多層構造を形成するように一体化されたモジュール（ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）チップとも称する）である。モジュール内部において半導体基板２０１と半導体基板２０２がこのように多層構造を形成することにより、撮像素子１０２は、半導体基板のサイズを増大させずに、より大規模な回路の実装を実現することができる。すなわち、撮像素子１０２は、コストの増大を抑制しながら、より大規模な回路を実装することができる。なお、多層構造においては、図２に示すような２層構造に限られず、３層以上の構成としてもよい。層構造を増やすことによって大容量のメモリ等を撮像素子１０２内に設けることが可能となる。
このように、撮像素子１０２は、半導体基板２０１と半導体基板２０２が多層構造を形成するように一体化されたモジュール（ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）チップとも称する）である。モジュール内部において半導体基板２０１と半導体基板２０２がこのように多層構造を形成することにより、撮像素子１０２は、半導体基板のサイズを増大させずに、より大規模な回路の実装を実現することができる。すなわち、撮像素子１０２は、コストの増大を抑制しながら、より大規模な回路を実装することができる。なお、多層構造においては、図２に示すような２層構造に限られず、３層以上の構成としてもよい。層構造を増やすことによって大容量のメモリ等を撮像素子１０２内に設けることが可能となる。
図２（Ａ）に示されるように、半導体基板２０１には、受光部２１１およびＡ／Ｄ変換部２１２が形成される。また、半導体基板２０２には、圧縮部１０２１および出力部２１３が形成される。なお、受光部２１１とＡ／Ｄ変換部２１２は別の半導体基板に形成されていてもよい。
受光部２１１は、入射光を受光し、光電変換するためのものである。受光部２１１には、例えばフォトダイオード等の光電変換素子を有する単位画素が複数個、二次元状に配置されている。各単位画素には、光電変換により、入射光に相当する電荷が蓄積される。受光部２１１は、各単位画素において蓄積された電荷を電気信号（画素信号）としてＡ／Ｄ変換部２１２に供給する。なお、受光部２１１には位相差方式のデフォーカス検出を行うための焦点検出画素を設ける構成としてもよい。焦点検出画素としては、射出瞳を分離するために単位画素に入射光に対する光電変換を行うための複数の光電変換部を設ける構成でもよい。あるいは入射光の一部を遮光することによって画素毎に異なる射出瞳からの光を入射するための遮光層を光電変換部の前面に設ける構成でもよい。焦点検出画素は射出瞳を分離する方向に複数設ける必要があるが、本実施例においては、射出瞳を分離する方向を行方向とし、焦点検出画素も同様に行方向に設ける。後述する圧縮する単位と焦点検出画素の位置関係をそろえることにより、焦点検出画素から出力される信号を効率的に圧縮及び伸長することが可能となる。なお、受光部２１１の各画素には入射光を取り込むためのマイクロレンズ及び所定の分光透過率を有するカラーフィルタを有する。
受光部２１１は、入射光を受光し、光電変換するためのものである。受光部２１１には、例えばフォトダイオード等の光電変換素子を有する単位画素が複数個、二次元状に配置されている。各単位画素には、光電変換により、入射光に相当する電荷が蓄積される。受光部２１１は、各単位画素において蓄積された電荷を電気信号（画素信号）としてＡ／Ｄ変換部２１２に供給する。なお、受光部２１１には位相差方式のデフォーカス検出を行うための焦点検出画素を設ける構成としてもよい。焦点検出画素としては、射出瞳を分離するために単位画素に入射光に対する光電変換を行うための複数の光電変換部を設ける構成でもよい。あるいは入射光の一部を遮光することによって画素毎に異なる射出瞳からの光を入射するための遮光層を光電変換部の前面に設ける構成でもよい。焦点検出画素は射出瞳を分離する方向に複数設ける必要があるが、本実施例においては、射出瞳を分離する方向を行方向とし、焦点検出画素も同様に行方向に設ける。後述する圧縮する単位と焦点検出画素の位置関係をそろえることにより、焦点検出画素から出力される信号を効率的に圧縮及び伸長することが可能となる。なお、受光部２１１の各画素には入射光を取り込むためのマイクロレンズ及び所定の分光透過率を有するカラーフィルタを有する。
Ａ／Ｄ変換部２１２は、受光部２１１から供給される各画素信号をＡ／Ｄ変換し、デジタル化された画素データを生成する。Ａ／Ｄ変換部２１２は、このように生成した各画素単位の画素データの集合を画像データとして圧縮部１０２１に供給する。
圧縮部１０２１は、Ａ／Ｄ変換部２１２から供給される画像データを、行方向に所定の画素ブロック単位で所定の方法で圧縮することにより、圧縮データを生成する。これにより画像データのデータ量を低減させる。
圧縮部１０２１は、Ａ／Ｄ変換部２１２から供給される画像データを、行方向に所定の画素ブロック単位で所定の方法で圧縮することにより、圧縮データを生成する。これにより画像データのデータ量を低減させる。
図２に示されるように、圧縮部１０２１は、撮像素子１０２に実装される。つまり、圧縮部１０２１は、撮像素子１０２に内蔵される回路、若しくは、撮像素子１０２の内部において実行されるソフトウエアあるいはその組み合わせにより実現される。圧縮部１０２１による圧縮の方法は、基本的に任意であるが、上述したように撮像素子１０２（モジュール内）に実装可能な簡易的なものとなっている。
画像データの圧縮方法の代表的なものとして、例えば、ＪＰＥＧやＭＰＥＧがあるが、これらの圧縮方法は、高度なものであり、その処理が複雑で、回路規模も大きく、撮像素子１０２の製造コストが増大し易い。そのため、一般的に、これらのような高度な圧縮方法を、回路やソフトウエアとして撮像素子１０２内に実装することは困難である。また、仮に実装したとしても、処理時間（クロック数）が長くて遅延時間が増大しやすく、符号化処理がフレームレートに間に合わない等、実用的でない場合が多い。さらに、圧縮率がベストエフォートのためピン数やバス帯域の低減に寄与しない場合も考えられる。
そこで、本実施例の圧縮部１０２１は、例えばＪＰＥＧやＭＰＥＧのような圧縮方法よりも処理が簡潔で、処理時間（クロック数）が短く、撮像素子１０２内の半導体基板２０２に実装可能な方法で画像データの圧縮を行う。以下において、このような圧縮を簡易圧縮とも称する。つまり、圧縮部１０２１は、Ａ／Ｄ変換部２１２から供給される画像データ（ＲＡＷデータ）を簡易圧縮することにより、圧縮データを生成する。
Ａ／Ｄ変換部２１２は、各単位画素の画素データ（画像データ）を、行単位で圧縮部１０２１に供給するが、圧縮の際に、その画像データを複数行に渡ってバッファ（保持）する必要があると、その分、処理時間が増大する恐れがある。さらには、バッファするために必要な回路が過大となり、他の回路面積を圧迫する懸念もある。
そのため、本実施例の簡易圧縮では、Ａ／Ｄ変換部２１２から供給される１行単位のしかも所定画素ブロック単位の画像データを、バッファせず、順次圧縮することができる方法を適用する。
例えば、簡易圧縮には、ＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）を用いる圧縮方法を適用する。詳細については後ほど説明する。
圧縮部１０２１は、画像データを簡易圧縮して得られた圧縮データを出力部２１３に供給する。
そのため、本実施例の簡易圧縮では、Ａ／Ｄ変換部２１２から供給される１行単位のしかも所定画素ブロック単位の画像データを、バッファせず、順次圧縮することができる方法を適用する。
例えば、簡易圧縮には、ＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）を用いる圧縮方法を適用する。詳細については後ほど説明する。
圧縮部１０２１は、画像データを簡易圧縮して得られた圧縮データを出力部２１３に供給する。
出力部２１３は、例えばＩ／ＯセルやＩ／Ｏピン等よりなり、圧縮部１０２１から供給される圧縮データを撮像素子１０２の外部に出力する。出力部２１３より出力された圧縮データは、バス２２１を介して画像処理部１０３の入力部２３１に供給される。なおバス２２１はＬＶＤＳやＳＬＶＳ等の規格に準拠した高速差動対によって構成される。
画像処理部１０３は、撮像素子１０２において得られた画像データに対する画像処理を行う装置である。図２（Ａ）に示されるように、画像処理部１０３は、入力部２３１、データ加工部１０３１、データ保持部１０３２、伸長部Ａ１０３３および伸張部Ｂ１０３４などを有する。
画像処理部１０３は、撮像素子１０２において得られた画像データに対する画像処理を行う装置である。図２（Ａ）に示されるように、画像処理部１０３は、入力部２３１、データ加工部１０３１、データ保持部１０３２、伸長部Ａ１０３３および伸張部Ｂ１０３４などを有する。
入力部２３１は、バス２２１を介して撮像素子１０２の出力部２１３から伝送される圧縮データを受け付ける。入力部２３１は、取得した圧縮データをデータ加工部１０３１およびデータ保持部１０３２に供給する。
データ加工部１０３１は、入力部２３１から供給される圧縮データを伸長部Ａ１０３３に供給する。このとき、データ加工部１０３１では、１行ごとに圧縮データを伸長部Ａ１０３３に供給するか否かを任意に決めて所定の行だけを伸長部Ａ１０３３に供給する。つまり、圧縮データを行単位で逐次間引く処理を行う。なお、圧縮データを伸長部Ａ１０３３に供給するか否かは、圧縮データ自体に関連付けられたフラグデータに基づいて行ってもよいし、画像処理部１０３に設けた不図示のカウンタ等に基づいて行ってもよい。また、圧縮データを伸長部Ａ１０３３に供給するか否かは、１行ごとに行わずに圧縮部１０２１で行われる圧縮単位で行うようにしてもよい。
データ加工部１０３１は、入力部２３１から供給される圧縮データを伸長部Ａ１０３３に供給する。このとき、データ加工部１０３１では、１行ごとに圧縮データを伸長部Ａ１０３３に供給するか否かを任意に決めて所定の行だけを伸長部Ａ１０３３に供給する。つまり、圧縮データを行単位で逐次間引く処理を行う。なお、圧縮データを伸長部Ａ１０３３に供給するか否かは、圧縮データ自体に関連付けられたフラグデータに基づいて行ってもよいし、画像処理部１０３に設けた不図示のカウンタ等に基づいて行ってもよい。また、圧縮データを伸長部Ａ１０３３に供給するか否かは、１行ごとに行わずに圧縮部１０２１で行われる圧縮単位で行うようにしてもよい。
伸長部Ａ１０３３は、データ加工部１０３１から供給される圧縮データを、圧縮部１０２１の圧縮方法に対応する方法で行単位で伸長し、画像データを復元する。圧縮部１０２１から伸張部Ａ１０３３までの画像データの流れについては後ほど詳細を説明する。
データ保持部１０３２は、入力部２３１から供給される圧縮データを伸長部Ｂ１０３４に供給する。データ保持部１０３２では、入力部２３１から供給される圧縮データを、一時的に保持し、データを出力する速度やタイミングを任意に変更しながら、伸長部Ｂ１０３４に圧縮データを供給する。データ保持部１０３２はＲＡＭなどが用いられる。
これにより、撮像素子１０２から高速に出力される圧縮データを、データ保持部１０３２で一定量保持したのち、画像処理部１０３のデータ処理能力で処理が可能な速度までデータ出力速度を落として、伸長部Ｂ１０３４にデータを出力することができる。
データ保持部１０３２は、入力部２３１から供給される圧縮データを伸長部Ｂ１０３４に供給する。データ保持部１０３２では、入力部２３１から供給される圧縮データを、一時的に保持し、データを出力する速度やタイミングを任意に変更しながら、伸長部Ｂ１０３４に圧縮データを供給する。データ保持部１０３２はＲＡＭなどが用いられる。
これにより、撮像素子１０２から高速に出力される圧縮データを、データ保持部１０３２で一定量保持したのち、画像処理部１０３のデータ処理能力で処理が可能な速度までデータ出力速度を落として、伸長部Ｂ１０３４にデータを出力することができる。
図３は、図２の圧縮部１０２１の主な構成例を示すブロック図である。図３に示される例の場合、圧縮部１０２１は、ＤＰＣＭ処理部３０１、ゴロム（Ｇｏｌｏｍｂ）符号化部３０２、および圧縮率調整部３０３を有する。
ＤＰＣＭ処理部３０１は、Ａ／Ｄ変換部２１２から供給される行単位の画像データ（１次元に並べられた画素データ）の、連続する画素データ同士の差分値を算出する。なお、撮像素子１０２から読み出されＡ／Ｄ変換された連続する画素データ内に異なる色のカラーフィルタに対応する画素データが含まれる場合には、同色のカラーフィルタに対応する画素データ同士で差分値を算出することが好ましい。
ＤＰＣＭ処理部３０１は、算出した各差分値をゴロム符号化部３０２に供給する。
ＤＰＣＭ処理部３０１は、Ａ／Ｄ変換部２１２から供給される行単位の画像データ（１次元に並べられた画素データ）の、連続する画素データ同士の差分値を算出する。なお、撮像素子１０２から読み出されＡ／Ｄ変換された連続する画素データ内に異なる色のカラーフィルタに対応する画素データが含まれる場合には、同色のカラーフィルタに対応する画素データ同士で差分値を算出することが好ましい。
ＤＰＣＭ処理部３０１は、算出した各差分値をゴロム符号化部３０２に供給する。
ゴロム符号化部３０２は、ＤＰＣＭ処理部３０１から供給される各差分値をゴロム符号（Ｇｏｌｏｍｂ Ｃｏｄｉｎｇ）に符号化する。ゴロム符号化部３０２で符号化されたゴロム符号化圧縮データは圧縮率調整部３０３に供給される。
圧縮率調整部３０３は、ゴロム符号化部３０２から供給される圧縮データの圧縮率を調整し、所定の圧縮率に変換する。これにより受光部２１１において得られた画像データに対して所定の圧縮率で圧縮された圧縮データが得られる。圧縮率は可変とすることもできるが、バス２２１の最大伝送可能帯域幅はハードウエア要因により制限されるので、圧縮率は固定とするのが望ましい。圧縮率調整部３０３は、圧縮率を固定あるいはほぼ固定に調整した圧縮データを出力部２１３に出力する。
このような構成とすることにより、圧縮部１０２１は、画像データ（ＲＡＷデータ）を不可逆ではあるが簡易に圧縮することができる。本実施例ではＪＰＥＧ等の可逆圧縮によらず不可逆圧縮を撮像素子内で行うようにしたので回路規模を抑えることができ処理負荷も少なくて済む。ただし、一般にこのような不可逆圧縮をした場合にはフレーム単位で画像を記憶してから伸長しないと画像表示ができないが、本実施例では行単位で圧縮し伸長することによって行単位の画像をリアルタイムで逐次表示可能にしている。更にはＡＦ演算なども並列にリアルタイムで逐次処理可能にしている。
このような構成とすることにより、圧縮部１０２１は、画像データ（ＲＡＷデータ）を不可逆ではあるが簡易に圧縮することができる。本実施例ではＪＰＥＧ等の可逆圧縮によらず不可逆圧縮を撮像素子内で行うようにしたので回路規模を抑えることができ処理負荷も少なくて済む。ただし、一般にこのような不可逆圧縮をした場合にはフレーム単位で画像を記憶してから伸長しないと画像表示ができないが、本実施例では行単位で圧縮し伸長することによって行単位の画像をリアルタイムで逐次表示可能にしている。更にはＡＦ演算なども並列にリアルタイムで逐次処理可能にしている。
ここで、リアルタイムな行単位の画像表示やリアルタイムの演算処理とは１フレーム分のデータが揃うのを待ってから伸長したり画像表示／処理をするのではなく、１フレーム分のデータが揃う前に画像表示／処理することを意味する。
なお、本実施例では圧縮率調整部を有しているのでバス２２１の最大伝送可能帯域幅内に収まるようにデータの帯域幅を最適化することができる。
なお、本実施形態においては以上の例を挙げたが、例えばハフマン符号化（Ｈｕｆｆｍａｎ Ｃｏｄｉｎｇ）やライス符号化（Ｒｉｃｅ Ｃｏｄｉｎｇ）でもよく、簡易圧縮は、この例に限らない。しかしゴロム符号化が撮像素子内の圧縮符号化方式としては負荷が少なく適している。
なお、本実施例では圧縮率調整部を有しているのでバス２２１の最大伝送可能帯域幅内に収まるようにデータの帯域幅を最適化することができる。
なお、本実施形態においては以上の例を挙げたが、例えばハフマン符号化（Ｈｕｆｆｍａｎ Ｃｏｄｉｎｇ）やライス符号化（Ｒｉｃｅ Ｃｏｄｉｎｇ）でもよく、簡易圧縮は、この例に限らない。しかしゴロム符号化が撮像素子内の圧縮符号化方式としては負荷が少なく適している。
図４は、伸張部Ａ１０３３および伸張部Ｂ１０３４の主な構成例を示すブロック図である。図４に示される例の場合、伸張部Ａ１０３３および伸張部Ｂ１０３４は、図３の例の圧縮部１０２１に対応する方法で圧縮データを伸張する。図４に示されるように、この場合の伸張部Ａ１０３３および伸張部Ｂ１０３４は、圧縮率逆調整部４０１、ゴロム復号部４０２、および逆ＤＰＣＭ処理部４０３を有する。
圧縮率逆調整部４０１は、入力部２３１から供給された圧縮データに対して、圧縮率調整部３０３の処理の逆処理を行い、ゴロム符号化部３０２が生成したゴロム符号を復元する。圧縮率逆調整部４０１は、復元したゴロム符号をゴロム復号部４０２に供給する。
ゴロム復号部４０２は、圧縮率逆調整部４０１から供給されたゴロム符号を、ゴロム符号化部３０２の符号化方法に対応する方法で復号し、ＤＰＣＭ処理部３０１が生成した差分値を復元する。ゴロム復号部４０２は、復元した差分値を逆ＤＰＣＭ処理部４０３に供給する。
逆ＤＰＣＭ処理部４０３は、ゴロム復号部４０２から供給された差分値に対して逆ＤＰＣＭ処理（ＤＰＣＭ処理部３０１が行ったＤＰＣＭの逆処理）を行い、各画素データを復元する。逆ＤＰＣＭ処理部４０３は、復元した画素データの集合を画像データとして伸張部Ａ１０３３および伸張部Ｂ１０３４の外部に出力する。具体的には一旦制御部１０７に出力し、制御部１０７を介して伸張部Ａ１０３３の出力は画像表示部１１０に供給され、伸張部Ｂ１０３４の出力は画像記録部１１１に供給される。
このような構成とすることにより、伸張部Ａ１０３３および伸張部Ｂ１０３４は、圧縮部１０２１により生成された圧縮データを正しく復号することができる。つまり、伸張部Ａ１０３３および伸張部Ｂ１０３４は、画像データの伸張を実現することができる。
次に本実施例における圧縮部１０２１、データ加工部１０３１及び伸張部Ａ１０３３の画像データ処理について、図５を参照して説明する。
次に本実施例における圧縮部１０２１、データ加工部１０３１及び伸張部Ａ１０３３の画像データ処理について、図５を参照して説明する。
図５（Ａ）は圧縮部１０２１でのデータ処理の様子を模式的に示したものであり、図５（Ｂ）はデータ加工部１０３１でのデータ処理の様子を模式的に示したものであり、図５（Ｃ）は伸長部Ａ１０３３でのデータ処理の様子を模式的に示したものである。
図５においては、簡易的に、水平は６画素、垂直４行の２４画素の画像データを例として記載しているが、受光部２１１は水平垂直ともにはるかに多くの画素を有する。
図５においては、簡易的に、水平は６画素、垂直４行の２４画素の画像データを例として記載しているが、受光部２１１は水平垂直ともにはるかに多くの画素を有する。
まず図５（Ａ）で、圧縮部１０２１では、Ａ／Ｄ変換部２１２でデジタル信号に変換された６列４行の画像データが行単位かつ所定の画素ブロック単位で入力される。本実施例では行方向の６画素のブロック単位で圧縮されるものとする。圧縮部１０２１に入力された画像データは、図３で説明した圧縮方法により行方向に所定の画素ブロック単位（６画素単位）毎に圧縮処理が行われ圧縮データ化される。なお、本実施例では行方向の６画素を画素ブロック単位として圧縮しているが、これに限定されないことは言うまでもない。
圧縮部１０２１で圧縮処理された行毎の圧縮データは、撮像素子の出力部２１３と画像処理部の入力部２３１を経て、データ加工部１０３１へ入力される。
圧縮部１０２１で圧縮処理された行毎の圧縮データは、撮像素子の出力部２１３と画像処理部の入力部２３１を経て、データ加工部１０３１へ入力される。
図５（Ｂ）で、データ加工部１０３１では圧縮データ化された４行の圧縮データのうち、２行目と４行目のデータを逐次削除し、１／２のデータ量になるようにデータの間引きを行う。
データ加工部により行の逐次間引き処理が行われた圧縮データは、伸長部Ａ１０３３に入力される。
データ加工部により行の逐次間引き処理が行われた圧縮データは、伸長部Ａ１０３３に入力される。
図５（Ｃ）で、伸長部Ａ１０３３では１行目と３行目のデータのみとなった圧縮データを、図４で説明した伸長方法により、再度画像データへと行単位で逐次伸長処理を行う。その後、制御部１０７を介して画像表示部１１０へと画像データを出力し行単位で逐次リアルタイム表示をさせる。これにより伸長動作を行いつつリアルタイムで画像表示をすることができる点に大きな特徴がある。なお、伸長後に更にデータ量を削減するための間引きまたは加算処理を実行するようにしてもよい。特に本実施例においては伸長後には列方向に比べて行方向において多数の画像データが存在するため、これを間引きまたは加算処理することで処理負荷及び処理時間を短縮することができる。
次に、図２（Ａ）の撮像素子１０２により実行される撮像処理の流れの例を、図６のフローチャートを参照して説明する。
この撮像処理は、撮像素子１０２が、被写体を撮像し、その被写体の画像データを得る際に実行される。
撮像処理が開始されると、ステップＳ６０１において、受光部２１１は、有効画素領域の各単位画素において、入射光を光電変換する。
次に、図２（Ａ）の撮像素子１０２により実行される撮像処理の流れの例を、図６のフローチャートを参照して説明する。
この撮像処理は、撮像素子１０２が、被写体を撮像し、その被写体の画像データを得る際に実行される。
撮像処理が開始されると、ステップＳ６０１において、受光部２１１は、有効画素領域の各単位画素において、入射光を光電変換する。
ステップＳ６０２において、Ａ／Ｄ変換部２１２は、ステップＳ６０１の処理により得られた各単位画素の画素信号（アナログデータ）を、それぞれ、Ａ／Ｄ変換する。
ステップＳ６０３において、圧縮部１０２１は、ステップＳ６０２の処理により得られた、デジタルデータの画素データの集合である画像データを１行単位で圧縮することにより、圧縮データを生成する。
ステップＳ６０４において、出力部２１３は、ステップＳ６０３の処理により得られた圧縮データを、撮像素子１０２の外部（バス２２１）に行単位で出力する。
ステップＳ６０３において、圧縮部１０２１は、ステップＳ６０２の処理により得られた、デジタルデータの画素データの集合である画像データを１行単位で圧縮することにより、圧縮データを生成する。
ステップＳ６０４において、出力部２１３は、ステップＳ６０３の処理により得られた圧縮データを、撮像素子１０２の外部（バス２２１）に行単位で出力する。
ステップＳ６０５において、入力部２３１では、ステップＳ６０４の処理により出力された圧縮データが画像処理部１０３に入力されたのち、データ加工部１０３１およびデータ保持部１０３２へ出力される。
ステップＳ６０６において、データ加工部１０３１に圧縮データが行単位で入力されると、圧縮データの一部の行の削除を行い、データの間引き処理を逐次行う。
ステップＳ６０７において、伸長部Ａ１０３３で圧縮データを１行単位で伸長することで、再度画像データへと戻す。
ステップＳ６０６において、データ加工部１０３１に圧縮データが行単位で入力されると、圧縮データの一部の行の削除を行い、データの間引き処理を逐次行う。
ステップＳ６０７において、伸長部Ａ１０３３で圧縮データを１行単位で伸長することで、再度画像データへと戻す。
ステップＳ６０８において、ステップＳ６０７で伸長された行単位の画像データに対して、映像信号処理部１０４でホワイトバランス調整処理、色補正処理などの信号処理（現像処理）を施される。そののち、ステップＳ６０９において、制御部１０７を介して画像表示部１１０で逐次リアルタイム表示される。
一方、ステップＳ６１０において、ステップＳ６０５で入力部２３１から行単位で出力された圧縮データをデータ保持部１０３２で一時的に保持する。データ保持部１０３２以降のデータ転送についても、データ保持部１０３２からのデータの出力速度をデータの入力時の速度よりも低下させることで、データバス幅を減らすことができる。例えば、データの入力速度を毎秒１２０フレームとした場合に、出力速度を毎秒３０フレームとすることで、データバス幅を４分の１にすることができる。
ステップＳ６１１において、伸長部Ｂ１０３４で圧縮データを伸長することで、再度画像データへと戻す。
一方、ステップＳ６１０において、ステップＳ６０５で入力部２３１から行単位で出力された圧縮データをデータ保持部１０３２で一時的に保持する。データ保持部１０３２以降のデータ転送についても、データ保持部１０３２からのデータの出力速度をデータの入力時の速度よりも低下させることで、データバス幅を減らすことができる。例えば、データの入力速度を毎秒１２０フレームとした場合に、出力速度を毎秒３０フレームとすることで、データバス幅を４分の１にすることができる。
ステップＳ６１１において、伸長部Ｂ１０３４で圧縮データを伸長することで、再度画像データへと戻す。
ステップＳ６１２において、ステップＳ６１１で伸長された画像データに対して、映像信号処理部１０４でホワイトバランス調整処理、色補正処理などの信号処理（現像処理）を施す。そののち、ステップＳ６１３において、制御部１０７を介して画像記録部１１１のＳＤカードなどの記録媒体に記録される。なお、記録する直前にＪＰＥＧ等の圧縮を施してもよい。
このように、圧縮データ化された状態で、撮像素子から画像データを読み出すので、データ量を削減することができ、各処理回路間のデータ転送量を抑えることができる。したがって少ないデータバス幅でもデータの転送が可能となり、画像処理回路の回路規模を小さくすることができる。更に本実施例では簡易的な不可逆圧縮を撮像素子内で行うようにしたので撮像素子の回路規模を抑えることができ処理負荷を低減することができる。しかも、このような不可逆圧縮をした場合にはフレーム単位で画像を記憶して揃えてから伸長しないと画像表示ができないが、本実施例では行単位で圧縮し、伸長し、表示することによってリアルタイムの画像表示を実現している。
なお、本実施例においてはステップＳ６０５において、圧縮データが画像処理部１０３に入力されたのち、データ加工部１０３１およびデータ保持部１０３２へ出力される構成としたがこれに限られるものではない。例えば、圧縮データをすべてデータ保持部１０３２へ保持した後に必要な領域のみ間引いて読み出すことで、データ加工部１０３１で行う圧縮データの間引き動作を実現することも可能である。
なお、本実施例においてはステップＳ６０５において、圧縮データが画像処理部１０３に入力されたのち、データ加工部１０３１およびデータ保持部１０３２へ出力される構成としたがこれに限られるものではない。例えば、圧縮データをすべてデータ保持部１０３２へ保持した後に必要な領域のみ間引いて読み出すことで、データ加工部１０３１で行う圧縮データの間引き動作を実現することも可能である。
第１の実施例では画像処理部のデータ加工部１０３１では１つの画像データの行を間引くことでデータ量を削減し、データ保持部１０３２ではデータ保持部１０３２からの伸張部Ｂ１０３４への出力の時間を遅延させることで、所定の時間あたりのデータ量を削減していた。しかし、データ保持部１０３２で保持できる画像の枚数には上限があるため、多くの枚数の画像記録が必要な動画撮影モード時などは、データ保持部１０３２を使用してデータ量を削減することが困難となる。
そこで実施例２では動画撮影モード時において更にフォーカス制御と動画記録を同時に行えるようにした例を説明する。具体的には、画像処理部ではデータ加工部１０３１で、行単位で間引き処理されたデータを制御部１０７のＡＦ演算部でデフォーカス量の算出に用い、フォーカス制御を行う。また、上記の行単位で間引き処理されたデータは制御部１０７を介して画像表示部１１０にも供給され画像が行単位でリアルタイムで表示されるようになっている。
一方、画像処理部に更にデータ加工部Ｂ７３５を有し、データ加工部Ｂ７３５では入力される画像データをフレーム単位でデータの削除を行い、出力するデータ量を削減することで、リアルタイムのフォーカス制御やリアルタイムの画像表示ができる。それと同時に、データバスを大きくすることなく制御部１０７を介して動画記録を実現することができる。
一方、画像処理部に更にデータ加工部Ｂ７３５を有し、データ加工部Ｂ７３５では入力される画像データをフレーム単位でデータの削除を行い、出力するデータ量を削減することで、リアルタイムのフォーカス制御やリアルタイムの画像表示ができる。それと同時に、データバスを大きくすることなく制御部１０７を介して動画記録を実現することができる。
実施例２における撮像素子と撮像装置の基本的な構成と動作は、実施例１の図１〜図６で用いた一部の符号を流用して説明する。
図７は本実施例における撮像素子と画像処理部の主な構成例を示すブロック図である。
撮像素子の構成は図２と同様のため説明は省略する。
また、画像処理部の構成についても、入力部２３１、データ加工部１０３１、データ保持部１０３２、伸長部Ａ１０３３、伸長部Ｂ１０３４は図２の構成と同じであるため説明は省略する。
図７は本実施例における撮像素子と画像処理部の主な構成例を示すブロック図である。
撮像素子の構成は図２と同様のため説明は省略する。
また、画像処理部の構成についても、入力部２３１、データ加工部１０３１、データ保持部１０３２、伸長部Ａ１０３３、伸長部Ｂ１０３４は図２の構成と同じであるため説明は省略する。
図７において、本実施例では、画像処理部に、データ加工部１０３１、データ保持部１０３２とは別にデータ加工部Ｂ７３５も有する。
このデータ加工部Ｂ７３５では、動画撮影モードにおいて、入力部から出力された圧縮データについてフレーム間引き処理を行った後、伸長部Ｂ１０３４へ圧縮データを出力する。
これにより、データを一時的に保持することなくデータバス幅が小さいままでもデータを転送することができる。
また、本実施例では、伸長部Ａ１０３３で伸長されたデータは、制御部１０７内のＡＦ演算部１１２に送られ、撮像光学系の焦点状態を示すデフォーカス量の算出にリアルタイムで用いられる。まさ、画像表示部１１０に送られてリアルタイムの画像表示にも使われる。
一方、伸長部Ｂ１０３４で伸長されたデータは、制御部１０７を介して動画データとして画像記録部１１１に記録される。なお、静止画撮影モードではデータ加工部Ｂ７３５は使われず、データ保持部１０３２で一旦保持された画像を伸長部Ｂ１０３４で伸長してから制御部１０７を介して静止画として画像記録部１１０において記録する。またその際必要に応じてＪＰＥＧなどの圧縮をしてから記録をしてもよい。
このデータ加工部Ｂ７３５では、動画撮影モードにおいて、入力部から出力された圧縮データについてフレーム間引き処理を行った後、伸長部Ｂ１０３４へ圧縮データを出力する。
これにより、データを一時的に保持することなくデータバス幅が小さいままでもデータを転送することができる。
また、本実施例では、伸長部Ａ１０３３で伸長されたデータは、制御部１０７内のＡＦ演算部１１２に送られ、撮像光学系の焦点状態を示すデフォーカス量の算出にリアルタイムで用いられる。まさ、画像表示部１１０に送られてリアルタイムの画像表示にも使われる。
一方、伸長部Ｂ１０３４で伸長されたデータは、制御部１０７を介して動画データとして画像記録部１１１に記録される。なお、静止画撮影モードではデータ加工部Ｂ７３５は使われず、データ保持部１０３２で一旦保持された画像を伸長部Ｂ１０３４で伸長してから制御部１０７を介して静止画として画像記録部１１０において記録する。またその際必要に応じてＪＰＥＧなどの圧縮をしてから記録をしてもよい。
次に図８を用いてデータ加工部Ｂ７３５における圧縮データの加工処理について説明する。
図８はデータ加工部Ｂ７３５における圧縮データのデータ処理の様子を模式的に示したものである。図８では、図５での説明と同様、４行の圧縮された圧縮データを用いて説明する。
図８はデータ加工部Ｂ７３５における圧縮データのデータ処理の様子を模式的に示したものである。図８では、図５での説明と同様、４行の圧縮された圧縮データを用いて説明する。
図８において、入力部２３１からデータ加工部Ｂ７３５へ圧縮データが入力されると、まず０フレーム目（偶数フレーム目）については圧縮データをそのまま伸張部Ｂ１０３３へ出力する。次に、入力部２３１から１フレーム目（奇数フレーム目）の圧縮データが入力されると、データ加工部Ｂ７３５では４行すべての行のデータを削除する。つまり１フレーム目はデータの出力を行わないこととなる。
次に、実施例２の撮像処理の流れの例を、図９のフローチャートを参照して説明する。
図９は動画撮影モードにおけるフローチャートであり、図９において、ステップＳ６０１〜ステップＳ６０９およびステップＳ６１２〜ステップＳ６１３の処理は図６で説明した処理と同じであるため説明を省略する。ただし、動画撮影モードなので撮像素子は例えば１／６０周期で撮影動作を行う。
ステップＳ６０５において、入力部２３１では、ステップＳ６０４の処理により出力された圧縮データが画像処理部１０３を介してデータ加工部１０３１およびデータ加工部Ｂ７３５へ出力される。
図９は動画撮影モードにおけるフローチャートであり、図９において、ステップＳ６０１〜ステップＳ６０９およびステップＳ６１２〜ステップＳ６１３の処理は図６で説明した処理と同じであるため説明を省略する。ただし、動画撮影モードなので撮像素子は例えば１／６０周期で撮影動作を行う。
ステップＳ６０５において、入力部２３１では、ステップＳ６０４の処理により出力された圧縮データが画像処理部１０３を介してデータ加工部１０３１およびデータ加工部Ｂ７３５へ出力される。
ステップＳ９０１において、データ加工部Ｂ７３５に圧縮データが入力されると、偶数フレームの場合には圧縮データをそのまま伸張部Ｂ１０３４へ圧縮データを出力し、奇数フレームの場合には伸長部Ｂ１０３４へはデータの出力を行わない。
ステップＳ９０２において、データ加工部Ｂ７３５から圧縮データが出力されると、伸長部Ｂ１０３４で圧縮データを伸長し、再度画像データへと戻す。
ステップＳ９０２において、データ加工部Ｂ７３５から圧縮データが出力されると、伸長部Ｂ１０３４で圧縮データを伸長し、再度画像データへと戻す。
ステップＳ６１２において、ステップＳ９０２で伸長された画像データに対して、映像信号処理部１０４でホワイトバランス調整処理、色補正処理などの信号処理（現像処理）を施こす。そののち、ステップＳ６１３において、制御部１０７を介して画像記録部１１１のＳＤカードなどの記録媒体に動画として記録される。なお、記録する前にＭＰＥＧ等の圧縮を施してもよい。
一方、ステップＳ６０８において映像信号処理部１０４で現像処理を行ったデータは、ステップＳ９０３において制御部１０７に入力される。そして、制御部１０７内のＡＦ制御部１１２で撮像光学系の焦点状態を示すデフォーカス量（例えばコントラスト値や高周波成分の値または位相差など）をリアルタイムで行単位で算出する。それと並行してステップＳ６０８において映像信号処理部１０４で現像処理を行ったデータは、ステップＳ６０９で制御部１０７を介して画像表示部１１０に行単位で供給されてリアルタイム画像として表示される。
ステップＳ９０４において、ステップＳ９０３で算出されたデフォーカス量に基づいて、制御部１０７からフォーカス機構部１０１１へと制御信号が送られ、フォーカスレンズを駆動する。
このように、不可逆圧縮データ化された状態で、複数フレームにわたってフレーム単位でデータ量を削減することで、動画撮影時でも、各処理回路間のデータ転送量を抑えることができる。したがって、少ないデータバス幅でもデータの転送が可能となり、画像処理回路の回路規模を小さくすることができる。しかも画像表示やＡＦ演算などもリアルタイムで実現できる。
なお、実施例において逐次として説明しているものは、例えば１行のデータが来たらその１行のデータを画像表示したりデフォーカス量演算し、次の行のデータが来たら、その行のデータを画像表示したりデフォーカス量演算することを意味する。また、行単位として説明しているものは１行単位でもよいし、複数行単位であってもよいことは言うまでもない。
なお、実施例において逐次として説明しているものは、例えば１行のデータが来たらその１行のデータを画像表示したりデフォーカス量演算し、次の行のデータが来たら、その行のデータを画像表示したりデフォーカス量演算することを意味する。また、行単位として説明しているものは１行単位でもよいし、複数行単位であってもよいことは言うまでもない。
なお、本発明における制御の一部または全部を、上述した実施例の機能を実現するプログラム（ソフトウェア）としてネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
１０１ 光学鏡筒
１０２ 撮像素子
１０３ 画像処理部
１０４ 映像信号処理部
１０５ 圧縮伸張部
１０７ 制御部
１０８ 発光部
１０９ 操作部
１１０ 画像表示部
１１１ 画像記録部
１１２ ＡＦ演算部
１０２１ 圧縮部
１０３１ データ加工部
１０３２ データ保持部
１０３３ 伸張部Ａ
１０３４ 伸張部Ｂ
２０１ 半導体基板
２０２ 半導体基板
２１１ 受光部
２１２ Ａ／Ｄ変換部
２１３ 出力部
２２１ バス
２３１ 入力部
３０１ ＤＰＣＭ処理部
３０２ ゴロム符号化部
３０３ 圧縮率調整部
４０１ 圧縮率逆調整部
４０２ ゴロム復号部
４０３ 逆ＤＰＣＭ処理部
１０２ 撮像素子
１０３ 画像処理部
１０４ 映像信号処理部
１０５ 圧縮伸張部
１０７ 制御部
１０８ 発光部
１０９ 操作部
１１０ 画像表示部
１１１ 画像記録部
１１２ ＡＦ演算部
１０２１ 圧縮部
１０３１ データ加工部
１０３２ データ保持部
１０３３ 伸張部Ａ
１０３４ 伸張部Ｂ
２０１ 半導体基板
２０２ 半導体基板
２１１ 受光部
２１２ Ａ／Ｄ変換部
２１３ 出力部
２２１ バス
２３１ 入力部
３０１ ＤＰＣＭ処理部
３０２ ゴロム符号化部
３０３ 圧縮率調整部
４０１ 圧縮率逆調整部
４０２ ゴロム復号部
４０３ 逆ＤＰＣＭ処理部
Claims (15)
- 複数の画素を含み画素信号を形成する受光部と、前記画素信号をＡ／Ｄ変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部の出力を行方向の所定画素ブロック単位で圧縮する圧縮部と、
を備える撮像素子と、
前記撮像素子の前記圧縮部から出力された圧縮データを行単位で間引き処理する第１のデータ加工手段と、
前記第１のデータ加工手段により少なくとも行単位で間引き処理された圧縮データを行単位で伸長処理する第１のデータ伸長手段と、
前記第１のデータ伸長手段によって行単位で伸長処理された圧縮データを行単位で現像する第１の現像手段と、
前記第１の現像手段からの行単位のデータを逐次表示する表示手段と、を有することを特徴とする撮像装置。 - 前記撮像素子の圧縮部で行方向の所定画素ブロック単位で圧縮された圧縮データを更にフレーム単位で間引き処理する第２のデータ加工手段を有することを特徴とする請求項１に記載の撮像装置。
- 前記第２のデータ加工手段によってフレーム単位で間引き処理されたデータを伸長処理する第２のデータ伸長手段を有することを特徴とする請求項２に記載の撮像装置。
- 前記第２のデータ伸長手段からの出力を現像処理する第２の現像手段を有することを特徴とする請求項３に記載の撮像装置。
- 前記第２の現像手段の出力を動画として記録する記録手段を有することを特徴とする請求項４に記載の撮像装置。
- 前記表示手段は、前記第１の現像手段からの行単位のデータをリアルタイム表示することを特徴とする請求項１から請求項５のうちいずれか１項に記載の撮像装置。
- 前記第１の現像手段の出力を用いてリアルタイムにデフォーカス量を演算するためのデフォーカス量演算手段を有することを特徴とする請求項１から請求項６のうちいずれか１項に記載の撮像装置。
- 前記撮像素子から出力された圧縮データを一時的に保存するデータ保持手段を有することを特徴とする請求項１から請求項７のうちいずれか１項に記載の撮像装置。
- 前記圧縮部は、前記Ａ／Ｄ変換部の出力を、行方向の所定画素ブロック単位で不可逆圧縮するものであることを特徴とする請求項１から請求項８のうちいずれか１項に記載の撮像装置。
- 前記圧縮部は、前記Ａ／Ｄ変換部の出力をＤＰＣＭ処理するＤＰＣＭ処理部を有することを特徴とする請求項１から請求項９のうちいずれか１項に記載の撮像装置。
- 前記圧縮部は、前記ＤＰＣＭ処理部の出力を符号化する符号化手段を有することを特徴とする請求項１０に記載の撮像装置。
- 前記圧縮部は、前記符号化手段から出力されたデータの圧縮率を調整する圧縮率調整手段を有することを特徴とする請求項１１に記載の撮像装置。
- 前記圧縮率調整手段は圧縮率を所定範囲内にするように調整を行うことを特徴とする請求項１２に記載の撮像装置。
- 前記符号化手段はゴロム符号化手段を含むことを特徴とする請求項１１から請求項１３のうちいずれか１項に記載の撮像装置。
- 前記撮像素子は多層構造を形成する複数の基板を有し、
前記受光部と前記圧縮部は別の基板に形成されることを特徴とする請求項１から請求項１４のうちいずれか１項に記載の撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018155765A JP7321685B2 (ja) | 2018-08-22 | 2018-08-22 | 撮像装置 |
| US16/546,634 US11570389B2 (en) | 2018-08-22 | 2019-08-21 | Imaging apparatus for downsizing an image sensor and a signal processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018155765A JP7321685B2 (ja) | 2018-08-22 | 2018-08-22 | 撮像装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2020031336A true JP2020031336A (ja) | 2020-02-27 |
| JP2020031336A5 JP2020031336A5 (ja) | 2021-09-24 |
| JP7321685B2 JP7321685B2 (ja) | 2023-08-07 |
Family
ID=69586534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018155765A Active JP7321685B2 (ja) | 2018-08-22 | 2018-08-22 | 撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11570389B2 (ja) |
| JP (1) | JP7321685B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7321685B2 (ja) * | 2018-08-22 | 2023-08-07 | キヤノン株式会社 | 撮像装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004129217A (ja) * | 2002-08-01 | 2004-04-22 | Canon Inc | 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
| JP2014103543A (ja) * | 2012-11-20 | 2014-06-05 | Sony Corp | 撮像素子、並びに、撮像装置および方法 |
| JP2015136093A (ja) * | 2013-12-20 | 2015-07-27 | ソニー株式会社 | 撮像素子、撮像装置、および電子装置 |
| JP2018046324A (ja) * | 2016-09-12 | 2018-03-22 | キヤノン株式会社 | 撮像センサ及びその制御方法、撮像装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7239405B2 (en) * | 1998-03-02 | 2007-07-03 | Minolta Co., Ltd. | Image processing system for outputting scanned images in the specified sequences |
| WO2004112396A1 (ja) * | 2003-06-13 | 2004-12-23 | Nokia Corporation | 画像データの圧縮とサムネール画像の作成を行う電子機器、画像処理装置、データ構造 |
| JP4305737B2 (ja) * | 2003-06-18 | 2009-07-29 | ソニー株式会社 | 記録装置及び記録媒体の管理方法 |
| JP2006340300A (ja) * | 2005-06-06 | 2006-12-14 | Fujifilm Holdings Corp | 信号処理方法及び信号処理装置、並びに信号処理プログラム及び情報記録媒体 |
| JP5094583B2 (ja) * | 2008-06-19 | 2012-12-12 | 三洋電機株式会社 | 撮像装置、データ通信システムおよびデータ通信方法 |
| JP5319347B2 (ja) | 2009-03-17 | 2013-10-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP5375490B2 (ja) * | 2009-09-29 | 2013-12-25 | ソニー株式会社 | 送信装置、受信装置、通信システム及びプログラム |
| WO2012002106A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士フイルム株式会社 | 立体画像表示装置、立体画像表示方法、立体画像表示プログラム及び記録媒体 |
| JP5755111B2 (ja) | 2011-11-14 | 2015-07-29 | キヤノン株式会社 | 撮像装置の駆動方法 |
| US10909384B2 (en) * | 2015-07-14 | 2021-02-02 | Panasonic Intellectual Property Management Co., Ltd. | Monitoring system and monitoring method |
| JP6875821B2 (ja) * | 2016-10-19 | 2021-05-26 | キヤノン株式会社 | 画像符号化装置、撮像装置、画像符号化方法およびプログラム |
| JP7321685B2 (ja) * | 2018-08-22 | 2023-08-07 | キヤノン株式会社 | 撮像装置 |
-
2018
- 2018-08-22 JP JP2018155765A patent/JP7321685B2/ja active Active
-
2019
- 2019-08-21 US US16/546,634 patent/US11570389B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004129217A (ja) * | 2002-08-01 | 2004-04-22 | Canon Inc | 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
| JP2014103543A (ja) * | 2012-11-20 | 2014-06-05 | Sony Corp | 撮像素子、並びに、撮像装置および方法 |
| JP2015136093A (ja) * | 2013-12-20 | 2015-07-27 | ソニー株式会社 | 撮像素子、撮像装置、および電子装置 |
| JP2018046324A (ja) * | 2016-09-12 | 2018-03-22 | キヤノン株式会社 | 撮像センサ及びその制御方法、撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7321685B2 (ja) | 2023-08-07 |
| US11570389B2 (en) | 2023-01-31 |
| US20200068158A1 (en) | 2020-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20050117029A1 (en) | Image capture apparatus and image capture method in which an image is processed by a plurality of image processing devices | |
| KR20090074067A (ko) | 촬상 장치 및 촬상 방법 | |
| KR20080013674A (ko) | 촬상 장치 및 방법 | |
| JP2009296353A (ja) | 撮像素子モジュール及びその撮像データ出力方法並びに撮像装置 | |
| US20240080410A1 (en) | Imaging apparatus, image data processing method of imaging apparatus, and program | |
| JP2007235387A (ja) | 撮像装置、及びそれを用いたカメラ | |
| KR20050087285A (ko) | 디스플레이 처리와 데이터 압축을 동시에 수행하는 촬상신호 처리 장치 및 그 방법 | |
| JP5959194B2 (ja) | 撮像装置 | |
| JP7321685B2 (ja) | 撮像装置 | |
| JP5820720B2 (ja) | 撮像装置 | |
| WO2020137663A1 (ja) | 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム | |
| US9609215B2 (en) | Moving-image recording/reproduction apparatus | |
| US20100135644A1 (en) | Photographing apparatus and method of controlling the same | |
| JP2012175303A (ja) | 撮像装置、撮像方法、及びプログラム | |
| JP6702792B2 (ja) | 画像処理装置およびその制御方法 | |
| JP6448219B2 (ja) | 撮像装置、及びその制御方法 | |
| JP2013012983A (ja) | 撮像装置 | |
| JP4250511B2 (ja) | 撮像装置 | |
| JP6261372B2 (ja) | 固体撮像装置および撮像システム | |
| JP6091216B2 (ja) | 画像信号処理装置およびその制御方法、並びに撮像装置 | |
| JP5355664B2 (ja) | デジタルカメラ及びその制御方法 | |
| JP2018133600A (ja) | 撮像装置、撮像装置の制御方法、およびプログラム | |
| JP2005159992A (ja) | 撮像装置及び撮像方法 | |
| JP5484616B2 (ja) | デジタルカメラ及びその制御方法 | |
| JP4322448B2 (ja) | デジタルカメラ及びデジタルカメラの制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210813 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210813 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230627 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230726 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7321685 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |