JP2019036988A - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
JP2019036988A
JP2019036988A JP2018196396A JP2018196396A JP2019036988A JP 2019036988 A JP2019036988 A JP 2019036988A JP 2018196396 A JP2018196396 A JP 2018196396A JP 2018196396 A JP2018196396 A JP 2018196396A JP 2019036988 A JP2019036988 A JP 2019036988A
Authority
JP
Japan
Prior art keywords
signal
unit
electronic device
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018196396A
Other languages
English (en)
Other versions
JP7063788B2 (ja
Inventor
聡志 土谷
Satoshi Tsuchiya
聡志 土谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JP2019036988A publication Critical patent/JP2019036988A/ja
Application granted granted Critical
Publication of JP7063788B2 publication Critical patent/JP7063788B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14634Assemblies, i.e. Hybrid structures
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1464Back illuminated imager structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Abstract

【課題】撮像領域を異なる撮像条件が設定された複数の領域に分割し、複数の領域に対応する複数の動画を生成する。【解決手段】電子機器は、複数の画素と、複数の画素のうち、第1方向と第1方向と交差する第2方向とにおいてそれぞれ配置される複数の第1画素に接続され、第1画素を制御するための第1制御信号が出力される第1制御線と、複数の画素のうち、第1方向と第2方向とにおいてそれぞれ配置される複数の第2画素に接続され、第2画素を制御するための第2制御信号が出力される第2制御線と、を有する撮像素子と、第1画素から出力される第1信号に基づく第1画像データと、第2画素から出力される第2信号に基づく第2画像データと、を生成する生成部と、を備える。【選択図】図3

Description

本発明は、電子機器に関する。
裏面照射型撮像チップと信号処理チップとが積層された撮像素子(以下、この撮像素子を積層型撮像素子という。)を備えた電子機器が提案されている(例えば特許文献1参照)。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、複数画素をまとめたブロック単位ごとにマイクロバンプを介して接続されるように積層されている。
特開2006−49361号公報
しかし、従来の積層型撮像素子を備えた電子機器において、複数のブロック単位ごとに撮像して画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分ではなかった。
本発明の態様では、撮像領域を異なる撮像条件が設定された複数の領域に分割し、複数の領域に対応する複数の動画を生成することを目的とする。
本発明の態様によれば、複数の画素と、複数の画素のうち、第1方向と第1方向と交差する第2方向とにおいてそれぞれ配置される複数の第1画素に接続され、第1画素を制御するための第1制御信号が出力される第1制御線と、複数の画素のうち、第1方向と第2方向とにおいてそれぞれ配置される複数の第2画素に接続され、第2画素を制御するための第2制御信号が出力される第2制御線と、を有する撮像素子と、第1画素から出力される第1信号に基づく第1画像データと、第2画素から出力される第2信号に基づく第2画像データと、を生成する生成部と、を備える電子機器が提供される。
本発明の第1態様によれば、撮像領域の第1領域と第1領域とは異なる第2領域とでそれぞれ異なる撮像条件で第1動画と第2動画との撮像を行う撮像素子と、第1領域と第2領域とで撮像した第1動画と第2動画とを生成する動画生成部とを有する電子機器が提供される。
本発明の第2態様によれば、撮像領域の第1領域と第1領域とは異なる第2領域とでそれぞれ第1動画と第2動画とを生成する撮像素子を有する電子機器が提供される。
本発明の第3態様によれば、撮像素子の撮像領域の第1領域と第1領域とは異なる第2領域との撮像条件を設定する設定部と、第1領域と第2領域とで撮像した第1動画と第2動画とを生成する動画生成部とを有する電子機器が提供される。
本発明の第4態様によれば、撮像素子を有する撮像部と、撮像素子の撮像領域を少なくとも第1領域と第2領域とに分割する分割部と、第1領域と第2領域とで異なる撮像条件を設定する撮像制御部と、第1領域の撮像による第1動画と、第2領域の撮像による第2動画とのそれぞれを生成する動画生成部と、を備える電子機器が提供される。
本発明の第5態様によれば、撮像部を有する電子機器の制御方法であって、撮像素子の撮像領域を少なくとも第1領域と第2領域とに分割することと、第1領域と第2領域とで異なる撮像条件を設定することと、第1領域の撮像による第1動画と、第2領域の撮像による第2動画とのそれぞれを生成することと、を含む電子機器の制御方法が提供される。
本発明の第6態様によれば、撮像部を有する電子機器の制御装置に、撮像素子の撮像領域を少なくとも第1領域と第2領域とに分割する分割処理と、第1領域と第2領域とで異なる撮像条件を設定する撮像制御処理と、第1領域の撮像による第1動画と、第2領域の撮像による第2動画とのそれぞれを生成する動画生成処理と、を実行させる制御プログラムが提供される。
本発明の態様によれば、異なる撮像条件が設定された複数の領域に対応する複数の動画を生成することができる。
積層型撮像素子の断面図である。 撮像チップの画素配列と単位グループを説明する図である。 撮像チップの単位グループに対応する回路図である。 撮像素子の機能的構成を示すブロック図である。 第1実施形態に係る電子機器の構成を示すブロック図である。 表示部における表示画面の一例を示す図である。 画像処理部及びシステム制御部の機能ブロック図である。 各ブロックにおける配列パターンを示す図である。 システム制御部が実行する撮影動作を説明するためのフローチャートである。 配列パターン設定処理を説明するためのフローチャートである。 第2動画モードが実行されるときの第2配列パターンの設定例を示す図である。 画像表示領域におけるライブビュー画像の表示例を示す図である。 画像表示領域における電子ズームの範囲及び位置を示す図である。 画像表示領域におけるサブ画面の範囲及び位置を示す図である。 第2動画モードの実行中の動作を説明するためのフローチャートである。 第2動画モードにおける電荷蓄積のタイミングを示すタイミングチャートである。 第2実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。
以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現している。
<第1実施形態>
図1は、積層型撮像素子の断面図である。なお、この積層型撮像素子100は、本願出願人が先に出願した特願2012−139026号に記載されているものである。撮像素子100は、入射光に対応した画素信号を出力する撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111、及びメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸及びX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード(Photodiode;以下、PDという。)104、及び、PD104に対応して設けられたトランジスタ105を有する。
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104、及びトランジスタ105の組が一つの画素を形成する。
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層108の表面には複数のバンプ109が配される。これら複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされる。そして、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
同様に、信号処理チップ111及びメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされる。そして、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域(図2に示す画素領域113A)以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
信号処理チップ111は、表面及び裏面にそれぞれ設けられた回路を互いに接続するTSV(Through-Silicon Via;シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられる。また、TSV110は、撮像チップ113の周辺領域や、メモリチップ112に設けられてもよい。
図2は、撮像チップの画素配列と単位グループを説明する図である。図2では、特に、撮像チップ113を裏面側から観察した様子を示す。撮像チップ113において画素が配列された領域を画素領域113Aという。画素領域113Aには2000万個以上もの画素がマトリックス状に配列されている。図2に示す例では、隣接する4画素×4画素の16画素が一つの単位グループ131を形成する。図2の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示す。単位グループ131を形成する画素の数はこれに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
画素領域113Aの部分拡大図に示すように、単位グループ131は、緑色画素Gb,Gr、青色画素B、及び赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素は、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
図3は、撮像チップの単位グループに対応する回路図である。図3において、代表的に点線で囲む矩形が、1画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図1のトランジスタ105に対応する。
上述したように、単位グループ131は、16画素から形成される。それぞれの画素に対応する16個のPD104は、それぞれ転送トランジスタ302に接続される。各転送トランジスタ302のゲートには、転送パルスが供給されるTX配線307に接続される。本実施形態において、TX配線307は、16個の転送トランジスタ302に対して共通接続される。
各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されるとともに、転送トランジスタ302のドレインと各リセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFD(電荷検出部)が増幅トランジスタ304のゲートに接続される。各リセットトランジスタ303のドレインは電源電圧が供給されるVdd配線310に接続される。各リセットトランジスタ303のゲートはリセットパルスが供給されるリセット配線306に接続される。本実施形態において、リセット配線306は、16個のリセットトランジスタ303に対して共通接続される。
各々の増幅トランジスタ304のドレインは電源電圧が供給されるVdd配線310に接続される。また、各々の増幅トランジスタ304のソースは、対応する各々の選択トランジスタ305のドレインに接続される。各々の選択トランジスタ305のゲートには、選択パルスが供給されるデコーダ配線308に接続される。本実施形態において、デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303に印加される。これと同時に、TX配線307を通じて転送パルスが転送トランジスタ302に印加される。これにより、PD104及びフローティングディフュージョンFDの電位はリセットされる。
PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、PD104において蓄積された電荷はフローティングディフュージョンFDへ転送される。これにより、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304及び選択トランジスタ305を介して出力配線309に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
図3に示すように、本実施形態においては、単位グループ131を形成する16画素に対して、リセット配線306とTX配線307が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、16画素すべてに対して同時に印加される。従って、単位グループ131を形成するすべての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305に選択パルスが順次印加されることにより、選択的に出力配線309に出力される。また、リセット配線306、TX配線307、出力配線309は、単位グループ131ごとに別個に設けられる。
このように単位グループ131を基準として回路を構成することにより、単位グループ131ごとに電荷蓄積時間を制御することができる。換言すると、単位グループ131間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ131に1回の電荷蓄積を行わせている間に、他方の単位グループ131に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ131間で異なるフレームレートで動画用の各フレームを出力することもできる。
図4は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位グループ131を形成する16個のPD104を順番に選択する。そして、マルチプレクサ411は、16個のPD104のそれぞれの画素信号を当該単位グループ131に対応して設けられた出力配線309へ出力させる。マルチプレクサ411は、PD104とともに、撮像チップ113に形成される。
マルチプレクサ411を介して出力されたアナログ信号の画素信号は、信号処理チップ111に形成されたアンプ412により増幅される。そして、アンプ412で増幅された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS;Correlated Double Sampling)・アナログ/デジタル(Analog/Digital)変換を行う信号処理回路413により、相関二重サンプリングの信号処理が行われるとともに、A/D変換(アナログ信号からデジタル信号への変換)が行われる。画素信号が信号処理回路413において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。A/D変換された画素信号は、デマルチプレクサ414に引き渡され、それぞれの画素に対応する画素メモリ415に格納される。デマルチプレクサ414及び画素メモリ415は、メモリチップ112に形成される。
演算回路416は、画素メモリ415に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路416は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図4では1つの単位グループ131の分の接続を示すが、実際にはこれらが単位グループ131ごとに存在して、並列で動作する。ただし、演算回路416は単位グループ131ごとに存在しなくてもよい。例えば、一つの演算回路416がそれぞれの単位グループ131に対応する画素メモリ415の値を順に参照しながらシーケンシャルに処理してもよい。
上記した通り、単位グループ131のそれぞれに対応して出力配線309が設けられている。撮像素子100は、撮像チップ113、信号処理チップ111、及びメモリチップ112を積層している。このため、これら出力配線309にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
次に、撮像素子100の画素領域113A(図2参照)に設定されるブロックについて説明する。本実施形態において、撮像素子100の画素領域113Aは、複数のブロックに分割される。複数のブロックは、1ブロックにつき単位グループ131を少なくとも1つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数などがあげられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
ここで、電荷の蓄積時間とは、PD104が電荷の蓄積を開始してから終了するまでの時間のことをいう。また、電荷の蓄積回数とは、単位時間あたりにPD104が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理(表示又は記録)されるフレーム数を表す値のことをいう。フレームレートの単位はfps(Frames Per Second)で表される。フレームレートが高くなる程、動画における被写体(すなわち撮像される対象物)の動きが滑らかになる。
また、ゲインとは、アンプ412の利得率(増幅率)のことをいう。このゲインを変更することにより、ISO感度を変更することができる。このISO感度は、ISOで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子100の感度を表現する場合もISO感度が用いられる。この場合、ISO感度は撮像素子100が光をとらえる能力を表す値となる。ゲインを上げるとISO感度も向上する。例えば、ゲインを倍にすると電気信号(画素信号)も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が0である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が0.5である場合は、その所定領域内の半分の画素から画素信号を読み出しが行われることを意味する。具体的には、単位グループ131がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の2画素ずつ(2行ずつ)交互に画素信号が読み出される画素と読み出されない画素とが設定される。なお、画素信号の読み出しの間引きが行われると画像の解像度が低下する。しかし、撮像素子100には2000万以上の画素が配置されているため、例えば間引き率0.5で間引きを行ったとしても、1000万以上の画素で画像を表示することができる。このため、使用者(撮影者)にとって解像度の低下は気にならないものと考えられる。
また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数(行数)をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数(列数)をいう。このような加算の処理は、例えば演算回路416において行われる。演算回路416が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路416が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
また、デジタル化のビット数とは、信号処理回路413がA/D変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
本実施形態において、蓄積条件とは、撮像素子100における電荷の蓄積に関する条件のことをいう。具体的には、蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは蓄積条件に含まれる。
また、撮像条件とは、被写体の撮像に関する条件をいう。具体的には、撮像条件は、上記した蓄積条件を含む制御パラメータのことをいう。撮像条件は、撮像素子100を制御するための制御パラメータ(例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン)のほかに、撮像素子100からの信号の読み出しを制御するための制御パラメータ(例えば、間引き率)、撮像素子100からの信号を処理するための制御パラメータ(例えば、画素信号を加算する加算行数又は加算列数、デジタル化のビット数、後述する画像処理部30が画像処理を実行するための制御パラメータ)も含まれる。
図5は、第1実施形態に係る電子機器の構成を示すブロック図である。図5に示す電子機器1は、例えば撮像機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成される。図5に示すように、電子機器1は、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、表示部50、操作部55、記録部60、及びシステム制御部70を備える。レンズ部10は、複数のレンズ群から構成された撮像光学系である。このレンズ部10は、被写体からの光束を撮像部20へ導く。このレンズ部10は、電子機器1と一体構成であってもよく、また電子機器1に対して着脱可能な交換式レンズであってもよい。また、このレンズ部10は、フォーカスレンズを内蔵していてもよく、またズームレンズを内蔵していてもよい。
撮像部20は、撮像素子100及び駆動部21を有している。駆動部21は、システム制御部70からの指示に従って、撮像素子100の駆動を制御する制御回路である。ここで、駆動部21は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ303及び転送トランジスタ302に印加するタイミング(又はタイミングの周期)を制御することにより、制御パラメータである電荷の蓄積時間又は蓄積回数を制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ303、転送トランジスタ302、及び選択トランジスタ305に印加するタイミング(又はタイミングの周期)を制御することにより、フレームレートを制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。
また、駆動部21は、アンプ412のゲイン(利得率、増幅率ともいう。)を制御することにより、撮像素子100のISO感度を制御する。また、駆動部21は、演算回路416に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部21は、信号処理回路413に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部21は、撮像素子100の画素領域(撮像領域)113Aにおけるブロックの設定を行う。このように、駆動部21は、撮像素子100に対して複数のブロックごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部70は、駆動部21に対するブロックの位置、形状、範囲などの指示を行う。
撮像素子100は、撮像素子100からの画素信号を画像処理部30へ引き渡す。画像処理部30は、ワークメモリ40をワークスペースとして、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、画像データを生成する。この画像処理部30は第1画像処理部30Aと第2画像処理部30Bとが設けられている。画像処理の負荷が高い場合は、第1画像処理部30A及び第2画像処理部30Bに対して、それぞれ処理が割り当てられる。そして、第1画像処理部30A及び第2画像処理部30Bは、それぞれ、割り当てられた処理を並列に実行する。
本実施形態においては、後述するように、システム制御部70(具体的には、図7に示す分割部71)は、撮像素子100の画素領域(撮像領域)113Aを少なくとも第1領域と第2領域とに分割する。また、システム制御部70(具体的には、図7に示す撮像制御部72)は、第1領域と第2領域とで異なる撮像条件によって撮像を行うように撮像素子100を駆動制御する。この場合、例えば、第1画像処理部30Aは、第1領域からの信号の画像処理を実行する。また、第2画像処理部30Bは、第2領域からの信号の画像処理を実行する。なお、撮像素子100の画素領域(撮像領域)113Aは、第1領域と第2領域との2つの領域に分割される場合に限らず、第1領域、第2領域、第3領域・・・というような複数の領域に分割され得る。そして、複数の領域についての画像処理は、適宜、第1画像処理部30Aと第2画像処理部30Bとに割り当てられる。画像処理の割り当ては、分割される領域の数や範囲などによって予め決められていてもよく、また、システム制御部70が分割される領域の数や範囲などに基づいて決定してもよい。
画像処理部30は、種々の画像処理を実行する。例えば、画像処理部30は、ベイヤー配列で得られた信号に対して色信号処理(色調補正)を行うことによりRGB画像信号を生成する。また、画像処理部30は、RGB画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部30は、必要に応じて、所定の圧縮形式(JPEG形式、MPEG形式等)で圧縮する処理を行う。画像処理部30は、生成した画像データを記録部60に出力する。また、画像処理部30は、生成した画像データを表示部50に出力する。
本実施形態では、画像処理部30は、上記した処理のほかに、画像データから主要被写体を検出する処理を行う。ここで、「主要被写体」とは、撮像される対象物である被写体のうち、使用者(撮影者)に注目される被写体又は使用者に注目されると推定される被写体のことをいう。主要被写体は、画像データ中に1つだけ存在する場合に限らず、複数存在する場合もある(例えば図11参照)。
画像処理部30が画像処理を行う際に参照されるパラメータも制御パラメータ(撮像条件)に含まれる。例えば、色信号処理(色調補正)、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子100から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部30は、ブロック単位ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。
画像処理部30は、撮像部20から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを抽出する。または、画像処理部30は、撮像部20から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを廃棄する。これにより、データ量を減らすことができるため、後段処理の負荷を軽減することができる。また、画像処理部30は、撮像部20から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する1又は複数のフレームを算出する。そして、画像処理部30は、算出した1又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。また、駆動部21が間引き率を制御するように構成しているが、このような構成に限られない。例えば、駆動部21はすべての画素から画素信号を読み出すが、画像処理部30又は演算回路416は読み出した画素信号のうち所定の画素信号を廃棄することにより、間引き率を制御するようにしてもよい。
ワークメモリ40は、画像処理部30による画像処理が行われる際に画像データなどを一時的に記憶する。表示部50は、例えば液晶表示パネルによって構成されている。この表示部50は、図5に示すように、表示パネル51及びタッチパネル52を有している。表示パネル51は、撮像部20で撮像された画像(静止画、動画、ライブビュー画像)や各種情報を表示する。タッチパネル52は、表示パネル51の表示画面上に形成されている。このタッチパネル52は、使用者が画像中の領域の選択などを行う際に、使用者が触れた位置を示す信号をシステム制御部70に出力する。また、タッチパネル52は、使用者が撮影モード、撮像条件、及び画面切替の設定を行う際に、使用者が触れた位置を示す信号をシステム制御部70に出力する。
操作部55は、使用者によって操作されるレリーズスイッチ、動画スイッチ、各種の操作スイッチなどである。この操作部55は、使用者による操作に応じた信号をシステム制御部70に出力する。なお、レリーズスイッチの半押し操作が行われることによって、AF(Automatic Focusing)やAE(Automatic Exposure)などの撮影準備が行われる。
記録部60は、メモリカードなどの2つの記憶媒体(第1記録媒体61及び第2記録媒体62)を装着可能な2つのカードスロットを有する。記録部60は、カードスロットに装着された記録媒体(第1記録媒体61及び第2記録媒体62)に画像処理部30において生成された画像データや各種データを記憶する。本実施形態においては、上述したように、第1画像処理部30Aと第2画像処理部30Bとは、それぞれ、第1領域からの信号に基づく画像処理と第2領域からの信号に基づく画像処理とを並列に実行する。この場合、第1記録媒体61は、レリーズスイッチや動画スイッチの操作に応じて、第1領域からの信号に基づく画像データを記憶する。また、第2記録媒体62は、レリーズスイッチや動画スイッチの操作に応じて、第2領域からの信号に基づく画像データを記憶する。また、記録部60は、内部メモリを有する。記録部60は、画像処理部30において生成された画像データや各種データを内部メモリに記録することも可能である。
システム制御部70は、電子機器1の全体の処理及び動作を制御する。このシステム制御部70はCPU(Central Processing Unit)70Aを有する。本実施形態において、システム制御部70は、撮像素子100(撮像チップ113)の撮像面(画素領域113A)を複数のブロックに分け、ブロック間において異なる電荷蓄積時間(又は電荷蓄積回数)、フレームレート、ゲインで画像を取得させる。このため、システム制御部70は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部21に対して指示する。また、システム制御部70は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部70は、各ブロック用の撮像条件(間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数)を駆動部21に対して指示する。また、画像処理部30は、ブロック間で異なる撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)で画像処理を実行する。このため、システム制御部70は、各ブロック用の撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)を画像処理部30に指示する。
また、システム制御部70は、画像処理部30において生成された画像データを記録部60に記録させる。また、システム制御部70は、画像処理部30において生成された画像データを表示部50に出力させることにより、表示部50に画像を表示させる。また、システム制御部70は、記録部60に記録されている画像データを読み出して表示部50に出力させることにより、表示部50に画像を表示させる。表示部50に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。ここで、ライブビュー画像は、画像処理部30で生成された画像データを表示部50に順次出力して表示部50に表示される画像である。ライブビュー画像は、撮像部20により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。
図6は、表示部における表示画面の一例を示す図である。図6に示すように、表示部50の表示パネル51は、画像表示領域510と操作ボタン表示領域520とが設けられている。画像表示領域510は、撮像部20で撮像された画像、すなわち、静止画、動画、及びライブビュー画像を表示する領域である。また、操作ボタン表示領域520は、使用者が撮像条件などを設定するためのメニューを表示する領域である。
操作ボタン表示領域520は、画像表示領域510の近傍に設けられている。操作ボタン表示領域520内には、使用者が撮影モード、撮像条件、及び表示画面を設定するためのメニュー(メニュー画像)が表示される。使用者が撮影モードを設定するためのメニューは、撮影モードのボタン521である。使用者が撮像条件を設定するためのメニューは、ISO感度のボタン522、及びフレームレートのボタン523である。使用者が画面の切替を設定するためのメニューは、画面切替のボタン524である。以下、撮影モードのボタン521、ISO感度のボタン522、フレームレートのボタン523、及び画面切替のボタン524のことを、それぞれ、単に、「撮影モード521」、「ISO感度522」、「フレームレート523」、及び「画面切替524」と記す。
撮影モード521は、使用者が撮影モードを設定(選択)する場合に押すボタンである。ISO感度522は、使用者がISO感度(すなわちゲイン)を設定する場合に押すボタンである。フレームレート523は、使用者が動画のフレームレートを設定する場合に押すボタンである。画面切替524は、使用者が電子ズーム(デジタルズーム)により一部領域の画像を表示画面全体に拡大表示させる場合(図13、図14参照)や、サブ画面に画像を表示させる場合(図14参照)に押すボタンである。
ここで、撮影モードとして、静止画を撮影する静止画モードと、動画を撮影する動画モードとが設けられている。また、動画モードとして、第1動画モードと、第2動画モードとが設けられている。静止画モードとは、分割部71が撮像素子100の画素領域(撮像領域)113Aを分割せずに、撮像素子100が画素領域113Aを1つの領域として被写体の静止画を撮影する撮影モードをいう。この静止画モードは、一般に行われている通常の静止画撮影モードである。
第1動画モードとは、分割部71が撮像素子100の画素領域(撮像領域)113Aを分割せずに、撮像素子100が画素領域113Aを1つの領域として被写体の動画を撮影する撮影モードをいう。この第1動画モードは、一般的に行われている通常の動画撮影モードである。第2動画モードとは、分割部71が画素領域113Aを少なくとも第1領域と第2領域を含む複数の領域に分割し、撮像素子100が複数の領域のそれぞれにおいて同一被写体の動画を撮影する撮影モードをいう。
タッチパネル52が画像表示領域510及び操作ボタン表示領域520上に設けられている。タッチパネル52において、タッチ領域510aが画像表示領域510上に形成されている。タッチ領域510aは、使用者により押された(タッチされた)ことを検出すると、押された位置を示す検出信号をシステム制御部70に出力する。
また、タッチ領域521aが撮影モード521上に重なるように形成されている。また、タッチ領域522aがISO感度522上に重なるように形成されている。また、タッチ領域523aがフレームレート523上に重なるように形成されている。また、タッチ領域524aが画面切替524上に重なるように形成されている。各タッチ領域521a〜524aは、使用者により押された(タッチされた)ことを検出すると、押された位置(いずれのタッチ領域であるか)を示す検出信号をシステム制御部70に出力する。
なお、使用者が撮影モード、撮像条件、及び表示画面の切替を選択する場合に、タッチパネル52の操作に代えて、操作部55の操作を行うようにしてもよい。
図7は、図5に示す画像処理部及びシステム制御部の機能ブロック図である。図7に示すように、第1画像処理部30Aは画像生成部(動画生成部)31A及び検出部32Aを含んでいる。画像生成部31Aは、撮像部20から出力される第1領域の各画素の画素信号からなるRAWデータに対して種々の画像処理を施して画像データを生成する。また、検出部32Aは、画像生成部31Aで生成した画像データから主要被写体を検出する。本実施形態において、検出部32Aは、画像生成部31Aが生成するライブビュー画像から時系列的に得られる複数の画像データを比較して、移動する被写体(移動被写体)を主要被写体として検出する。また、検出部32Aは、例えば特開2010−16621号公報(US2010/0002940号)に記載されているような顔検出機能を用いて主要被写体の検出を行う。また、検出部32Aは、顔検出に加えて、例えば特開2010−16621号公報(US2010/0002940号)に記載されているように、画像データに含まれる人体を主要被写体として検出する。
また、第2画像処理部30Bは画像生成部(動画生成部)31Bを含んでいる。画像生成部31Bは、撮像部20から出力される第2領域の各画素の画素信号からなるRAWデータに対して種々の画像処理を施して画像データを生成する。なお、第2画像処理部30Bは検出部を含んでいないが、検出部を含んでもよい。また、第1画像処理部30Aが検出部32Aを含まず、第2画像処理部30Bが検出部を含む構成でもよい。本実施形態において、画像生成部31Aと画像生成部31Bを総称して画像生成部31と記すことがある。
また、システム制御部70は、分割部71、撮像制御部72、記録制御部73、及び表示制御部74を含んでいる。分割部71は、撮像素子100の画素領域(撮像領域)113Aをブロック単位で複数の領域に分割する。この分割部71は、画素領域113Aの各ブロックにおける所定の配列パターンに基づいて画素領域113Aを複数の領域に分割する(図8(A)〜(D)参照)。撮像制御部72は、使用者による撮像条件を設定するためのメニュー(ISO感度522、フレームレート523)のタッチ操作に応じて、分割部71が分割した複数の領域において異なる撮像条件を設定する。また、撮像制御部72は、使用者によるレリーズスイッチや動画スイッチの操作に応じて撮像素子100の駆動制御を実行する。また、撮像制御部72は、ライブビュー画像の撮像時(すなわち、電源投入後の撮影動作の開始後)においても、撮像素子100の駆動制御を実行する。
記録制御部73は、画像生成部31により生成された複数の領域における動画データをそれぞれ記録部60に記録する制御を行う。例えば、記録制御部73は、画像生成部31Aにより生成された第1領域の画像データを第1記録媒体61に記録し、画像生成部31Bにより生成された第2領域の画像データを第2記録媒体62に記録する。表示制御部74は、画像生成部31によって生成された画像データを表示部50に出力させ、表示部50の画像表示領域510に画像(静止画、動画、ライブビュー画像)を表示させる制御を行う。また、表示制御部74は、使用者による画面切替524の操作に応じて、表示画面の切り替えを行う。例えば、表示制御部74は、使用者による画面切替524の操作に応じて、電子ズームにより一部領域の画像を表示画面全体に拡大表示させ、サブ画面に画像を表示させる。
なお、システム制御部70において、分割部71、撮像制御部72、記録制御部73、及び表示制御部74は、CPU70Aが制御プログラムに基づいて処理を実行することにより実現される。
次に、分割部71により設定される各ブロックにおける配列パターンについて説明する。図8は、各ブロックにおける配列パターンを示す図である。ここで、図8(A)は、各ブロックにおける第1配列パターンを示す。また、図8(B)は、各ブロックにおける第2配列パターンを示す。また、図8(C)は、各ブロックにおける第3配列パターンを示す。また、図8(D)は、各ブロックにおける第4配列パターンを示す。
図8(A)に示す第1配列パターンは、画素領域113Aが第1領域と第2領域とに2分割される配列パターンである。この第1配列パターンでは、画素領域113Aにおいて、第1領域が奇数の列(2m−1)のブロックで構成され、第2領域が偶数の列(2m)のブロックで構成されている。すなわち、画素領域113Aにおける各ブロックが奇数列と偶数列とに分割されている。mは正の整数(m=1,2,3,・・・)である。
図8(B)に示す第2配列パターンも、画素領域113Aが第1領域と第2領域とに2分割される配列パターンである。この第2配列パターンでは、画素領域113Aにおいて、第1領域が奇数の行(2n−1)のブロックで構成され、第2領域が偶数の行(2n)のブロックで構成されている。すなわち、画素領域113Aにおける各ブロックが奇数行と偶数行とに分割されている。nは正の整数(n=1,2,3,・・・)である。
図8(C)に示す第3配列パターンも、画素領域113Aが第1領域と第2領域とに2分割される配列パターンである。この第3配列パターンでは、画素領域113Aにおいて、奇数の列(2m−1)における奇数の行(2n−1)のブロックと、偶数の列(2m)における偶数の行(2n)のブロックとで第1領域が構成されている。また、偶数の列(2m)における奇数の行(2n−1)のブロックと、奇数の列(2m−1)における偶数の行(2n)のブロックとで第2領域が構成されている。すなわち、画素領域113Aにおける各ブロックが市松模様となるように分割されている。m及びnは正の整数(m=1,2,3,・・・、n=1,2,3,・・・)である。
図8(D)に示す第4配列パターンは、画素領域113Aが第1領域と第2領域と第3領域とに3分割される配列パターンである。この第4配列パターンでは、画素領域113Aにおいて、第1領域が3の倍数の列から2列前の列(3m−2)のブロックで構成され、第2領域が3の倍数の列から1列前の列(3m−1)のブロックで構成され、第3領域が3の倍数の列(3m)のブロックで構成されている。mは正の整数(m=1,2,3,・・・)である。
なお、図8において、領域ごとのブロックの配置を見えやすくするために、画素領域113Aにおいて少ない数のブロックを設定しているが、図8に示すブロックの数よりも多い数のブロックを設定するようにしてもよい。
次に、第1実施形態に係る撮影動作について説明する。図9は、システム制御部が実行する撮影動作を説明するためのフローチャートである。また、図10は、設定処理を説明するためのフローチャートである。図9に示す処理において、電子機器1に電源が投入されると、システム制御部70が撮影動作を開始する。また、図9において示していないが、撮影が開始されると、表示制御部73は、撮像部20で撮像されたライブビュー画像を表示パネル51の画像表示領域510に表示するとともに、表示パネル51の操作ボタン表示領域520に各種メニュー521〜524を表示する。このとき、ライブビュー画像は被写体の動きの滑らかな画像である必要がないため、撮像制御部72は、低いフレームレートで撮像するように撮像素子100を駆動制御する。
使用者は、撮影モード521をタッチ操作して撮影モードを選択する。分割部71は、使用者による撮影モード521のタッチ操作によって選択された撮影モードを確認する(ステップS1)。分割部71は、使用者により選択された撮影モードが静止画モードであるか否かを判定する(ステップS2)。分割部71は、撮影モードが静止画モードであると判定した場合は、撮影モードを静止画モードに設定する処理を行う(ステップS3)。その後、撮像制御部72は、使用者によりレリーズスイッチの操作(半押し操作に続く、全押し操作)が行われたか否かを判定する(ステップS4)。
撮像制御部72は、レリーズスイッチの操作が行われたと判定した場合は、静止画モードによる撮像を撮像部20に実行させる(ステップS5)。また、ステップS5において、記録制御部73は、撮像部20が撮像した静止画を記録部60(第1記録媒体61又は第1記録媒体61)に記録するように制御する。さらに、ステップS5において、表示制御部74は、撮像部20が撮像した静止画を表示パネル51の画像表示領域510に表示するように制御する。なお、静止画モードによる撮像については、通常の静止画撮影と同様であるため、詳しい説明を省略する。
また、分割部71は、ステップS2において撮影モードが静止画モードでないと判定した場合、すなわち、撮影モードが動画モードであると判定した場合は、動画モードが第1動画モードであるか否かを判定する(ステップS10)。分割部71は、動画モードが第1動画モードであると判定した場合は、撮影モードを第1動画モードに設定する処理を行う(ステップS11)。一方、分割部71は、動画モードが第1動画モードでないと判定した場合、すなわち、第2動画モードであると判定した場合は、撮影モードを第2動画モードに設定する処理を行う(ステップS12)。
ステップS11又はステップS12の処理において、分割部71は、図10に示す設定処理を実行する。図10に示す処理において、分割部71は、画像処理部30(第1画像処理部30A)に対して主要被写体の検出を指示する(ステップS21)。検出部32Aは、ライブビュー画像から時系列的に得られる複数の画像データを比較して、移動被写体と非移動被写体とを検出する。また、本実施形態では、検出部32Aは、画像データの中から目、口、肌の色などで顔を認識し、顔を主要被写体として検出する。さらに、本実施形態では、検出部32Aは、顔検出に加えて、画像データに含まれる人体(人物)を主要被写体として検出する。そして、検出部32Aは、検出結果を画像データとともにシステム制御部70に出力する。分割部71は、検出部32Aの検出結果に基づいて主要被写体の有無を確認する。そして、分割部71は、画素領域113Aにおいて主要被写体及び撮影モードに応じた領域を設定する(ステップS22)。
具体的には、分割部71は、撮影モードが第1動画モードであるときは、画素領域113Aを複数の領域に分割しない。すなわち、分割部71は、すべての画素領域113Aを1つの領域として設定する。このとき、分割部71は、駆動部21に対してすべての画素領域113Aを1つの領域として設定することを指示する指示信号を出力する。
一方、分割部71は、撮影モードが第2動画モードであるときは、図8(A)〜(D)のいずれかに示した配列パターンを選択する。そして、分割部71は、検出部32Aの検出結果に基づいて、主要被写体が移動被写体であるか否かを確認する。分割部71は、主要被写体が移動被写体でなく非移動被写体である場合は、図8(C)に示した第3配列パターンに従って第1領域と第2領域とを設定する。分割部71は、主要被写体が移動被写体である場合は、移動被写体の移動方向を確認する。移動被写体の移動方向が主に上下方向である場合は、分割部71は、図8(A)に示した第1配列パターンに従って第1領域と第2領域とを設定する。移動被写体の移動方向が主に左右方向である場合は、分割部71は、図8(B)に示した第2配列パターンに従って第1領域と第2領域とを設定する。さらに、移動被写体の上下方向の移動速度が速い場合は、分割部71は、図8(D)に示した第4配列パターンに従って第1領域と第2領域と第3領域とを設定する。なお、分割部71は、ステップS22において、駆動部21に対して各領域(第1領域及び第2領域、第1領域〜第3領域)のブロックの位置などを指示する指示信号を出力する。
図11は、第2動画モードが実行されるときの第2配列パターンの設定例を示す図である。なお、図11においては、ブロックの配置を見えやすくするために、各ブロックを大きくして表現している。しかし、実際には図11に示すブロックの大きさよりも小さなブロックが画素領域113Aに設定される。図11に示す例では、検出部32Aは、主要被写体(移動被写体)として、サッカーをしている人物O1,O2と、サッカーボールO3とを検出する。分割部71は、検出部32Aの検出結果に基づいて、主要被写体O1〜O3が移動被写体であり、移動被写体の移動方向が主に左右方向であると判定する。その結果、分割部71は、図8(B)に示した第2配列パターンに従って第1領域と第2領域とを設定する。このとき、分割部は、第1領域と第2領域とが主要被写体O1〜O3を含むように画素領域113Aの分割を行う。
図10の説明に戻り、撮像制御部72は、使用者によるISO感度522やフレームレート523のタッチ操作に応じて、ステップS22で設定した領域(図11に示す例では、第1領域及び第2領域)ごとの撮像条件を設定する(ステップS23)。具体的には、分割部71は、使用者によるISO感度522やフレームレート523のタッチ操作に応じた撮像条件(ゲイン、フレームレート)を指示する指示信号を駆動部21に出力する。
なお、撮像制御部72は、ゲインの変更に応じて、最適な露出になるようなフレームレートの値を自動的に設定するようにしてもよい。また、撮像制御部72は、フレームレートの変更に応じて、最適な露出になるようなゲインの値を自動的に設定するようにしてもよい。また、撮像制御部72は、ゲインやフレームレートの変更に応じて最適な映像補正を行うように、色信号処理、ホワイトバランス調整、階調調整、圧縮率などのパラメータ(撮像条件)を指示する指示信号を画像処理部30に出力してもよい。
ステップS23において、使用者により第1領域と第2領域とで異なるフレームレートの設定が行われた場合は、第1記録媒体61と第2記録媒体62とで、単位時間あたりに記録されるフレーム数が異なることになる。従って、第1記録媒体61と第2記録媒体62とが同じ記録容量である場合は、第1記録媒体61における第1動画の録画時間と第2記録媒体62における第2動画の録画時間も異なることになる。すなわち、第1領域のフレームレートが第2領域のフレームレートよりも高い場合は、第1記録媒体61における第1動画の録画時間が第2記録媒体62における第2動画の録画時間よりも短くなる。
その後、表示制御部74は、使用者による画面切替524のタッチ操作に応じて、表示画面の設定(切り替え)を行う(ステップS24)。図12は、画像表示領域におけるライブビュー画像の表示例を示す図である。また、図13は、画像表示領域における電子ズームの範囲及び位置を示す図である。また、図14は、画像表示領域におけるサブ画面の範囲及び位置を示す図である。
ステップS24において、使用者が画面切替524をタッチ操作していない状態では、図12に示すようなライブビュー画像(複数の人がサッカーをしている画像)が画像表示領域510に表示されている。具体的には、図12に示すライブビュー画像では、主要被写体として、複数の人物O1,O2,O4〜O7と、サッカーボールO3と、ゴールO8とが表示されている。
ステップS24において、使用者が画面切替524をタッチ操作して電子ズームを選択した場合は、表示制御部74は、検出部32Aの検出結果に基づいて、主要被写体O1〜O8を検出する。また、表示制御部74は、主要被写体O1〜O8から、人物の主要被写体O1,O2,O4〜O7を検出する。次に、表示制御部74は、図13に示すように、画像表示領域510のうち、人物の主要被写体O1,O2,O4〜O7が多数集まっている一部領域511を抽出する。そして、表示制御部74は、図14に示すように、抽出した一部領域511のライブビュー画像を画像表示領域510全面に拡大して表示させる制御を行う。このとき、撮像制御部72は、画像表示領域510のうち、一部領域511以外の領域(ライブビュー画像の表示が行われていない領域)については撮像を実行させないように駆動部21を制御する。これにより、電子ズームによるライブビュー画像の拡大表示が行われているときの消費電力を抑制することができる。
ステップS24において、使用者が画面切替524をタッチ操作してサブ画面(特定領域)512の表示を選択した場合は、表示制御部74は、第1領域又は第2領域におけるライブビュー画像を、図14に示すサブ画面512に表示させる制御を実行する。具体的には、表示制御部74は、画像表示領域510において第1領域のライブビュー画像が表示されているときは、第2領域のライブビュー画像がサブ画面512に表示されるように、画像処理部30に対して第1領域と第2領域のライブビュー画像の合成を指示する。また、表示制御部74は、画像表示領域510において第2領域のライブビュー画像が表示されているときは、第1領域のライブビュー画像がサブ画面512に表示されるように、画像処理部30に対して第1領域と第2領域のライブビュー画像の合成を指示する。そして、表示制御部74は、画像処理部30により合成されたライブビュー画像を表示部50に出力させて、そのライブビュー画像を画像表示領域510に表示させる。なお、図14に示す例では、サブ画面512は、画像表示領域510の右下の隅に設けられている。
図9の説明に戻り、撮像制御部72は、使用者により動画スイッチの操作が行われたか否かを判定する(ステップS13)。撮像制御部72は、動画スイッチの操作が行われたと判定した場合は、動画モード(第1動画モード又は第2動画モード)による撮像を撮像部20に実行させる(ステップS14)。なお、第1動画モードによる撮像については、通常の動画撮影と同様であるため、詳しい説明を省略する。
図15は、第2動画モードの実行中(ステップS14)の動作を説明するためのフローチャートである。図15に示す処理において、分割部71は、使用者によるブロック配列(すなわち領域)の設定操作が行われたか否かを判定する(ステップS31)。また、撮像制御部72は、使用者による撮像条件の設定操作が行われたか否かを判定する(ステップS31)。本実施形態においては、使用者は、動画撮影の開始前におけるブロック配列や撮像条件の設定(図10のステップS22,S23参照)のほかに、動画撮影の開始後におけるブロック配列や撮像条件の設定を行うことができる。
例えば、使用者が操作部55を操作して、表示パネル51に表示された図8(A)〜(D)のいずれかの配列パターンを選択することにより、ブロック配列の設定が行われる。また、例えば、図10のステップS23と同様に、使用者がISO感度522やフレームレート523をタッチ操作することにより、撮像条件(ゲインやフレームレート)の設定が行われる。
分割部71は、使用者によるブロック配列の設定操作が行われたと判定した場合は、ブロック配列の再設定を行う(ステップS32)。すなわち、撮像制御部72は、駆動部21に対して各領域(第1領域及び第2領域、第1領域〜第3領域)のブロックの位置などを指示する指示信号を出力する。また、撮像制御部72は、使用者による撮像条件の設定操作が行われたと判定した場合は、撮像条件の再設定を行う(ステップS32)。すなわち、撮像制御部72は、駆動部21に対して撮像条件(ゲインやフレームレート)を指示する指示信号を出力する。
次に、表示制御部74は、使用者により電子ズームを選択する操作(すなわち、画面切替524のタッチ操作)が行われたか否かを判定する(ステップS33)。表示制御部74は、電子ズームを選択する操作が行われたと判定した場合は、図10のステップS24で説明したように、一部領域511を画像表示領域510全面に拡大表示させる制御を行う(ステップS34)。また、表示制御部74は、使用者によりサブ画面512の表示を選択する操作(すなわち、画面切替524のタッチ操作)が行われたか否かを判定する(ステップS35)。表示制御部74は、サブ画面512の表示を選択する操作が行われたと判定した場合は、図10のステップS24で説明したように、画像表示領域510における右下の隅にサブ画面512を表示させる制御を行う(ステップS36)。
次に、撮像制御部72は、ステップS22又はステップS32で設定されたブロック配列、ステップS34で電子ズームにより拡大表示が行われている場合は電子ズームの範囲(すなわち一部領域511)、ステップS23又はステップS32で設定された撮像条件において被写体を撮像するように、撮像素子100を駆動制御する(ステップS37)。そして、記録制御部73は、撮像素子100で撮像され、画像処理部30で画像処理された動画の画像データを記録部60に記録する(ステップS38)。具体的には、記録制御部73は、第1領域における第1動画の画像データを第1記録媒体61に記録する。また、記録制御部73は、第2領域における第2動画の画像データを第2記録媒体62に記録する。
ステップS38において、記録制御部73は、第1領域における第1動画の画像データに対して第2領域の動画の画像データを補間するように、画像処理部30に指示信号を出力する。また、記録制御部73は、第2領域における第2動画の画像データに対して第1領域の動画の画像データを補間するように、画像処理部30に指示信号を出力する。画素領域(撮像領域)113Aが2つの領域(第1領域、第2領域)に分割されると、解像度が半分に低下してしまう。しかし、上記したような処理を行うことにより、領域を分割したことによって生じる欠陥画素の画像データが補間されるので、解像度が低下しないようにすることができる。
また、ステップS38において、表示制御部74が、第1領域の一部領域511の撮像による動画を電子ズームにより画像表示領域510に拡大表示している場合に(ステップS34)、記録制御部73は、第2領域における第2動画を第2記録媒体62に記録し、第1領域の一部領域511の撮像による動画を第1記録媒体61に記録する。このような構成によれば、画像表示領域510に拡大表示されている一部領域511の動画だけでなく、画像表示領域510に表示されていない動画も記録することができる。
また、ステップS38において、表示制御部74が、第1領域の一部領域511の撮像による動画と、第2動画とのいずれか一方の動画を画像表示領域510に表示するとともに、他方の動画をサブ画面512に表示している場合に(ステップS37)、記録制御部73は、一方の動画と他方の動画とを合成した動画(図14参照)を記録部60に記録する。このような構成によれば、異なる画角の動画(電子ズームの範囲の動画と画像表示領域510全面の動画)を1つの動画として記録することができる。このとき、画像処理部30は、一方の動画と他方の動画とのフレームレートが異なる場合は、同じフレームレートになるように、フレームの間引き又はフレームの追加を行う。これにより、画角の異なる動画を1つの動画として第1記録媒体61又は第2記録媒体62に記録することができる。
図16は、第2動画モード(ステップS37の撮像)における電荷蓄積のタイミングを示すタイミングチャートである。図16に示す第2動画モードにおいては、例えば第1領域と第2領域とが設定される。第2動画モードでは、撮像制御部72は、動画スイッチの操作が行われている間、第1領域に対して動画の撮像を実行するとともに、第2領域に対して動画の撮像を実行するように、駆動部21に対して指示信号を出力する。図16において、駆動部21は、動画スイッチの操作が行われている間、第1領域における各画素について電荷蓄積時間T1で動画を撮像させる。また、駆動部21は、動画スイッチの操作が行われている間、第2領域における各画素について電荷蓄積時間T1よりも長い電荷蓄積時間T2で動画を撮像させる。フレームレートは電荷の蓄積時間に応じて変化する。このため、電荷蓄積時間T1で撮像が実行される場合と電荷蓄積時間T2で撮像が実行される場合とで、それぞれ、動画のフレームレートが異なる。例えば、第1領域の電荷蓄積時間T1に対応するフレームレートは60fpsであり、第2領域の電荷蓄積時間T2に対応するフレームレートは30fpsである。電荷蓄積時間やフレームレートは、ステップS23又はステップS32の撮像条件の設定処理において設定される。
また、撮像素子100の第1領域から読み出された各画素の画素信号は、アンプ412において撮像制御部72から指示されたゲインで増幅された後、画像処理部30に出力される。画像生成部31Aは、撮像制御部72から出力された第1領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部31Aは、第1領域の各画素の画素信号からなるRAWデータに対して、パラメータに基づいて種々の画像処理を行うことにより第1領域の画像データを生成する。
また、撮像素子100の第2領域から読み出された各画素の画素信号は、アンプ412において撮像制御部72から指示されたゲインで増幅された後、画像処理部30に出力される。画像生成部31Bは、撮像制御部72から出力された第2領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部31Bは、第2領域の各画素の画素信号からなるRAWデータに対して、パラメータに基づいて種々の画像処理を行うことにより第2領域の画像データを生成する。
このように、第1領域のフレームレートが第2領域のフレームレートよりも高くしているので、第1動画における人物の主要被写体の動きが第2動画における人物の主要被写体の動きよりも滑らかになる。
以上に説明したように、第1実施形態では、撮像素子100を有する撮像部20と、撮像素子100の撮像領域113Aを少なくとも第1領域と第2領域とに分割する分割部71と、第1領域と第2領域とで異なる撮像条件を設定する撮像制御部72と、第1領域の撮像による第1動画と、第2領域の撮像による第2動画とのそれぞれを生成する動画生成部31と、を備える。このような構成によれば、異なる撮像条件が設定された複数の領域に対応する複数種類の動画を生成することができる。従って、被写体や撮影状況に応じた複数種類の動画を生成することができ、撮像素子100を備えた電子機器1の使い勝手が向上する。
また、動画生成部は、同一被写体に対して第1領域の撮像による第1動画と、第2領域の撮像による第2動画とのそれぞれを生成するので、同一被写体に対する複数種類の動画を生成することができる。また、分割部71は、第1領域の画素数と、第2領域の画素数とを同一にするので、すなわち、第1領域のブロックと第2領域のブロックとが画像表示領域510において均等に配置されているので、画像表示領域510において解像度のばらつきが生じてしまうことはない。分割部71は、第1領域を複数の離散的な領域(複数の離散的なブロック)から形成するので、動画において部分的に解像度が低下してしまうことがなくなる。また、分割部71は、第1領域と、第2領域とを可変に分割するので、被写体の種類などの様々な状況に応じた領域に分割することができる。
撮像制御部72は、撮像素子100の第1領域と第2領域との撮像条件として、少なくともフレームレートを異ならせるので、使用者は異なる撮像条件で撮像された複数種類の動画を取得することができる。また、動画生成部31は、第1画像と第2画像とに対してホワイトバランス、階調、色調補正のうち、少なくとも1つを異ならせた補正を行うので、使用者は異なるパラメータに基づいて画像処理された複数種類の動画を取得することができる。
また、動画生成部31は、第1動画に対して第2領域の動画を補間し、第2動画に対して第1領域の動画を補間する。このような構成によれば、撮像領域113Aを分割したことによって生じる欠陥画素の画像データが補間され、解像度が低下しない。また、動画生成部31により生成された第1動画と第2動画とをそれぞれ記録部60に記録する記録制御部73を備えるので、同時に生成された2種類の動画を記録することができる。
また、動画生成部31により生成された動画を表示部50に表示させる表示制御部74を備えるので、使用者は表示部50に表示された画像を確認することができる。また、表示制御部74は、第1領域の一部領域511の撮像による動画を表示部50に拡大表示し、記録制御部73は、第2動画と、一部領域511の撮像による動画とをそれぞれ記録部60に記録する。このような構成によれば、表示部50に拡大表示されている一部領域511の動画だけでなく、表示部50に表示されていない表示部50の全体領域(画像表示領域510全面)の動画も記録することができる。
また、表示制御部74は、第1領域の一部領域511の撮像による動画と、第2動画とのいずれか一方の動画を表示部50に表示するとともに、他方の動画を表示部50の特定領域(サブ画面512)に表示し、記録制御部73は、一方の動画と他方の動画とを合成した動画(図14参照)を記録部60に記録する。このような構成によれば、異なる画角の動画を1つの動画として記録することができる。
また、動画生成部31で生成した動画から主要被写体を検出する検出部32Aを備え、分割部71は、第1領域と第2領域とが主要被写体を含むように分割を行うので、主要被写体に対して第1領域の第1動画と第2領域の第2動画とを生成することができる。また、撮像素子100は、裏面照射型撮像チップと信号処理チップとが積層された構造であるので、撮像素子100を収容するための容積を小さくすることができる。また、システム制御部70からの指示に基づいて撮像素子100の駆動制御を行うことができ、システム制御部70の負担が軽減されるとともに、撮像素子100の電子機器1への搭載が容易となる。
なお、図5に示す第1実施形態に係る電子機器1において、表示部50は電子機器の外部に設けられる構成であってもよい。この場合、システム制御部70及び表示部50のそれぞれには、有線又は無線で信号(画像データや制御信号など)を送受信する通信部が設けられる。また、画像処理部30とシステム制御部70は一体で構成されてもよい。この場合、1つ又は複数のCPUを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部30の機能とシステム制御部70の機能を担う。また、画像処理部30は2つの画像処理部30A,30Bを備えていたが、1つの画像処理部だけを備えている構成でもよい。
<第2実施形態>
第2実施形態では、上記した第1実施形態における電子機器1を、撮像装置1Aと電子機器1Bとに分離した構成としている。
図17は、第3実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。図17に示す構成において、撮像装置1Aは、被写体の撮像を行う装置である。この撮像装置1Aは、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、操作部55、記録部60、及び第1システム制御部75を備える。なお、撮像装置1Aのうち、10、撮像部20、画像処理部30、ワークメモリ40、操作部55、及び記録部60の構成は、図5に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
また、電子機器1Bは、画像(静止画、動画、ライブビュー画像)の表示を行う装置である。この電子機器1Bは、表示部50及び第2システム制御部(制御部)70Bを備える。なお、電子機器1Bのうちの表示部50の構成は、図5に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
第1システム制御部75は、第1通信部75Aを有している。また、第2システム制御部76は、第2通信部76Bを有している。第1通信部75Aと第2通信部76Bとは、互いに有線又は無線で信号を送受信する。また、第1システム制御部75は、図7に示す構成のうち、例えば分割部71、撮像制御部72、及び記録制御部73に相当する構成を有している。また、第2システム制御部76は、図7に示す構成のうち、例えば表示制御部74に相当する構成のみ有している。
図7に示す構成(分割部71、撮像制御部72、記録制御部73、及び表示制御部74)は、第1システム制御部75と第2システム制御部76のいずれに設けられてもよい。図7に示すすべての構成は、第1システム制御部75又は第2システム制御部76に設けられてもよく、また図7に示す構成の一部が第1システム制御部75に設けられ、図7に示す構成の一部以外の構成が第2システム制御部76に設けられてもよい。
なお、撮像装置1Aは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器1Bは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。
図17に示す第1システム制御部75は、CPU(図示せず)が制御プログラムに基づいて処理を実行することにより実現される。また、図17に示す第2システム制御部76は、CPU(図示せず)が制御プログラムに基づいて処理を実行することにより実現される。
なお、図17に示す構成において、画像処理部30と第1システム制御部75とは一体で構成されてもよい。この場合、1つ又は複数のCPUを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部30の機能と第1システム制御部75の機能を担う。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
図8(A)〜(C)では、第1領域の面積と第2領域の面積とが同じ面積となるように各ブロックの配列パターンが設定されていた。すなわち、第1領域の画素数と第2領域の画素数とが同じ画素数となるように各ブロックの配列パターンが設定されていた。また、図8(D)では、第1領域の面積と第2領域の面積と第3領域の面積とが同じ面積となるように各ブロックの配列パターンが設定されていた。すなわち、第1領域の画素数と第2領域の画素数と第3領域の画素数とが同じ画素数となるように各ブロックの配列パターンが設定されていた。しかし、各領域の面積(画素数)が異なるように各ブロックの配列パターンが設定されてもよい。
また、上記した各実施形態において、カラーフィルタ102の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ131を形成する画素の数は、少なくとも1つの画素を含んでいればよい。また、ブロックも少なくとも1画素を含んでいればよい。従って、1画素ごとに異なる撮像条件で撮像を実行することも可能である。
また、上記した各実施形態において、駆動部21は、一部又はすべての構成が撮像チップ113に搭載されてもよいし、一部又はすべての構成が信号処理チップ111に搭載されてもよい。また、画像処理部30の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。また、システム制御部70の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。
また、上記した第1実施形態において、撮像条件として、ゲイン及びフレームレートが変更可能に構成されているが、これらの少なくとも1つを変更可能であればよい。また、撮像条件が使用者の操作によって設定される場合についてのみ説明したが、主要被写体などに応じて自動的に撮像条件が設定されるようにしてもよい。
また、上記した各実施形態において、ブロックの配列パターンとして、図8(A)〜(D)に例示したが、これらの配列パターンに限られない。また、上記した各実施形態では、ブロックの領域の大きさが予め設定されている場合について説明したが、使用者がブロックの領域の大きさを設定するように構成してもよい。
また、上記した第1実施形態において、分割部71は、ライブビュー画像に基づいて被写体を認識し、領域の設定を行っていた。しかし、分割部71は、レリーズスイッチ55aや動画スイッチ55cの半押し操作が行われたときに、そのときの画像に基づいて被写体を認識し、領域の設定を行いようにしてもよい。
1,1B…電子機器、1A…撮像装置、20…撮像部、30…画像処理部、31…画像生成部(動画生成部)、32A…検出部、50…表示部、51…表示パネル、52…タッチパネル、70…システム制御部、70A…第1システム制御部、70B…第2システム制御部、71…分割部、72…撮像制御部、73…記録制御部、74…表示制御部、100…撮像素子

Claims (39)

  1. 複数の画素と、複数の前記画素のうち、第1方向と前記第1方向と交差する第2方向とにおいてそれぞれ配置される複数の第1画素に接続され、前記第1画素を制御するための第1制御信号が出力される第1制御線と、複数の前記画素のうち、前記第1方向と前記第2方向とにおいてそれぞれ配置される複数の第2画素に接続され、前記第2画素を制御するための第2制御信号が出力される第2制御線と、を有する撮像素子と、
    前記第1画素から出力される第1信号に基づく第1画像データと、前記第2画素から出力される第2信号に基づく第2画像データと、を生成する生成部と、
    を備える電子機器。
  2. 前記撮像素子は、前記第1画素に接続され、前記第1信号が出力される第1信号線と、前記第2画素に接続され、前記第2信号が出力される第2信号線と、を有し、
    前記生成部は、前記第1信号線に出力された前記第1信号に基づく前記第1画像データと、前記第2信号線に出力された前記第2信号に基づく前記第2画像データと、を生成する請求項1に記載の電子機器。
  3. 前記第1画素は、光を電荷に変換する第1光電変換部と前記第1制御線に接続される第1回路部とを有し、
    前記第2画素は、光を電荷に変換する第2光電変換部と前記第2制御線に接続される第2回路部とを有する請求項1又は請求項2に記載の電子機器。
  4. 前記第1回路部は、前記第1制御線に接続され、前記第1制御信号に基づいて前記第1光電変換部から電荷を転送する第1転送部を有し、
    前記第2回路部は、前記第2制御線に接続され、前記第2制御信号に基づいて前記第2光電変換部から電荷を転送する第2転送部を有する請求項3に記載の電子機器。
  5. 前記第1回路部は、前記第1制御線に接続され、前記第1制御信号に基づいて、前記第1光電変換部からの電荷が転送される第1フローティングディフュージョンの電位をリセットする第1リセット部を有し、
    前記第2回路部は、前記第2制御線に接続され、前記第2制御信号に基づいて、前記第2光電変換部からの電荷が転送される第2フローティングディフュージョンの電位をリセットする第2リセット部を有する請求項3に記載の電子機器。
  6. 前記第2制御信号は、前記第1制御信号が前記第1制御線に出力されるタイミングとは異なるタイミングで前記第2制御線に出力される請求項1から請求項5のいずれか一項に記載の電子機器。
  7. 前記撮像素子は、複数の前記第1画素に接続され、前記第1画素を制御するための第3制御信号が出力される第3制御線と、複数の前記第2画素に接続され、前記第2画素を制御するための第4制御信号が出力される第4制御線と、を有する請求項1又は請求項2に記載の電子機器。
  8. 前記第1画素は、光を電荷に変換する第1光電変換部と、前記第1制御線及び前記第3制御線に接続される第1回路部と、を有し、
    前記第2画素は、光を電荷に変換する第2光電変換部と、前記第2制御線及び前記第4制御線に接続される第2回路部とを有する請求項7に記載の電子機器。
  9. 前記第1回路部は、前記第1制御線に接続され、前記第1制御信号に基づいて前記第1光電変換部から電荷を転送する第1転送部と、前記第3制御線に接続され、前記第3制御信号に基づいて、前記第1光電変換部からの電荷が転送される第1フローティングディフュージョンの電位をリセットする第1リセット部と、を有し、
    前記第2回路部は、前記第2制御線に接続され、前記第2制御信号に基づいて前記第2光電変換部から電荷を転送する第2転送部と、前記第4制御線に接続され、前記第4制御信号に基づいて、前記第2光電変換部からの電荷が転送される第2フローティングディフュージョンの電位をリセットする第2リセット部と、を有する請求項8に記載の電子機器。
  10. 前記第2制御信号は、前記第1制御信号が前記第1制御線に出力されるタイミングとは異なるタイミングで前記第2制御線に出力され、
    前記第4制御信号は、前記第3制御信号が前記第3制御線に出力されるタイミングとは異なるタイミングで前記第4制御線に出力される請求項7から請求項9のいずれか一項に記載の電子機器。
  11. 前記第1光電変換部は、前記撮像素子において光が入射される第1領域に配置され、
    前記第2光電変換部は、前記撮像素子において光が入射される第2領域に配置される請求項1から請求項10のいずれか一項に記載の電子機器。
  12. 前記撮像素子は、前記第1領域が前記第1方向において複数配置される請求項11に記載の電子機器。
  13. 前記撮像素子は、前記第2領域が前記第1方向において複数配置される請求項11又は請求項12に記載の電子機器。
  14. 前記撮像素子は、前記第2領域が、前記第1方向において配置される複数の前記第1領域の間に配置される請求項13に記載の電子機器。
  15. 前記撮像素子は、前記第1領域及び前記第2領域が前記第1方向において交互に配置される請求項14に記載の電子機器。
  16. 前記撮像素子は、前記第1領域が前記第2方向において複数配置される請求項11から請求項15のいずれか一項に記載の電子機器。
  17. 前記撮像素子は、前記第2領域が前記第2方向において複数配置される請求項16に記載の電子機器。
  18. 前記撮像素子は、前記第2領域が、前記第2方向において配置される複数の前記第1領域の間に配置される請求項16又は請求項17に記載の電子機器。
  19. 前記撮像素子は、前記第1領域及び前記第2領域が前記第2方向において交互に配置される請求項18に記載の電子機器。
  20. 前記第1画像データの画像と前記第2画像データの画像とを表示部に表示させる表示制御部を備える請求項1から請求項19のいずれか一項に記載の電子機器。
  21. 前記第1画像データと前記第2画像データとを記録部に記録させる記録制御部を備える請求項1から請求項20のいずれか一項に記載の電子機器。
  22. 前記第1画像データは、動画像データである請求項1から請求項21のいずれか一項に記載の電子機器。
  23. 前記第2画像データは、動画像データである請求項1から請求項22のいずれか一項に記載の電子機器。
  24. 前記撮像素子は、前記第1信号と前記第2信号とに信号処理を行う信号処理部を有し、
    前記生成部は、前記信号処理部により信号処理が行われた前記第1信号に基づく前記第1画像データと、前記信号処理部により信号処理が行われた前記第2信号に基づく前記第2画像データと、を生成する請求項1から請求項23のいずれか一項に記載の電子機器。
  25. 前記信号処理部は、前記第1信号と前記第2信号とを増幅する増幅部を有し、
    前記生成部は、前記増幅部により増幅された前記第1信号に基づく前記第1画像データと、前記増幅部により増幅された前記第2信号に基づく前記第2画像データと、を生成する請求項24に記載の電子機器。
  26. 前記信号処理部は、前記第1信号と前記第2信号とをデジタル信号に変換するために用いられる変換部を有し、
    前記生成部は、前記変換部を用いてデジタル信号に変換された前記第1信号に基づく前記第1画像データと、前記変換部を用いてデジタル信号に変換された前記第2信号に基づく前記第2画像データと、を生成する請求項24又は請求項25に記載の電子機器。
  27. 前記撮像素子は、前記第1光電変換部及び前記第2光電変換部が配置される第1半導体チップと、前記変換部の少なくとも一部に回路が配置される前記第1半導体チップとは異なる第2半導体チップと、を有する請求項26に記載の電子機器。
  28. 前記第1半導体チップは、前記第2半導体チップに積層される請求項27に記載の電子機器。
  29. 前記撮像素子は、前記変換部を用いてデジタル信号に変換された前記第1信号と、前記変換部を用いてデジタル信号に変換された前記第2信号と、を記憶する記憶部を有し、
    前記生成部は、前記記憶部に記憶された前記第1信号に基づく前記第1画像データと、前記記憶部に記憶された前記第2信号に基づく前記第2画像データと、を生成する請求項26に記載の電子機器。
  30. 前記撮像素子は、前記第1光電変換部及び前記第2光電変換部が配置される第1半導体チップと、前記変換部が配置される前記第1半導体チップとは異なる第2半導体チップと、前記記憶部が配置される前記第1半導体チップ及び前記第2半導体チップとは異なる第3半導体チップと、を有する請求項29に記載の電子機器。
  31. 前記第1半導体チップは、前記第3半導体チップに積層される請求項30に記載の電子機器。
  32. 前記信号処理部は、前記第1信号に信号処理を行う第1信号処理回路と、前記第2信号に信号処理を行う第2信号処理回路と、を有し、
    前記生成部は、前記第1信号処理回路により信号処理が行われた前記第1信号に基づく前記第1画像データと、前記第2信号処理回路により信号処理が行われた前記第2信号に基づく前記第2画像データと、を生成する請求項24に記載の電子機器。
  33. 前記第1信号処理回路は、前記第1信号を増幅する第1増幅回路を有し、
    前記第2信号処理回路は、前記第2信号を増幅する第2増幅回路を有し、
    前記生成部は、前記第1増幅回路で増幅された前記第1信号に基づく前記第1画像データと、前記第2増幅回路で増幅された前記第2信号に基づく前記第2画像データと、を生成する請求項32に記載の電子機器。
  34. 前記第1信号処理回路は、前記第1信号をデジタル信号に変換するために用いられる第1変換回路を有し、
    前記第2信号処理回路は、前記第2信号をデジタル信号に変換するために用いられる第2変換回路を有し、
    前記生成部は、前記第1変換回路を用いてデジタル信号に変換された前記第1信号に基づく前記第1画像データと、前記第2変換回路を用いてデジタル信号に変換された前記第2信号に基づく前記第2画像データと、を生成する請求項32又は請求項33に記載の電子機器。
  35. 前記撮像素子は、前記第1光電変換部及び前記第2光電変換部が配置される第1半導体チップと、前記第1変換回路の少なくとも一部の回路と前記第2変換回路の少なくとも一部の回路とが配置される前記第1半導体チップとは異なる第2半導体チップと、を有する請求項34に記載の電子機器。
  36. 前記第1半導体チップは、前記第2半導体チップに積層される請求項35に記載の電子機器。
  37. 前記撮像素子は、前記第1変換回路を用いてデジタル信号に変換された前記第1信号を記憶する第1記憶回路と、前記第2変換回路を用いてデジタル信号に変換された前記第2信号を記憶する第2記憶回路と、を有し、
    前記生成部は、前記第1記憶回路に記憶された前記第1信号に基づく前記第1画像データと、前記第2記憶回路に記憶された前記第2信号に基づく前記第2画像データと、を生成する請求項34に記載の電子機器。
  38. 前記撮像素子は、前記第1光電変換部及び前記第2光電変換部が配置される第1半導体チップと、前記第1変換回路の少なくとも一部の回路と前記第2変換回路の少なくとも一部の回路とが配置される前記第1半導体チップとは異なる第2半導体チップと、前記第1記憶回路及び前記第2記憶回路が配置される前記第1半導体チップ及び前記第2半導体チップとは異なる第3半導体チップと、を有する請求項37に記載の電子機器。
  39. 前記第1半導体チップは、前記第3半導体チップに積層される請求項38に記載の電子機器。
JP2018196396A 2013-08-12 2018-10-18 電子機器 Active JP7063788B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013167308 2013-08-12
JP2013167308 2013-08-12

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015531789A Division JPWO2015022900A1 (ja) 2013-08-12 2014-08-07 電子機器、電子機器の制御方法、及び制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020191181A Division JP7192843B2 (ja) 2013-08-12 2020-11-17 撮像素子及び電子機器

Publications (2)

Publication Number Publication Date
JP2019036988A true JP2019036988A (ja) 2019-03-07
JP7063788B2 JP7063788B2 (ja) 2022-05-09

Family

ID=52468286

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2015531789A Pending JPWO2015022900A1 (ja) 2013-08-12 2014-08-07 電子機器、電子機器の制御方法、及び制御プログラム
JP2018196396A Active JP7063788B2 (ja) 2013-08-12 2018-10-18 電子機器
JP2020191181A Active JP7192843B2 (ja) 2013-08-12 2020-11-17 撮像素子及び電子機器
JP2022196223A Pending JP2023024534A (ja) 2013-08-12 2022-12-08 撮像素子

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015531789A Pending JPWO2015022900A1 (ja) 2013-08-12 2014-08-07 電子機器、電子機器の制御方法、及び制御プログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020191181A Active JP7192843B2 (ja) 2013-08-12 2020-11-17 撮像素子及び電子機器
JP2022196223A Pending JP2023024534A (ja) 2013-08-12 2022-12-08 撮像素子

Country Status (5)

Country Link
US (5) US10321083B2 (ja)
EP (1) EP3035667A4 (ja)
JP (4) JPWO2015022900A1 (ja)
CN (2) CN110213508B (ja)
WO (1) WO2015022900A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10321083B2 (en) * 2013-08-12 2019-06-11 Nikon Corporation Electronic apparatus, method for controlling electronic apparatus, and control program
JP2015065270A (ja) * 2013-09-25 2015-04-09 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
JP6343163B2 (ja) * 2014-04-07 2018-06-13 キヤノン株式会社 集積回路装置
EP3358820B1 (en) * 2015-09-30 2021-06-09 Nikon Corporation Imaging device, image processing device and display device
JP6521085B2 (ja) * 2015-09-30 2019-05-29 株式会社ニコン 撮像装置、および制御装置
WO2017170725A1 (ja) * 2016-03-31 2017-10-05 株式会社ニコン 撮像装置、被写体検出装置、および電子機器
JPWO2017170719A1 (ja) * 2016-03-31 2019-02-28 株式会社ニコン 撮像装置、および電子機器
US10885610B2 (en) 2016-03-31 2021-01-05 Nikon Corporation Image device, image processing device, and electronic apparatus
CN109196855A (zh) * 2016-03-31 2019-01-11 株式会社尼康 摄像装置、图像处理装置及电子设备
JPWO2017170718A1 (ja) * 2016-03-31 2019-02-28 株式会社ニコン 撮像装置、被写体検出装置、および電子機器
JPWO2017170726A1 (ja) * 2016-03-31 2019-02-28 株式会社ニコン 撮像装置および電子機器
JP2017220892A (ja) * 2016-06-10 2017-12-14 オリンパス株式会社 画像処理装置及び画像処理方法
JP6808993B2 (ja) * 2016-06-17 2021-01-06 株式会社ニコン 撮像素子、電子機器、撮像方法、およびプログラム
JP6727998B2 (ja) * 2016-09-08 2020-07-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR102374013B1 (ko) * 2016-09-16 2022-03-11 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치 및 전자 기기
JP6838725B2 (ja) * 2016-10-20 2021-03-03 日立Astemo株式会社 カメラ装置
CN106791471B (zh) * 2016-12-29 2021-07-20 宇龙计算机通信科技(深圳)有限公司 图像优化方法、图像优化装置和终端
KR102499033B1 (ko) * 2018-01-31 2023-02-13 삼성전자주식회사 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치
JP7051565B2 (ja) * 2018-05-01 2022-04-11 キヤノン株式会社 撮像装置及びその制御方法、撮像システム
CN108711397A (zh) * 2018-08-13 2018-10-26 京东方科技集团股份有限公司 显示面板的光学调节方法、光学调节装置及显示装置
WO2020137662A1 (ja) * 2018-12-26 2020-07-02 富士フイルム株式会社 撮像装置、撮像装置の画像データ処理方法、及びプログラム
CN110740272B (zh) * 2019-10-31 2021-05-14 Oppo广东移动通信有限公司 图像采集方法、摄像头组件及移动终端
JP7324866B2 (ja) * 2019-12-19 2023-08-10 富士フイルム株式会社 撮像装置
JP7099560B2 (ja) * 2021-01-19 2022-07-12 株式会社ニコン 撮像素子及び撮像装置
WO2023186529A1 (en) * 2022-03-31 2023-10-05 Sony Group Corporation Sensor device and method for operating a sensor device
WO2024009750A1 (ja) * 2022-07-06 2024-01-11 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および撮像装置の作動方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228019A (ja) * 2006-02-21 2007-09-06 Olympus Corp 撮像装置
JP2012164870A (ja) * 2011-02-08 2012-08-30 Sony Corp 固体撮像装置とその製造方法、及び電子機器
JP2012175234A (ja) * 2011-02-18 2012-09-10 Sony Corp 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
WO2015022900A1 (ja) * 2013-08-12 2015-02-19 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09200617A (ja) 1996-01-12 1997-07-31 Nikon Corp 撮像装置
US7742088B2 (en) * 2002-11-19 2010-06-22 Fujifilm Corporation Image sensor and digital camera
JP2004282227A (ja) * 2003-03-13 2004-10-07 Seiko Epson Corp 光モジュール及びその製造方法並びに電子機器
KR100871688B1 (ko) * 2004-02-27 2008-12-08 삼성전자주식회사 고체 촬상 장치 및 그 구동 방법
JP4349232B2 (ja) 2004-07-30 2009-10-21 ソニー株式会社 半導体モジュール及びmos型固体撮像装置
WO2006091838A2 (en) * 2005-02-24 2006-08-31 Morphogeny, Llc Linked slideable and interlockable rotatable components
CN1993749B (zh) * 2005-07-20 2011-06-15 柯尼卡美能达精密光学株式会社 光拾取装置以及光信息记录介质的记录·再现装置
JP4984915B2 (ja) 2006-03-27 2012-07-25 セイコーエプソン株式会社 撮像装置、撮像システム及び撮像方法
CN101460917B (zh) * 2006-06-02 2011-09-28 三星电子株式会社 具有多分段背光的高动态对比度显示系统
JP4614925B2 (ja) * 2006-07-28 2011-01-19 三洋電機株式会社 画素情報読出方法および撮像装置
US7944482B2 (en) 2006-07-28 2011-05-17 Sanyo Electric Co., Ltd. Pixel information readout method and image pickup apparatus
KR101338353B1 (ko) * 2007-05-30 2013-12-06 삼성전자주식회사 영상 촬상 장치 및 방법
JP2010016621A (ja) 2008-07-03 2010-01-21 Sony Corp 画像データ処理装置と画像データ処理方法およびプログラムと記録媒体
US20100023173A1 (en) * 2008-07-24 2010-01-28 Wen Chen Wu Irrigation system and method
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
JP5398341B2 (ja) * 2009-05-11 2014-01-29 キヤノン株式会社 物体認識装置及び物体認識方法
US8848802B2 (en) * 2009-09-04 2014-09-30 Stmicroelectronics International N.V. System and method for object based parametric video coding
JP5012875B2 (ja) * 2009-11-10 2012-08-29 富士通株式会社 高速動画像撮影装置、高速動画像撮影方法
KR20110076729A (ko) * 2009-12-18 2011-07-06 삼성전자주식회사 전자 셔터를 이용한 다단계 노출 이미지 획득 방법 및 이를 이용한 촬영 장치
JP2011205374A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp 表示装置
JP5096645B1 (ja) * 2010-12-16 2012-12-12 パナソニック株式会社 画像生成装置、画像生成システム、方法、およびプログラム
JP5653207B2 (ja) 2010-12-27 2015-01-14 アルパイン株式会社 消費電力制御システム
US9928707B2 (en) * 2011-05-16 2018-03-27 Garrett Thermal Systems Limited Surveillance system
US8757274B2 (en) * 2011-07-01 2014-06-24 Halliburton Energy Services, Inc. Well tool actuator and isolation valve for use in drilling operations
JP2013016675A (ja) * 2011-07-05 2013-01-24 Sony Corp 固体撮像装置、電子機器、及び、固体撮像装置の製造方法
JP5791571B2 (ja) 2011-08-02 2015-10-07 キヤノン株式会社 撮像素子及び撮像装置
JP2013084744A (ja) * 2011-10-07 2013-05-09 Sony Corp 固体撮像素子および電子機器
JP5809936B2 (ja) * 2011-11-08 2015-11-11 オリンパス株式会社 撮像装置
CN102999918B (zh) * 2012-04-19 2015-04-22 浙江工业大学 全景视频序列图像的多目标对象跟踪系统
EP2846538B1 (en) 2012-05-02 2021-06-23 Nikon Corporation Imaging device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228019A (ja) * 2006-02-21 2007-09-06 Olympus Corp 撮像装置
JP2012164870A (ja) * 2011-02-08 2012-08-30 Sony Corp 固体撮像装置とその製造方法、及び電子機器
JP2012175234A (ja) * 2011-02-18 2012-09-10 Sony Corp 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
WO2015022900A1 (ja) * 2013-08-12 2015-02-19 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム

Also Published As

Publication number Publication date
CN110213508A (zh) 2019-09-06
US20230388674A1 (en) 2023-11-30
JP2023024534A (ja) 2023-02-16
US10805566B2 (en) 2020-10-13
US10321083B2 (en) 2019-06-11
US20220264048A1 (en) 2022-08-18
US20200366862A1 (en) 2020-11-19
JP7063788B2 (ja) 2022-05-09
JP7192843B2 (ja) 2022-12-20
US20190253655A1 (en) 2019-08-15
CN105474627B (zh) 2019-06-04
US11758303B2 (en) 2023-09-12
CN110213508B (zh) 2021-10-15
EP3035667A4 (en) 2017-03-22
JPWO2015022900A1 (ja) 2017-03-02
US11356629B2 (en) 2022-06-07
JP2021036719A (ja) 2021-03-04
EP3035667A1 (en) 2016-06-22
CN105474627A (zh) 2016-04-06
WO2015022900A1 (ja) 2015-02-19
US20160198115A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
JP7192843B2 (ja) 撮像素子及び電子機器
JP6372488B2 (ja) 電子機器
JP6075393B2 (ja) 電子機器及び制御プログラム
JP6375607B2 (ja) 電子機器、電子機器の制御方法、及び制御プログラム
JP6561428B2 (ja) 電子機器、制御方法、及び制御プログラム
JP2014165855A (ja) 電子機器
JP6409883B2 (ja) 電子機器及び制御プログラム
JP7176591B2 (ja) 電子機器
JP6885374B2 (ja) 電子機器
JP2020171054A (ja) 電子機器
JP2018148590A (ja) 電子機器、及び撮像素子
JP2019092219A (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200515

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200818

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201117

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210817

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211213

C126 Written invitation by the chief administrative judge to file intermediate amendments

Free format text: JAPANESE INTERMEDIATE CODE: C126

Effective date: 20220111

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220308

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220419

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220421

R150 Certificate of patent or registration of utility model

Ref document number: 7063788

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150