JP2019106731A - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
JP2019106731A
JP2019106731A JP2019057995A JP2019057995A JP2019106731A JP 2019106731 A JP2019106731 A JP 2019106731A JP 2019057995 A JP2019057995 A JP 2019057995A JP 2019057995 A JP2019057995 A JP 2019057995A JP 2019106731 A JP2019106731 A JP 2019106731A
Authority
JP
Japan
Prior art keywords
imaging
image
unit
area
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019057995A
Other languages
English (en)
Other versions
JP6822507B2 (ja
Inventor
岳志 西
Takashi Nishi
岳志 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2019057995A priority Critical patent/JP6822507B2/ja
Publication of JP2019106731A publication Critical patent/JP2019106731A/ja
Application granted granted Critical
Publication of JP6822507B2 publication Critical patent/JP6822507B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】異なる撮像条件で撮像された複数の画像を表示部に表示させることにより、撮像条件の変更に対応する画像の変化を確認する。【解決手段】第1撮像条件で撮像を行う第1撮像素子(撮像素子100の一部の撮像素子)と第1撮像条件とは異なる第2撮像条件で撮像を行う第2撮像素子(撮像素子100の一部の撮像素子とは異なる撮像素子)とが複数配列され、第1撮像素子に入射した被写体像に応じて生成された第1画像データと第2撮像素子に入射した被写体像に応じて生成された第2画像データとを出力する撮像部20と、第1画像データにより示される第1画像と第2画像データにより示される第2画像とを表示部50に表示して第1画像データ及び第2画像データの記録態様を選択可能なように提示する制御部71とを備える。【選択図】図7

Description

本発明は、電子機器に関する。
裏面照射型撮像チップと信号処理チップとが積層された撮像素子(以下、この撮像素子を積層型撮像素子という。)を備えた電子機器が提案されている(例えば特許文献1参照)。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、複数画素をまとめたブロック単位ごとにマイクロバンプを介して接続されるように積層されている。
特開2006−49361号公報
しかし、従来の積層型撮像素子を備えた電子機器において、複数のブロック単位ごとに撮像して画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分ではなかった。
本発明の態様では、異なる撮像条件で撮像された複数の画像を表示部に表示させることにより、撮像条件の変更に対応する画像の変化を確認することを目的とする。
本発明の態様によれば、被写体を撮像する領域であって、光電変換された電荷により信号を生成する画素と信号を出力するための信号線とを含む撮像領域が第1方向と第1方向と交差する第2方向とに複数配置された撮像素子と、撮像領域の撮像条件を設定する設定部と、複数の撮像領域のうち、設定部により第1撮像条件が設定された第1撮像領域で撮像された被写体の第1画像と、設定部により第1撮像条件とは異なる第2撮像条件が設定された第2撮像領域で撮像された被写体の第2画像と、を表示部に表示させる制御部と、を備える電子機器が提供される。
本発明の第1態様によれば、第1撮像条件で撮像を行う第1撮像素子と第1撮像条件とは異なる第2撮像条件で撮像を行う第2撮像素子とが複数配列され、第1撮像素子に入射した被写体像に応じて生成された第1画像データと第2撮像素子に入射した被写体像に応じて生成された第2画像データとを出力する撮像部と、第1画像データにより示される第1画像と第2画像データにより示される第2画像とを表示部に表示して第1画像データ及び第2画像データの記録態様を選択可能なように提示する制御部と、を備える電子機器が提供される。
本発明の第2態様によれば、第1撮像条件で撮像を行う第1撮像素子と第1撮像条件とは異なる第2撮像条件で撮像を行う第2撮像素子とが複数配列され、第1撮像素子に入射した被写体像に応じて生成された第1画像データと第2撮像素子に入射した被写体像に応じて生成された第2画像データとを出力する撮像部を有する電子機器の制御方法であって、第1画像データにより示される第1画像と第2画像データにより示される第2画像とを表示部に表示して第1画像データ及び第2画像データの記録態様を選択可能なように提示することを含む電子機器の制御方法が提供される。
本発明の第3態様によれば、第1撮像条件で撮像を行う第1撮像素子と第1撮像条件とは異なる第2撮像条件で撮像を行う第2撮像素子とが複数配列され、第1撮像素子に入射した被写体像に応じて生成された第1画像データと第2撮像素子に入射した被写体像に応じて生成された第2画像データとを出力する撮像部を有する電子機器の制御装置に、第1画像データにより示される第1画像と第2画像データにより示される第2画像とを表示部に表示して第1画像データ及び第2画像データの記録態様を選択可能なように提示する処理を実行させる制御プログラムが提供される。
本発明の態様によれば、異なる撮像条件で撮像された複数の画像を表示部に表示させることにより、撮像条件の変更に対応する画像の変化を確認することができる。
本実施形態の撮像素子の断面図である。 撮像チップの画素配列と単位グループを説明する図である。 撮像チップの単位グループに対応する回路図である。 撮像素子の機能的構成を示すブロック図である。 各ブロックにおける配列パターンを示す図である。 電子機器の一例であるデジタルカメラの概略構成を示す横断面図である。 第1実施形態に係るデジタルカメラの構成を示すブロック図である。 第1実施形態のデジタルカメラに係る表示部を示す図である。 第1実施形態のシステム制御部が実行する撮影動作を説明するためのフローチャートである。 第1実施形態における表示面の表示例を示す図である。 第1実施形態における表示面の表示例を示す図である。 第1実施形態における表示面の表示例を示す図である。 第1実施形態における表示面の表示例を示す図である。 第2実施形態のデジタルカメラに係る表示部を示す図である。 第2実施形態のシステム制御部が実行する撮影動作を説明するためのフローチャートである。 第2実施形態における表示面の表示例を示す図である。 第2実施形態における表示面の表示例を示す図である。 第3実施形態のデジタルカメラに係る画像処理部及びシステム制御部の機能ブロック図である。 第3実施形態における第1表示部及び第2表示部に画像を表示する場合の表示例を示す図である。 第4実施形態における表示面の表示例を示す図である。 第5実施形態における電子ズームを行った場合の表示面51Dの表示例を示す図である。 第6実施形態における表示面の表示例を示す図である。 第7実施形態における表示面の表示例を示す図である。 第8実施形態におけるストロボの発光タイミングと電荷蓄積のタイミングとを示すタイミングチャートである。 第9実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。
以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現する場合がある。なお、以下の各実施形態では、電子機器の例としてレンズ交換式のデジタルカメラを例に挙げて説明する。
<第1実施形態>
図1は、本実施形態の撮像素子100の断面図である。撮像素子100は、本願出願人が先に出願した特願2012−139026号に記載されているものである。撮像素子100は、入射光に対応した画素信号を出力する撮像チップ113と撮像チップ113から出力された画素信号を処理する信号処理チップ111と信号処理チップ111で処理された画素信号を記憶するメモリチップ112とを備える。撮像チップ113、信号処理チップ111及びメモリチップ112は積層されており、撮像チップ113及び信号処理チップ111は、Cu等の導電性を有するバンプ109により互いに電気的に接続される。また、信号処理チップ111及びメモリチップ112は、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
図示した座標軸で示すように、入射光は主にZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸で示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸及びX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード(Photodiode;以下、PDという。)104、及び、PD104に対応して設けられたトランジスタ105を有する。
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104、及びトランジスタ105の組が一つの画素を形成する。
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層108の表面には複数のバンプ109が配される。これら複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされる。そして、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
同様に、信号処理チップ111及びメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされる。そして、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域(図2に示す画素領域113A)以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
信号処理チップ111は、表面及び裏面にそれぞれ設けられた回路を互いに接続するTSV(Through-Silicon Via;シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられる。また、TSV110は、撮像チップ113の周辺領域や、メモリチップ112に設けられてもよい。
図2は、撮像チップ113の画素配列と単位グループを説明する図である。図2では、特に、撮像チップ113を裏面側から観察した様子を示す。撮像チップ113において画素が配列された領域を画素領域(撮像領域)113Aという。画素領域113Aには2000万個以上もの画素がマトリックス状に配列されている。図2に示す例では、隣接する4画素×4画素の16画素が一つの単位グループ131を形成する。図2の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示す。単位グループ131を形成する画素の数はこれに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
画素領域113Aの部分拡大図に示すように、単位グループ131は、緑色画素Gb,Gr、青色画素B、及び赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素は、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
図3は、撮像チップ113の単位グループに対応する回路図である。図3において、代表的に点線で囲む矩形が、1画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図1のトランジスタ105に対応する。
上述したように、単位グループ131は、16画素から形成される。それぞれの画素に対応する16個のPD104は、それぞれ転送トランジスタ302に接続される。各転送トランジスタ302のゲートには、転送パルスが供給されるTX配線307に接続される。本実施形態において、TX配線307は、16個の転送トランジスタ302に対して共通接続される。
各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されるとともに、転送トランジスタ302のドレインと各リセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFD(電荷検出部)が増幅トランジスタ304のゲートに接続される。各リセットトランジスタ303のドレインは電源電圧が供給されるVdd配線310に接続される。各リセットトランジスタ303のゲートはリセットパルスが供給されるリセット配線306に接続される。本実施形態において、リセット配線306は、16個のリセットトランジスタ303に対して共通接続される。
各々の増幅トランジスタ304のドレインは電源電圧が供給されるVdd配線310に接続される。また、各々の増幅トランジスタ304のソースは、対応する各々の選択トランジスタ305のドレインに接続される。各々の選択トランジスタ305のゲートには、選択パルスが供給されるデコーダ配線308に接続される。本実施形態において、デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303に印加される。これと同時に、TX配線307を通じて転送パルスが転送トランジスタ302に印加される。これにより、PD104及びフローティングディフュージョンFDの電位はリセットされる。
PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、PD104において蓄積された電荷はフローティングディフュージョンFDへ転送される。これにより、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304及び選択トランジスタ305を介して出力配線309に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
図3に示すように、本実施形態においては、単位グループ131を形成する16画素に対して、リセット配線306とTX配線307が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、16画素すべてに対して同時に印加される。従って、単位グループ131を形成するすべての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305に選択パルスが順次印加されることにより、選択的に出力配線309に出力される。また、リセット配線306、TX配線307、出力配線309は、単位グループ131毎に別個に設けられる。
このように単位グループ131を基準として回路を構成することにより、単位グループ131ごとに電荷蓄積時間を制御することができる。換言すると、単位グループ131間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ131に1回の電荷蓄積を行わせている間に、他方の単位グループ131に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ131間で異なるフレームレートで動画用の各フレームを出力することもできる。
図4は、撮像素子100の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位グループ131を形成する16個のPD104を順番に選択する。そして、マルチプレクサ411は、16個のPD104のそれぞれの画素信号を当該単位グループ131に対応して設けられた出力配線309へ出力させる。マルチプレクサ411は、PD104とともに、撮像チップ113に形成される。
マルチプレクサ411を介して出力されたアナログ信号の画素信号は、信号処理チップ111に形成されたアンプ412により増幅される。そして、アンプ412で増幅された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS;Correlated Double Sampling)・アナログ/デジタル(Analog/Digital)変換を行う信号処理回路413により、相関二重サンプリングの信号処理が行われるとともに、A/D変換(アナログ信号からデジタル信号への変換)が行われる。画素信号が信号処理回路413において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。A/D変換された画素信号は、デマルチプレクサ414に引き渡され、それぞれの画素に対応する画素メモリ415に格納される。デマルチプレクサ414及び画素メモリ415は、メモリチップ112に形成される。
演算回路416は、画素メモリ415に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路416は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図4では1つの単位グループ131の分の接続を示すが、実際にはこれらが単位グループ131ごとに存在して、並列で動作する。ただし、演算回路416は単位グループ131ごとに存在しなくてもよい。例えば、一つの演算回路416がそれぞれの単位グループ131に対応する画素メモリ415の値を順に参照しながらシーケンシャルに処理してもよい。
上記した通り、単位グループ131のそれぞれに対応して出力配線309が設けられている。撮像素子100は、撮像チップ113、信号処理チップ111、及びメモリチップ112を積層している。このため、これら出力配線309にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
次に、撮像素子100の画素領域113A(図2参照)に設定されるブロックについて説明する。本実施形態において、撮像素子100の画素領域113Aは、複数のブロックに分割される。複数のブロックは、1ブロックにつき単位グループ131を少なくとも1つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率(画素間引き率)、画素信号を加算する加算行数又は加算列数(画素加算数)、デジタル化のビット数などがあげられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
ここで、電荷の蓄積時間とは、PD104が電荷の蓄積を開始してから終了するまでの時間のことをいう。この電荷蓄積時間のことを露光時間又はシャッター速度(シャッタースピード)ともいう。また、電荷の蓄積回数とは、単位時間あたりにPD104が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理(表示又は記録)されるフレーム数を表す値のことをいう。フレームレートの単位はfps(Frames Per Second)で表される。フレームレートが高くなる程、動画における被写体(すなわち撮像される対象物)の動きが滑らかになる。
また、ゲインとは、アンプ412の利得率(増幅率)のことをいう。このゲインを変更することにより、ISO感度を変更することができる。このISO感度は、ISOで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子100の感度を表現する場合もISO感度が用いられる。この場合、ISO感度は撮像素子100が光をとらえる能力を表す値となる。ゲインを上げるとISO感度も向上する。例えば、ゲインを倍にすると電気信号(画素信号)も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が0である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が0.5である場合は、その所定領域内の半分の画素から画素信号を読み出しが行われることを意味する。具体的には、単位グループ131がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の2画素ずつ(2行ずつ)交互に画素信号が読み出される画素と読み出されない画素とが設定される。なお、画素信号の読み出しの間引きが行われると画像の解像度が低下する。しかし、撮像素子100には2000万以上の画素が配置されているため、例えば間引き率0.5で間引きを行ったとしても、1000万以上の画素で画像を表示することができる。このため、使用者(撮影者)にとって解像度の低下は気にならないものと考えられる。
また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数(行数)をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数(列数)をいう。このような加算の処理は、例えば演算回路416において行われる。演算回路416が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路416が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
また、デジタル化のビット数とは、信号処理回路413がA/D変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
本実施形態において、蓄積条件とは、撮像素子100における電荷の蓄積に関する条件のことをいう。具体的には、蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは蓄積条件に含まれる。
また、本実施形態において、撮像条件とは、被写体の撮像に関する条件のことをいう。具体的には、撮像条件は、上記した蓄積条件を含む制御パラメータのことをいう。撮像条件は、撮像素子100を制御するための制御パラメータ(例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン)のほかに、撮像素子100からの信号の読み出しを制御するための制御パラメータ(例えば、間引き率、画素信号を加算する加算行数又は加算列数)、撮像素子100からの信号を処理するための制御パラメータ(例えば、デジタル化のビット数、後述する画像処理部30が画像処理を実行するための制御パラメータ)も含まれる。
図5は、各ブロックにおける配列パターンを示す図である。図5に示す配列パターンは、画素領域113Aが4つの撮像領域(第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域)に分割される配列パターンである。この配列パターンでは、画素領域113Aにおいて、4の倍数の列から3列前の列(4m−3)における奇数の行(2n−1)のブロックと、4の倍数の列から1列前の列(4m−1)における偶数の行(2n)のブロックとで第1撮像領域が構成されている。また、画素領域113Aにおいて、4の倍数の列から2列前の列(4m−2)における奇数の行(2n−1)のブロックと、4の倍数の列(4m)における偶数の行(2n)のブロックとで第2撮像領域が構成されている。また、画素領域113Aにおいて、4の倍数の列から1列前の列(4m−1)における奇数の行(2n−1)のブロックと、4の倍数の列から3列前の列(4m−3)における偶数の行(2n)のブロックとで第3撮像領域が構成されている。また、画素領域113Aにおいて、4の倍数の列(4m)における奇数の行(2n−1)のブロックと、4の倍数の列から2列前の列(4m−2)における偶数の行(2n)のブロックとで第4撮像領域が構成されている。m及びnは正の整数(m=1,2,3,・・・、n=1,2,3,・・・)である。
なお、図5において、撮像領域ごとのブロックの配置を見えやすくするために、画素領域113Aにおいて少ない数のブロックを設定しているが、図5に示すブロックの数よりも多い数のブロックを画素領域113Aに設定するようにしてもよい。
このような配列パターンの場合、第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域は、画素領域(撮像領域)113Aにおいてそれぞれ均等に配置されている。また、第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域は、それぞれ同じ面積となっている。ただし、第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域は、画素領域113Aにおいてそれぞれ全面的に配置されていればよく、画素領域113Aにおいてそれぞれ均等に配置されていなくてもよい。また、第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域は、それぞれ同じ面積でなくてもよい。
図5に示すような配列パターンの場合、第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域はそれぞれ異なる位置に配置されているため(つまり各撮像領域の位置がずれているため)、第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域にはそれぞれ異なる被写体像が入射される。従って、第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域のそれぞれにおいて生成された画像データにより示される画像は、異なる被写体像である。しかし、第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域は、画素領域113Aにおいてそれぞれ全面的に配置されている。このため、第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域のそれぞれにおいて生成された画像データにより示される画像は、使用者にとっては同一の被写体像のように見える。
本実施形態では、第1撮像領域の各画素に設けられる各撮像素子(光電変換素子及びそれに付随する回路)を第1撮像素子といい、第2撮像領域の各画素に設けられる各撮像素子を第2撮像素子といい、第3撮像領域の各画素に設けられる各撮像素子を第3撮像素子といい、第4撮像領域の各画素に設けられる各撮像素子を第4撮像素子という。すなわち、撮像素子100は、複数の第1撮像素子、複数の第2撮像素子、複数の第3撮像素子及び複数の第4撮像素子に分けられる。
また、本実施形態では、第1撮像素子、第2撮像素子、第3撮像素子及び第4撮像素子は、それぞれ異なる撮像条件で撮像する。第1撮像素子の撮像条件を第1撮像条件といい、第2撮像素子の撮像条件を第2撮像条件といい、第3撮像素子の撮像条件を第3撮像条件といい、第4撮像素子の撮像条件を第4撮像条件という。
図6は、電子機器の一例であるデジタルカメラ1の概略構成を示す横断面図である。本実施形態のデジタルカメラ1は、レンズ部10及びカメラボディ2を備えている。レンズ部10は、交換式レンズである。カメラボディ2には、レンズ部10を装着するためのボディ側マウント部80Aが設けられている。また、レンズ部10には、ボディ側マウント部80Aと対応するレンズ側マウント部80Bが設けられている。使用者がボディ側マウント部80Aとレンズ側マウント部80Bとを接合することにより、レンズ部10がカメラボディ2に装着される。レンズ部10がカメラボディ2に装着されると、ボディ側マウント部80Aに設けられた電気接点81Aと、レンズ側マウント部80Bに設けられた電気接点81Bとが電気的に接続される。
レンズ部10は、撮影光学系11、絞り14、及びレンズ駆動制御装置15を備えている。撮像光学系11には、レンズ11a、ズーミング用レンズ11b及びフォーカシング用レンズ11cが含まれる。レンズ駆動制御装置15は、レンズ側CPU(Central Processing Unit)、メモリ及び駆動制御回路を有している。レンズ駆動制御装置15は、電気接点81A,81Bを介してカメラボディ2側のシステム制御部70と電気的に接続されてレンズ部10に備えられた撮影光学系11の光学特性に関するレンズ情報の送信とズーミング用レンズ11b、フォーカシング用レンズ11c及び絞り14を駆動するための制御情報の受信とを行う。
レンズ駆動制御装置15のレンズ側CPUは、撮影光学系11の焦点調節を行うためにシステム制御部70から送信される制御情報に基づいて駆動制御回路にフォーカシング用レンズ11cの駆動制御を実行させる。レンズ駆動制御装置15のレンズ側CPUは、ズーミング調節を行うためにシステム制御部70から送信される制御情報に基づいてズーミング用レンズ11bの駆動制御を駆動制御回路に実行させる。絞り14は、撮影光学系11の光軸に沿って配置されている。絞り14は、光量及びボケ量調整のために光軸中心に開口径が可変な開口を形成する。レンズ駆動制御装置15のレンズ側CPUは、絞り14の開口径調節を行うためにシステム制御部70から送信される制御情報に基づいて絞り14の駆動制御を駆動制御回路に実行させる。
カメラボディ2は、撮像部20、画像処理部30、表示部50、記憶部60及びシステム制御部70を備えている。撮像部20は、撮像素子100を有する。撮像素子100には、レンズ部10の撮影光学系11から射出された光束が入射する。撮像素子100は、入射した光束を光電変換して撮像素子の各画素の画素信号(画素信号は画像データに含まれる。)を生成する。各画素の画素信号からなるRAWデータ(RAWデータも画像データに含まれる。)が撮像部20から画像処理部30に送られる。画像処理部30は、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、所定のファイル形式(例えば、JPEG形式等)の画像データを生成する。表示部50は、画像処理部30が生成した画像データを表示する。記憶部60は、画像処理部30が生成した画像データを記憶する。
なお、「画像データ」のことを「画像信号」ということがある。また、画像には、静止画、動画、ライブビュー画像が含まれる。ライブビュー画像は、画像処理部30で生成された画像データを表示部50に順次出力して表示部50に表示される画像である。ライブビュー画像は、撮像部20により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。
システム制御部70は、デジタルカメラ1の全体の処理及び動作を制御する。なお、システム制御部70の処理及び動作の詳細、及びカメラボディ2内の構成の詳細については、以下の図7において説明する。
図7は、第1実施形態に係るデジタルカメラ1の構成を示すブロック図である。図7に示すように、デジタルカメラ1は、カメラボディ2とレンズ部10とを備える。上述したように、レンズ部10は、カメラボディ2に対して着脱可能な交換式レンズである。従って、デジタルカメラ1は、レンズ部10を備えていなくてもよい。ただし、レンズ部10はデジタルカメラ1と一体構成であってもよい。レンズ部10は、カメラボディ2に接続された状態において、被写体からの光束を撮像部20へ導く。
レンズ部10は、上述したように、レンズ駆動制御装置15を有している(図6参照)。また、レンズ部10は、撮影光学系11としての複数のレンズ群、つまり、レンズ11a、ズーミング用レンズ11b、及びフォーカシング用レンズ11cを有している。レンズ駆動制御装置15は、レンズ部10がカメラボディ2に接続された場合に、メモリに記憶されているレンズ情報をカメラボディ2のシステム制御部70に送信する。また、レンズ駆動制御装置15は、レンズ部10がカメラボディ2に接続された場合に、システム制御部70から送信される制御情報を受信する。レンズ駆動制御装置15は、制御情報に基づいて、ズーミング用レンズ11b、フォーカシング用レンズ11c、及び絞り14の駆動制御を行う。
図7に示すように、カメラボディ2は、撮像部20、画像処理部30、ワークメモリ40、表示部50、操作部55、記録部60、システム制御部70及びストロボ90を備える。
撮像部20は、撮像素子100及び駆動部21を有している。駆動部21は、システム制御部70からの指示に従って、撮像素子100の駆動を制御する制御回路である。ここで、駆動部21は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ303及び転送トランジスタ302に印加するタイミング(又はタイミングの周期)を制御することにより、制御パラメータである電荷の蓄積時間又は蓄積回数を制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ303、転送トランジスタ302、及び選択トランジスタ305に印加するタイミング(又はタイミングの周期)を制御することにより、フレームレートを制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。
また、駆動部21は、アンプ412のゲイン(利得率、増幅率ともいう。)を制御することにより、撮像素子100のISO感度を制御する。また、駆動部21は、演算回路416に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部21は、信号処理回路413に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部21は、撮像素子100の画素領域(撮像領域)113Aにおいてブロック単位で領域を設定する。このように、駆動部21は、撮像素子100に対して複数のブロックごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部70は、駆動部21に対するブロックの位置、形状、範囲などの指示を行う。
撮像素子100は、撮像素子100からの画素信号を画像処理部30へ引き渡す。画像処理部30は、ワークメモリ40をワークスペースとして、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、所定のファイル形式(例えば、JPEG形式等)の画像データを生成する。画像処理部30は、以下の画像処理を実行する。例えば、画像処理部30は、ベイヤー配列で得られた信号に対して色信号処理(色調補正)を行うことによりRGB画像信号を生成する。また、画像処理部30は、RGB画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部30は、必要に応じて、所定の圧縮形式(JPEG形式、MPEG形式等)で圧縮する処理を行う。画像処理部30は、生成した画像データを記録部60に出力する。また、画像処理部30は、生成した画像データを表示部50に出力する。
画像処理部30が画像処理を行う際に参照されるパラメータも制御パラメータ(撮像条件)に含まれる。例えば、色信号処理(色調補正)、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子100から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部30は、ブロック単位ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。
画像処理部30は、撮像部20から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを抽出する。または、画像処理部30は、撮像部20から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを廃棄する。これにより、データ量を減らすことができるため、後段処理の負荷を軽減することができる。また、画像処理部30は、撮像部20から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する1又は複数のフレームを算出する。そして、画像処理部30は、算出した1又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。また、駆動部21が間引き率を制御するように構成しているが、このような構成に限られない。例えば、駆動部21はすべての画素から画素信号を読み出すが、画像処理部30又は演算回路416は読み出した画素信号のうち所定の画素信号を廃棄することにより、間引き率を制御するようにしてもよい。
本実施形態では、画像処理部30は、図7に示すように、画像生成部31を備えている。画像生成部31は、撮像部20から出力される各画素の画素信号からなるRAWデータに対して種々の画像処理を施すことにより画像データを生成する。画像生成部31は、第1撮像領域の画素信号からなるRAWデータに基づいて第1画像データを生成し、第2撮像領域の画素信号からなるRAWデータに基づいて第2画像データを生成し、第3撮像領域の画素信号からなるRAWデータに基づいて第3画像データを生成し、第4撮像領域の画素信号からなるRAWデータに基づいて第4画像データを生成する。
ワークメモリ40は、画像処理部30による画像処理が行われる際に画像データなどを一時的に記憶する。表示部50は、撮像部20で撮像された画像(静止画、動画、ライブビュー画像)や各種情報を表示する。この表示部50は、例えば液晶表示パネルなどの表示面(表示パネル)51を有している。表示部50の表示面51上にはタッチパネル(選択部)52が形成されている。タッチパネル52は、使用者がメニューの選択などの操作を行う際に、使用者が触れた位置を示す信号をシステム制御部70に出力する。
操作部55は、使用者によって操作されるレリーズスイッチ(静止画の撮影時に押されるスイッチ)、動画スイッチ(動作の撮影時に押されるスイッチ)、各種の操作スイッチなどである。この操作部55は、使用者による操作に応じた信号をシステム制御部70に出力する。記録部60は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部60は、カードスロットに装着された記録媒体に画像処理部30において生成された画像データや各種データを記憶する。また、記録部60は、内部メモリを有する。記録部60は、画像処理部30において生成された画像データや各種データを内部メモリに記録することも可能である。
システム制御部70は、デジタルカメラ1の全体の処理及び動作を制御する。このシステム制御部70はボディ側CPU(Central Processing Unit)を有する。本実施形態において、システム制御部70は、撮像素子100(撮像チップ113)の撮像面(画素領域113A)を複数のブロックに分け、ブロック間において異なる電荷蓄積時間(又は電荷蓄積回数)、フレームレート、ゲインで画像を取得させる。このため、システム制御部70は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部21に対して指示する。
また、システム制御部70は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部70は、各ブロック用の撮像条件(間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数)を駆動部21に対して指示する。また、画像処理部30は、ブロック間で異なる撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)で画像処理を実行する。このため、システム制御部70は、各ブロック用の撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)を画像処理部30に指示する。
また、システム制御部70は、画像処理部30において生成された画像データを記録部60に記録させる。また、システム制御部70は、画像処理部30において生成された画像データを表示部50に出力させることにより、表示部50に画像を表示させる。また、システム制御部70は、記録部60に記録されている画像データを読み出して表示部50に出力させることにより、表示部50に画像を表示させる。表示部50に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。
また、システム制御部70は、制御情報をレンズ駆動制御装置15に出力することにより、レンズ駆動制御装置15にフォーカシング用レンズ11cの駆動制御及び絞り14の駆動制御を実行させる。なお、システム制御部70は、ボディ側CPUが制御プログラムに基づいて処理を実行することにより実現される。
本実施形態では、システム制御部70は、図7に示すように、制御部71、選択部72、設定部73及び分割部74を備えている。制御部71は、画像生成部31で生成された画像データを表示部50に出力させて、表示部50の表示面51に画像を表示させる制御を行う。また、制御部71は、予め設定されているメニュー画像(図8参照)を表示部50の表示面51に表示させる制御を行う。
選択部72は、使用者によるタッチパネル52のタッチ操作に応じて、4つの表示領域(第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514)のいずれかを選択する制御を行う。また、設定部73は、使用者によるタッチパネル52のタッチ操作に応じて、又は自動的に、撮像条件(蓄積条件を含む)を設定する制御を行う。ここで、設定部73は、撮像素子100のすべての画素領域113Aにおいて同一の撮像条件を設定することが可能である。また、設定部73は、図5に示す各撮像領域(第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域)において異なる撮像条件を設定することが可能である。また、設定部73は、予め決められた撮像条件、又は使用者の操作に応じて変更された撮像条件で撮像素子100に撮像を行わせる制御を行う。また、分割部74は、撮像素子100の画素領域113Aを、図5に示すように第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域に分割する処理を行う。
ストロボ90は、撮影を行う際に光を発光(閃光)する発光装置である。ストロボ90は、システム制御部70からの指示信号に基づいて所定の光量で発光する。
図8は、本実施形態のデジタルカメラ1に係る表示部50を示す図である。図8に示すように、表示部50は、表示面51を有する。表示面51は、画像表示領域510と操作ボタン表示領域520とが設けられている。画像表示領域510は、撮像部20で生成された画像データにより示される画像を表示する領域である。画像表示領域510には、例えば、静止画像、動画像及びライブビュー画像が表示される。操作ボタン表示領域520は、使用者が撮像条件などを設定するためのメニュー画像520Mを表示する領域である。画像表示領域510及び操作ボタン表示領域520は、1つの表示面51内に設けられている。
画像表示領域510は、複数の画像を表示できるように複数の表示領域に分割されている。例えば、撮像部20で生成された4つの画像データにより示される各画像を表示するように4つの表示領域に分割されている。4つの表示領域のうち、左上の表示領域を第1表示領域511という。4つの表示領域のうち、右上の表示領域を第2表示領域512という。4つの表示領域のうち、左下の表示領域を第3表示領域513という。4つの表示領域のうち、右下の表示領域を第4表示領域514という。
図8に示す例では、第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514は、それぞれ同じ表示面積を有する表示領域である。また、第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514は、それぞれ異なる表示面積を有する表示領域であってもよい。例えば、第1表示領域の表示面積は、第2表示領域の表示面積よりも大きくてもよい。第1表示領域の表示面積は、第3表示領域の表示面積よりも大きくてもよい。第1表示領域の表示面積は、第4表示領域の表示面積よりも大きくてもよい。第2表示領域の表示面積は、第1表示領域の表示面積よりも大きくてもよい。第2表示領域の表示面積は、第3表示領域の表示面積よりも大きくてもよい。第2表示領域の表示面積は、第4表示領域の表示面積よりも大きくてもよい。第3表示領域の表示面積は、第1表示領域の表示面積よりも大きくてもよい。第3表示領域の表示面積は、第2表示領域の表示面積よりも大きくてもよい。第3表示領域の表示面積は、第4表示領域の表示面積よりも大きくてもよい。第4表示領域の表示面積は、第1表示領域の表示面積よりも大きくてもよい。第4表示領域の表示面積は、第2表示領域の表示面積よりも大きくてもよい。第4表示領域の表示面積は、第3表示領域の表示面積よりも大きくてもよい。
第1表示領域511は、図5に示した第1撮像領域で生成された画像データにより示される画像(この画像を第1画像という。)を表示する領域である。第2表示領域512は、図5に示した第2撮像領域で生成された画像データにより示される画像(この画像を第2画像という。)を表示する領域である。第3表示領域513は、図5に示した第3撮像領域で生成された画像データにより示される画像(この画像を第3画像という。)を表示する領域である。第4表示領域514は、図5に示した第4撮像領域で生成された画像データにより示される画像(この画像を第4画像という。)を表示する領域である。上述したように、図5に示した第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域は、画素領域113Aにおいて全面的に均等に配置されているため、第1画像、第2画像、第3画像及び第4画像は、見た目上、同一の被写体の画像に見える。しかし、上述したように、図5に示した第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域は、それぞれ異なる撮像条件で撮像する。従って、被写体の明るさ、被写体のブレ、動画における被写体の動きの滑らかさなどが撮像条件によって変化する。
なお、第1画像は、第1ライブビュー画像、第1静止画及び第1動画を含む。また、第2画像は、第2ライブビュー画像、第2静止画及び第2動画を含む。また、第3画像は、第3ライブビュー画像、第3静止画及び第3動画を含む。また、第4画像は、第4ライブビュー画像、第4静止画及び第4動画を含む。
表示部50は、タッチパネル52を備える。タッチパネル52は、表示面51上に設けられている。タッチパネル52において、第1タッチ領域511aが第1表示領域511上に重なるように形成されている。また、第2タッチ領域512aが第2表示領域512上に重なるように形成されている。また、第3タッチ領域513aが第3表示領域513上に重なるように形成されている。また、第4タッチ領域514aが第4表示領域514上に重なるように形成されている。第1タッチ領域511a、第2タッチ領域512a、第3タッチ領域513a及び第4タッチ領域514aは、使用者により押された(タッチされた)ことを検出すると、押された位置(いずれのタッチ領域であるか)を示す検出信号をシステム制御部70に出力する。
操作ボタン表示領域520は、画像表示領域510の近傍に設けられている。操作ボタン表示領域520には、使用者が表示領域の選択や、撮像条件及び撮影モードなどを設定するためのメニュー画像520Mが表示される。メニュー画像520Mには、選択ボタン画像521、ISO感度ボタン画像522、シャッタースピードボタン画像523、ピクチャーコントロールボタン画像524及び撮像モードボタン画像525が含まれる。選択ボタン画像521は、使用者が第1表示領域、第2表示領域、第3表示領域及び第4表示領域それぞれに表示された第1画像、第2画像、第3画像及び第4画像のうちいずれかを選択する場合に用いる。ISO感度ボタン画像522は、使用者がISO感度(すなわちゲイン)を設定する場合に用いる。シャッタースピードボタン画像523は、使用者がシャッタースピード(すなわち、露光時間)を設定する場合に用いる。なお、シャッタースピードは電荷の蓄積時間に対応する。ピクチャーコントロールボタン画像524は、使用者が画調、色相、コントラストなどの画像の特性を設定(調整)する場合に用いる。撮像モードボタン画像525は、使用者が手動で撮像条件を設定するか、自動で撮像条件を設定するかを選択する場合に用いる。
タッチパネル52において、タッチ領域521aが選択ボタン画像521上に重なるように形成されている。タッチ領域522aがISO感度ボタン画像522上に重なるように形成されている。タッチ領域523aがシャッタースピードボタン画像523上に重なるように形成されている。タッチ領域524aがピクチャーコントロールボタン画像524上に重なるように形成されている。タッチ領域525aが撮像モードボタン画像525上に重なるように形成されている。タッチ領域521a、タッチ領域521a、タッチ領域521a及びタッチ領域525aは、使用者により押された(タッチされた)ことを検出すると、押された位置(いずれのタッチ領域であるか)を示す検出信号をシステム制御部70に出力する。
次に、第1実施形態に係るデジタルカメラ1の静止画撮影動作について説明する。図9は、第1実施形態のシステム制御部70が実行する撮影動作を説明するためのフローチャートである。また、図10、図11、図12及び図13は、第1実施形態における表示面51の表示例を示す図である。
図9に示す処理において、デジタルカメラ1に電源が投入された後、使用者が撮影を開始するために操作部55などの操作を行うと、分割部74は、撮像素子100の画素領域113Aにおいて、図5に示すような複数の撮像領域(第1撮像領域、第2撮像領域、第3撮像領域、第4撮像領域)に分割して設定する。また、設定部73は、分割部74が設定した第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域に対して、予め決められた標準の撮像条件を設定する(ステップS1)。例えば、設定部73は、第1撮像領域に対する標準の撮像条件として、ISO感度(「100」)、シャッタースピード(「1/2秒」)などを設定する。また、設定部73は、第2撮像領域に対する標準の撮像条件として、ISO感度(「200」)、シャッタースピード(「1/100秒」)などを設定する。また、設定部73は、第3撮像領域に対する標準の撮像条件として、ISO感度(「400」)、シャッタースピード(「1/500秒」)などを設定する。また、設定部73は、第4撮像領域に対する標準の撮像条件として、ISO感度(「800」)、シャッタースピード(「1/1000秒」)などを設定する。
次に、システム制御部70が撮影動作を開始する(ステップS2)。撮影が開始されると、制御部71は、撮像素子100の第1撮像領域で生成された第1画像データにより示される第1ライブビュー画像を表示面51の第1表示領域511に表示させる。制御部71は、撮像素子100の第2撮像領域で生成された第2画像データにより示される第2ライブビュー画像を表示面51の第2表示領域512に表示させる。制御部71は、撮像素子100の第3撮像領域で生成された第3画像データにより示される第3ライブビュー画像を表示面51の第3表示領域513に表示させる。制御部71は、撮像素子100の第4撮像領域で生成された第4画像データにより示される第4ライブビュー画像を表示面51の第4表示領域514に表示させる(ステップS3)。図10に示す例では、第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514それぞれに滝のライブビュー画像を示す第1ライブビュー画像、第2ライブビュー画像、第3ライブビュー画像及び第4ライブビュー画像が表示されている。第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域は、それぞれ異なる撮像条件で撮像が行われている。このため、第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514には、それぞれ被写体の明るさ、被写体(移動する移動被写体)のブレ、コントラストなどが異なるライブビュー画像が表示される。
使用者は、画像表示領域510の第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514にそれぞれ表示された第1ライブビュー画像、第2ライブビュー画像、第3ライブビュー画像及び第4ライブビュー画像を見比べて、撮像条件の違いによる画像の違いを確認することができる。そして、使用者は、第1ライブビュー画像、第2ライブビュー画像、第3ライブビュー画像及び第4ライブビュー画像のうちのいずれかを選択する場合、選択ボタン画像521(すなわちタッチ領域521a)を指でタッチする。これにより、表示領域の選択が可能な状態、すなわち、タッチパネル52の4つのタッチ領域(タッチ領域511a、タッチ領域512a、タッチ領域513a及びタッチ領域514a)がタッチ操作を検出可能な状態となる。その後、使用者は、4つの表示領域(第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514)のいずれかを指でタッチすることにより、1つの表示領域を選択する。タッチパネル52は、使用者によりタッチされたタッチ領域に対応する検出信号をシステム制御部70に出力する。
選択部72は、タッチパネル52からの検出信号に基づいて、使用者によって選択された表示領域を認識する。図11、図12及び図13に示す例では、使用者によって第1表示領域511が選択されている。選択部72は、使用者により第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514のいずれかが選択されたか否かを判定する(ステップS4)。使用者により第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514のいずれかが選択されたと判定した場合は、選択部72は、使用者により選択された表示領域(図11では第1表示領域511)を設定する(ステップS5)。具体的には、選択部72は、駆動部21に対して使用者により選択された表示領域に対応するブロックの位置などを指示する指示信号を出力する。
使用者は、選択した表示領域(すなわち第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域のいずれか)における撮像条件を変更することが可能である。設定部72は、使用者により撮像条件が変更されたか否かを判定する(ステップS6)。選択部72は、使用者により撮像条件が変更されたと判定した場合は、変更された撮像条件を設定する(ステップS7)。
例えば、使用者は、第1表示領域511の撮像条件としてISO感度を設定する場合は、ISO感度ボタン画像522(すなわちタッチ領域522a)をタッチする。タッチパネル52は、使用者によりタッチされたタッチ領域522aに対応する検出信号をシステム制御部70に出力する。制御部71は、図11に示すように、ISO感度ボタン画像522の横にISO感度の値を複数表示させる。図11に示す例では、ISO感度として、「100」「200」「400」「800」「1600」が表示される。設定部73は、タッチパネル52において、ISO感度のそれぞれの値の領域と重なるように新たにタッチ領域を設定する。使用者は、ISO感度の値のいずれかをタッチする。タッチパネル52は、使用者によりタッチされたタッチ領域に対応する検出信号をシステム制御部70に出力する。設定部73は、使用者にタッチされたISO感度の値を設定する。具体的には、設定部73は、使用者により選択されたISO感度に応じたゲインを指示する指示信号を駆動部21に出力する。
また、使用者は、第1表示領域511の撮像条件としてシャッタースピード(電荷蓄積時間)を設定する場合も、ISO感度の設定と同じような操作を行う。すなわち、使用者は、撮像条件としてシャッタースピードを設定する場合は、シャッタースピードボタン画像523(すなわちタッチ領域523a)をタッチする。タッチパネル52は、使用者によりタッチされたタッチ領域523aに対応する検出信号をシステム制御部70に出力する。制御部71は、シャッタースピードボタン画像523の横にシャッタースピードの値を複数表示させる。使用者は、シャッタースピードの値のいずれかをタッチする。設定部73は、使用者によりタッチされたシャッタースピードの値を設定する。具体的には、設定部73は、使用者により選択されたシャッタースピードを指示する指示信号を駆動部21に出力する。
また、使用者は、第1表示領域511の撮像条件としてピクチャーコントロールを設定する場合は、ピクチャーコントロールボタン画像524(すなわちタッチ領域524a)をタッチする。タッチパネル52は、使用者によりタッチされたタッチ領域524aに対応する検出信号をシステム制御部70に出力する。制御部71は、図12に示すように、ピクチャーコントロールボタン画像524の横にピクチャーコントロールの種類を複数表示させる。図12に示す例では、ピクチャーコントロールの種類として、「スタンダード」「ニュートラル」「風景」「ビビッド」が表示される。なお、「スタンダード」は、画像処理部30が被写体の輪郭の強さ、コントラスト、明るさ、色の濃さなどにおいて偏りのない標準的な画像に調整する。「ニュートラル」は、画像処理部30が被写体固有の階調や色合いを忠実に再現し、最も実物の被写体に近い画像に調整する。「風景」は、画像処理部30が自然の風景や街並みなどを高い階調で立体感のある画像に調整する。「ビビッド」は、画像処理部30が被写体の輪郭やコントラストを強調した色鮮やかな画像に調整する。
設定部73は、タッチパネル52において、ピクチャーコントロールの種類の領域と重なるように新たにタッチ領域を設定する。使用者は、ピクチャーコントロールの種類のいずれかをタッチする。タッチパネル52は、使用者によりタッチされたタッチ領域に対応する検出信号をシステム制御部70に出力する。設定部73は、使用者にタッチされたピクチャーコントロールの種類を設定する。具体的には、設定部73は、使用者により選択されたピクチャーコントロールの種類を指示する指示信号を画像処理部30に出力する。
また、使用者は、第1表示領域511の撮像条件として撮影モードを設定する場合は、撮像モードボタン画像525(すなわちタッチ領域525a)をタッチする。タッチパネル52は、使用者によりタッチされたタッチ領域525aに対応する検出信号をシステム制御部70に出力する。制御部71は、図13に示すように、撮像モードボタン画像525の横に「P」「S」「A」「M」を表示させる。なお、「P」はPモード(プログラムオート)を意味し、適正露出となるように、絞り値とシャッタースピードを自動的に決定するモードである。「S」はSモード(シャッター優先モード)を意味し、使用者が選択したシャッタースピードに対して適正露出となるような絞り値を決定するモードである。「A」はAモード(絞り優先モード)を意味し、使用者が選択した絞り値に対して適正露出となるようなシャッタースピードを自動的に決定するモードである。「M」はMモード(マニュアルモード)を意味し、使用者が絞り値もシャッタースピードも選択するモードである。なお、上述したように、システム制御部70(設定部73)は、撮像領域113Aのブロックごとに異なる撮像条件を設定することが可能であるが、絞り値についてはブロックごとに設定することはできず撮像領域113A全面に対して設定する。
設定部73は、タッチパネル52において、撮影モードの種類の領域と重なるように新たにタッチ領域を設定する。使用者は、撮影モードの種類のいずれかをタッチする。タッチパネル52は、使用者によりタッチされたタッチ領域に対応する検出信号をシステム制御部70に出力する。設定部73は、使用者にタッチされた撮影モードの種類を設定する。そして、設定部73は、「P」「S」「A」のいずれかが選択された場合は、絞り値及びシャッタースピードの少なくともいずれか1つを、適正露出となるように自動的に決定する。設定部73は、シャッタースピードを決定した場合は、シャッタースピードを指示する指示信号を駆動部21に出力する。また、設定部73は、絞り値を決定した場合は、絞り値に対応する制御情報をレンズ駆動制御装置15に出力する。
駆動部21は、使用者により選択された第1表示領域511に対応する第1撮像領域をブロック単位で指示する指示信号を受け取る。また、駆動部21は、使用者により選択された撮像条件を指示する指示信号を受け取る。これに応じて、駆動部21は、第1表示領域511に対応するブロックにおいて、指示された撮像条件(シャッタースピード、ISO感度)で撮像するように撮像部20を駆動する。また、画像処理部30は、使用者により選択された撮像条件を指示する指示信号を受け取る。これに応じて、画像処理部30は、指示された撮像条件(ホワイトバランス、階調、色調補正などの制御パラメータ)に基づいて、第1撮像領域のRAWデータに対して画像処理を実行する。また、レンズ駆動制御装置15は、システム制御部70からの制御情報に基づいて絞り14の開口径調節を行う。
このように第1撮像領域の撮像条件が変更されると、第1表示領域511に表示される第1ライブビュー画像が変化する。例えば、ISO感度を高くすると、被写体が少ない光量でも明るく撮像される。また、第1ライブビュー画像の暗い部分が明るくなる。また、シャッタースピードを高くすると、動いている被写体のブレが少なくなる。
このように、使用者は、第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514のいずれかを選択し、選択した表示領域における撮像条件を設定することにより、撮像条件に変更に応じて変化するライブビュー画像を確認することができる。この場合、使用者が選択した撮像条件が適正露出に合った条件でないこともある。しかし、使用者は、撮像条件の変更によって露出オーバーや露出アンダーになることを認識することもできる。また、使用者は、どのような撮像条件を変更するとどのようにライブビュー画像が変化するかを認識することができる。従って、使用者は、撮影を行う前に撮像条件を変更することによって複数のライブビュー画像を確認した上で撮影を行うことができる。
以上のようなステップS1からS7までの処理は、使用者による操作部55のレリーズスイッチの半押し操作(ステップS8)が行われるまで繰り返し実行される。なお、図10、図11、図12及び図13においては、使用者が4つの表示領域のうちの第1表示領域511を選択した場合について説明したが、使用者が第2表示領域512、第3表示領域513、及び第4表示領域514を選択する場合についても同様の処理が行われる。
なお、図10、図11、図12及び図13において図示していないが、使用者が設定可能な領域ごとの撮像条件として、ISO感度、シャッタースピード、及びピクチャーコントロールに限られない。例えば、上述したフレームレート、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数なども表示領域ごとの撮像条件として設定可能に構成してもよい。また、色信号処理、ホワイトバランス調整、階調調整、圧縮率などのパラメータも表示領域ごとの撮像条件として設定可能に構成してもよい。
システム制御部70は、レリーズスイッチの半押し操作(SW1の操作)が行われたか否かを判定する(ステップS8)。半押し操作は、撮影準備を開始させる指示として用いられる。なお、図8において図示していないが、システム制御部70は、自動的に焦点調節を行うオートフォーカス(AF)の制御などを実行する。
次に、システム制御部70は、レリーズスイッチの全押し操作(SW2の操作)が行われたか否かを判定する(ステップS9)。全押し操作が行われたと判定した場合は、設定部73は、撮像素子100に撮像を実行させる撮像処理を行う(ステップS10)。なお、ステップS10における全押し操作に基づく撮像のことを本撮像という。本実施形態では、撮像部20は、ステップS5において選択部72により最後に設定された表示領域(ライブビュー画像)における撮像条件に基づいて、撮像素子100の画素領域(撮像領域)113Aに対して本撮像を行う。また、制御部71は、画素領域(撮像領域)113Aに対して本撮像された画像(静止画)を、画像表示領域510のすべての領域において表示するように制御する。これにより、使用者は、どのような画像が撮像されたかを大きな表示領域で確認することができる。
なお、図9、図10、図11、図12及び図13を用いて静止画の撮影動作について説明したが、動画の撮影動作についても同じ処理により実現される。この場合、各表示領域(第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514)には、各撮像領域(第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域)において異なる撮像条件(例えばフレームレート)で撮像された動画がそれぞれ表示される。また、この場合、操作ボタン表示領域520には、フレームレートを設定するためのボタンが表示されることが好ましい。また、この場合も、制御部71は、画素領域(撮像領域)113Aに対して本撮像された動画を、画像表示領域510のすべての領域において表示する。
以上に説明したように、第1実施形態では、第1撮像条件で撮像を行う第1撮像素子(撮像素子100の一部の撮像素子)と第1撮像条件とは異なる第2撮像条件で撮像を行う第2撮像素子(撮像素子100の一部の撮像素子とは異なる撮像素子)とが複数配列され、第1撮像素子に入射した被写体像に応じて生成された第1画像データと第2撮像素子に入射した被写体像に応じて生成された第2画像データとを出力する撮像部20と、第1画像データにより示される第1画像(例えば第1表示領域511に表示される画像)と第2画像データにより示される第2画像(例えば第2表示領域512に表示される画像)とを表示部50に表示して第1画像データ及び第2画像データの記録態様を選択可能なように提示する制御部71とを備える。このような構成によれば、撮像条件の変更に対応する複数の画像の変化を確認することができる。
また、第1実施形態では、第1画像及び第2画像は、いずれもライブビュー画像であり、第1画像データ及び第2画像データの記録態様を選択する選択部72を備え、撮像部20は、選択部72により選択された記録態様に対応する撮像条件で本撮像を行う。このような構成によれば、静止画又は動画の本撮像を開始する前に、異なる撮像条件で撮像された複数のライブビュー画像を確認した上で本撮像を行うことができる。また、第1実施形態では、選択部72は、表示部50に形成されたタッチパネル52を有するので、簡易な操作でライブビュー画像を選択することができる。
また、第1実施形態では、撮像部20の複数の撮像素子を少なくとも第1撮像素子と第2撮像素子とに分割する分割部74を備える。このような構成によれば、制御部71が少なくとも2つ以上のライブビュー画像を表示部50に表示させることができるようになる。また、第1実施形態では、分割部74は、撮像部20の撮像領域113Aにおいて第1撮像素子及び第2撮像素子をそれぞれ全面的に複数配置する。このような構成によれば、撮像部20が使用者にとって同一に見える被写体像についての複数のライブビュー画像を撮像することができる。従って、使用者が撮像条件の違いによる被写体像についてのライブビュー画像の違いを容易に確認することができる。
また、第1実施形態では、第1撮像条件と第2撮像条件とを設定する設定部73を備える。このような構成によれば、予め決められた撮像条件だけでなく、使用者により選択された撮像条件で撮像を行わせることも可能となる。また、第1実施形態では、設定部73は、撮像条件として、フレームレート、ゲイン、露光時間のうち、少なくとも1つを異ならせる。このような構成によれば、使用者は、複数の撮像領域(複数のライブビュー画像)ごとに、フレームレート、ゲイン、露光時間(シャッタースピード)を異ならせてライブビュー画像を変化させ、変化させたライブビュー画像を確認した上で撮像を行うことができる。
また、第1実施形態では、設定部73は、撮像条件として、ホワイトバランス、階調、色調補正のうち、少なくとも1つを異ならせる。このような構成によれば、使用者は、複数の撮像領域(複数のライブビュー画像)ごとに、ホワイトバランス、階調、色調補正を異ならせてライブビュー画像を変化させ、変化させたライブビュー画像を確認した上で撮像を行うことができる。
上記した第1実施形態において、設定部73は、第1画像と第2画像との明るさが同じになるように、露光時間(シャッタースピード)及びゲイン(ISO感度)のいずれか一方の変更に応じて、露光時間及びゲインのいずれか他方を変更するように構成してもよい。具体的には、設定部73は、第1画像と第2画像とが同じ適正な明るさになるように、第1撮像領域又は第2撮像領域において露光時間を長くするとゲインを低くし、露光時間を短くするとゲインを高くする。このような構成によれば、使用者が同一の明るさとなる異なる露光時間及びゲインの組み合わせによる画像の違いを事前の確認することができる。
なお、図7に示したように、第1実施形態では、電子機器の一例としてデジタルカメラ1について説明した。しかし、電子機器はデジタルカメラ1に限定されず、例えば撮像機能を備えたスマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成されてもよい。また、図7に示す第1実施形態に係るデジタルカメラ1において、表示部50は電子機器の外部に設けられる構成であってもよい。この場合、システム制御部70及び表示部50のそれぞれには、有線又は無線で信号(画像データや制御信号など)を送受信する通信部が設けられる。また、画像処理部30とシステム制御部70は一体で構成されてもよい。この場合、1つのボディ側CPUを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部30の機能とシステム制御部70の機能を担う。
<第2実施形態>
上記した第1実施形態では、画像表示領域510における各表示領域(第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514)の撮像条件(蓄積条件を含む)は同じ条件としていたが、第2実施形態では、各表示領域を複数の領域に分割し、分割した領域ごとに異なる撮像条件(蓄積条件を含む)を設定する。
図14は、第2実施形態のデジタルカメラ1に係る表示部50Aを示す図である。図14に示すように、表示部50Aの表示面51Aは、図8に示した表示面51と同様に、画像表示領域510Aと操作ボタン表示領域520とが設けられている。画像表示領域510Aは、撮像部20で撮像された画像、すなわち、静止画、動画、及びライブビュー画像を表示する領域である。また、操作ボタン表示領域520は、使用者が撮像条件などを設定するためのメニューを表示する領域である。
画像表示領域510Aは、4つの表示領域(第1表示領域516、第2表示領域517、第3表示領域518、第4表示領域519)に分割されている。なお、第1表示領域516、第2表示領域517、第3表示領域518及び第4表示領域519は、図8に示した第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514にそれぞれ相当する。各表示領域516,517,518,519内には、複数のブロックB(i,j)が設定されている。図14に示す例では、ブロックB(i,j)は、各表示領域516,517,518,519において、水平方向(図14の横方向)に8個のブロック(i=1,2,3,4,5,6,7,8)が設定され、垂直方向(図14の縦方向)に6個のブロック(j=1,2,3,4,5,6)が設定されている。つまり、各表示領域516,517,518,519が8×6個(=48個)のブロックに分割されている。
タッチパネル52が表示面51A上に設けられている。なお、図14において図示していないが、図8に示した場合と同様に、タッチパネル52において、第1タッチ領域516aが第1表示領域516上に重なるように形成されている。また、第2タッチ領域517aが第2表示領域517上に重なるように形成されている。また、第3タッチ領域518aが第3表示領域518上に重なるように形成されている。また、第4タッチ領域519aが第4表示領域519上に重なるように形成されている。各タッチ領域516a,517a,518a,519aは、使用者により押された(タッチされた)ことを検出すると、押された位置(いずれのタッチ領域であるか)を示す検出信号をシステム制御部70に出力する。
第1タッチ領域516aは、複数のブロックB(i,j)に対応して複数のタッチ領域P(i,j)に分かれている。同様に、第2タッチ領域517a、第2タッチ領域518a及び第4タッチ領域519aも、それぞれ、複数のブロックB(i,j)に対応して複数のタッチ領域P(i,j)に分かれている。各タッチ領域P(i,j)は、使用者により押された(タッチされた)ことを検出すると、押された位置(いずれのタッチ領域であるか)を示す検出信号をシステム制御部70に出力する。なお、図14に示す表示面51Aにおいて、図8に示した表示面51と同様の構成については同一符号を付して、重複する説明を省略する。
次に、第2実施形態に係るデジタルカメラ1の撮影動作について説明する。図15は、第2実施形態のシステム制御部70が実行する撮影動作を説明するためのフローチャートである。また、図16及び図17は、第2実施形態における表示面51Aの表示例を示す図である。なお、デジタルカメラ1は静止画と動画を撮影することが可能であるが、静止画を撮影する場合について説明する。
図15に示すステップS1からS5までの処理は、図9に示したステップS1からS5までの処理と同様であるため、重複する説明を省略する。使用者は、第1表示領域516、第2表示領域517、第3表示領域518及び第4表示領域519のいずれかを選択した後(ステップS4,S5参照)、選択した1つの表示領域内の領域を選択することが可能である。使用者が1つの表示領域内の領域を選択する場合、その表示領域内に設定されているブロックB(i,j)を指でタッチすること(又は指でなぞる)ことにより、表示領域内の領域をブロック単位で選択する。タッチパネル52は、使用者によりタッチされたタッチ領域P(i,j)に対応する検出信号をシステム制御部70に出力する。
選択部72は、タッチパネル52からの検出信号に基づいて、使用者によって選択された領域を認識する。図16に示す例では、使用者によって第1表示領域516が選択されている。また、使用者によって第1表示領域516内の領域516Aが選択されている。この領域516Aは、滝の後ろの背景の領域(図16中の白線が引かれている領域)である。具体的には、領域516Aは、ブロックB(3,1),B(4,1),B(5,1),B(6,1),B(7,1),B(8,1),B(4,2),B(5,2),B(6,2),B(7,2),B(8,2),B(5,3),B(6,3),B(7,3),B(8,3),B(6,4),B(7,4),B(8,4)からなる領域である。
選択部72は、使用者により領域が選択されたか否かを判定する(ステップS11)。使用者により領域が選択されたと判定した場合は、選択部72は、使用者により選択された領域516Aを設定する(ステップS12)。具体的には、選択部72は、駆動部21に対して使用者により選択されたブロックの位置などを指示する指示信号を出力する。
使用者は、選択した表示領域(すなわち第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域のいずれか)における撮像条件を変更することが可能である。また、使用者は、選択した表示領域内の領域における撮像条件を変更することも可能である。設定部72は、使用者により撮像条件が変更されたか否かを判定する(ステップS14)。選択部72は、使用者により撮像条件が変更されたと判定した場合は、変更された撮像条件を設定する(ステップS15)。
例えば、使用者は、第1表示領域516の領域516Aの撮像条件としてISO感度を設定する場合は、ISO感度ボタン画像522(すなわちタッチ領域522a)をタッチする。タッチパネル52は、使用者によりタッチされたタッチ領域522aに対応する検出信号をシステム制御部70に出力する。制御部71は、図16に示すように、ISO感度ボタン画像522の横にISO感度の値を複数表示させる。設定部73は、タッチパネル52において、ISO感度のそれぞれの値の領域と重なるように新たにタッチ領域を設定する。使用者は、ISO感度の値のいずれかをタッチする。タッチパネル52は、使用者によりタッチされたタッチ領域に対応する検出信号をシステム制御部70に出力する。設定部73は、使用者にタッチされたISO感度の値を設定する。具体的には、設定部73は、使用者により選択されたISO感度に応じたゲインを指示する指示信号を駆動部21に出力する。
駆動部21は、使用者により選択された第1表示領域516に対応する第1撮像領域をブロック単位で指示する指示信号を受け取る。また、駆動部21は、使用者により選択された第1表示領域516内の領域516Aをブロック単位で指示する指示信号を受け取る。また、駆動部21は、使用者により選択された撮像条件を指示する指示信号を受け取る。これに応じて、駆動部21は、第1表示領域516の領域516Aに対応するブロックにおいて、指示された撮像条件(シャッタースピード、ISO感度)で撮像するように撮像部20を駆動する。なお、画像処理部30は、使用者により選択された撮像条件を指示する指示信号を受け取った場合は、指示された撮像条件(ホワイトバランス、階調、色調補正などの制御パラメータ)に基づいて、領域516Aに対応する領域のRAWデータに対して画像処理を実行する。また、レンズ駆動制御装置15は、システム制御部70からの制御情報に基づいて絞り14の開口径調節を行う。
このように画素領域113Aにおける領域516Aに対応する領域の撮像条件が変更されると、第1ライブビュー画像における領域516Aの画像が変化する。例えば、ISO感度を高くすると、被写体が少ない光量でも明るく撮像される。また、領域516Aの暗い部分が明るくなる。また、シャッタースピードを高くすると、動いている被写体のブレが少なくなる。
このように、使用者は、第1表示領域516、第2表示領域517、第3表示領域518及び第4表示領域519のいずれかを選択し、さらに選択した表示領域内の領域を選択する。そして、使用者は、選択した領域における撮像条件を設定する。これにより、撮像条件に変更に応じて変化するライブビュー画像中の所定領域の画像を確認することができる。
以上のようなステップS1からS5までの処理及びS11からS14までの処理は、使用者による操作部55のレリーズスイッチの半押し操作(ステップS8)が行われるまで繰り返し実行される。なお、図16においては、使用者が第1表示領域516の領域516Aを選択した場合について説明したが、使用者が第1表示領域516の他の領域を選択した場合についても同様の処理が行われる。図17に示す例では、第1表示領域516のうち領域516A以外の領域516Bが選択されている。そして、使用者によるISO感度ボタン画像522、シャッタースピードボタン画像523、ピクチャーコントロールボタン画像524などの選択に応じて、第1表示領域516内の領域516Bに表示される画像が変化する。
その後、ステップS8からS10までの処理を実行する。これらの処理については、図9で説明した処理と同様であるため、重複する説明を省略する。
なお、図14、図15、図16及び図17を用いて静止画の撮影動作について説明したが、動画の撮影動作についても同じ処理により実現される。この場合、各表示領域(第1表示領域516、第2表示領域517、第3表示領域518及び第4表示領域519)には、各撮像領域(第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域)において異なる撮像条件(例えばフレームレート)で撮像された動画がそれぞれ表示される。また、この場合、操作ボタン表示領域520には、フレームレートを設定するためのボタンが表示されることが好ましい。また、この場合も、制御部71は、画素領域(撮像領域)113Aに対して本撮像された動画を、画像表示領域510のすべての領域において表示する。
以上に説明したように、第2実施形態では、設定部73は、第1撮像素子または第2撮像素子の一部の撮像素子の撮像条件を、第1撮像条件または第2撮像条件と異なるように設定する。このような構成によれば、第1実施形態の効果に加えて、第1表示領域516、第2表示領域517、第3表示領域518及び第4表示領域519内における領域ごとに撮像条件を変更することが可能となる。従って、使用者は、静止画又は動画の撮像を開始する前に、領域ごとの撮像条件を変更して画像を作成することができる。このような処理は画像の撮像前編集が行われるものといえる。
なお、第2実施形態においても、使用者が設定可能な領域ごとの撮像条件として、ISO感度、シャッタースピード、及びピクチャーなどに限られない。例えば、上述したフレームレート、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数なども領域ごとの撮像条件として設定可能に構成してもよい。また、色信号処理、ホワイトバランス調整、階調調整、圧縮率などのパラメータも領域ごとの撮像条件として設定可能に構成してもよい。
<第3実施形態>
上記した第1実施形態及び第2実施形態では、1つの表示部50の4つの表示領域にライブビュー画像を表示するように構成していた。これに対して、第3実施形態では、2つの表示部を設け、2つの表示部のうちの一方の表示部に2つのライブビュー画像又は静止画を表示する。また、他方の表示部に2つのライブビュー画像又は静止画を合成したライブビュー画像を表示する。
図18は、第3実施形態のデジタルカメラ1に係る画像処理部30A及びシステム制御部70の機能ブロック図である。なお、図18は、図7に示した構成のうち、画像処理部30及びシステム制御部70に相当する構成についてだけ示している。図18に示すように、画像処理部30Aは、画像生成部31のほかに合成部32を含んでいる。この合成部32は、異なる撮像条件で撮像された第1撮像領域の画像データと第2撮像領域の画像データとを合成する。なお、第3実施形態では、第1実施形態及び第2実施形態で説明した場合(図5に示した配列バターン)と異なり、画素領域113Aにおいて第1撮像領域及び第2撮像領域だけが設定されている。この場合、この配列パターンでは、画素領域113Aにおいて、奇数の列(2m−1)における奇数の行(2n−1)のブロックと、偶数の列(2m)における偶数の行(2n)のブロックとで第1撮像領域が構成される。また、偶数の列(2m)における奇数の行(2n−1)のブロックと、奇数の列(2m−1)における偶数の行(2n)のブロックとで第2撮像領域が構成される。すなわち、分割部74は、画素領域113Aにおける各ブロックを市松模様となるように分割する。m及びnは正の整数(m=1,2,3,・・・、n=1,2,3,・・・)である。
図19は、第3実施形態における第1表示部50B及び第2表示部53に画像を表示する場合の表示例を示す図である。上記した第1実施形態及び第2実施形態では、1つの表示部50だけが設けられていたが、第3実施形態では、2つの表示部(第1表示部50B及び第2表示部53)が設けられている。なお、図19において、電子機器(デジタルカメラ)1を背面から見た場合の外観を示している。図19に示すように、第1表示部50Bは、方形状の表示面を有する表示パネルである。この第1表示部50Bは、デジタルカメラ1の背面に設けられている。なお、図示していないが、第1タッチパネルは、第1表示部50Bの表示面上に形成されている。
また、第2表示部53は、方形状の表示面を有する表示パネルである。この第2表示部53の端部が、デジタルカメラ1の背面かつ第1表示部50Bの下方に設けられたヒンジ(図示せず)によって回転可能に連結されている。第2表示部53がヒンジを支点として回転することにより、第1表示部50Bが第2表示部53によって開閉される。
デジタルカメラ1の上面には、レリーズスイッチ55a、モードダイヤル55b、及び動画スイッチ55cが設けられている。レリーズスイッチ55aは、静止画を撮像する際に使用者によって押されるスイッチである。なお、レリーズスイッチ55aの半押し操作が行われることによって、AF(Automatic Focusing)やAE(Automatic Exposure)などの撮影準備が行われる。モードダイヤル55bは、ポートレート、風景、夜景などの各種シーンモードを設定する際に使用者によって回転されるダイヤルである。動画スイッチ55cは、動画を撮像する際に使用者によって押されるスイッチである。また、デジタルカメラ1の背面かつ第1表示部50Bの側方には、マルチセレクタ55dが設けられている。マルチセレクタ55dは、第1表示部50B又は第2表示部53に表示されるメニュー(撮影モードを設定するためのメニュー)を、使用者が上下左右の矢印キーとOKスイッチにより選択するためのキー及びスイッチである。なお、操作部55は、レリーズスイッチ55a、モードダイヤル55b、動画スイッチ55c、及びマルチセレクタ55dを有している。なお、操作部55は、これら以外のスイッチなどを有していてもよい。
図19に示すように、制御部71は、第2表示部53の表示面の左側領域53Lにおいて、第1撮像領域のライブビュー画像又は静止画(夜間に撮像した人物の画像)を表示する。また、制御部71は、第2表示部53の表示面の右側領域53Rにおいて、第2撮像領域のライブビュー画像又は静止画を表示する。また、制御部71は、第1表示部51の中央領域51Gにおいて、第1撮像領域のライブビュー画像又は静止画と第2撮像領域のライブビュー画像又は静止画とを合成したライブビュー画像又は静止画を表示する。
一般に、幅広いダイナミックレンジの画像を記録し表示するための画像合成技術として、HDR(High Dynamic Range)撮像が広く知られている。HDR撮像では、撮像条件(例えば露出)を変化させつつ複数枚の画像を撮像し、それらを合成することにより白飛びや黒つぶれの少ない画像を生成する。しかし、従来のHDRでは、例えば撮像条件の異なる2枚の画像を撮像する撮像時間が異なっているため、被写体が移動したり、使用者(撮影者)がデジタルカメラ1を動かしたりしてしまうことがある。この場合、複数枚の画像は同一の被写体の画像ではないため、画像合成が困難である。これに対して、第3実施形態では、撮像条件の異なる2枚の画像(ライブビュー画像又は静止画)の撮像時間を同じ時刻(又は略同じ時刻)とすることができる。従って、第3実施形態の構成により従来のHDR撮像の問題点を解決することができる。なお、HDRモードは、使用者によるマルチセレクタ55dの操作などに応じて選択可能に構成する。
このような構成によれば、使用者は、異なる撮像条件で撮像された第1撮像領域における第1ライブビュー画像又は第1静止画と第2撮像領域における第2ライブビュー画像又は第2静止画とを撮像前に確認することができるとともに、第1ライブビュー画像又は静止画と第2ライブビュー画像又は静止画とを合成したダイナミックレンジの広いライブビュー画像又は静止画についても撮像前に確認することができる。
上記した第3実施形態では、合成部32は、第1撮像領域の画像データと第2撮像領域の画像データとを合成してダイナミックレンジの広い画像データを生成していた。しかし、このような構成に限らず、合成部32は、第1撮像領域の画像データと第2撮像領域の画像データとを合成して被写体のエッジ(輪郭)を強調した画像データを生成してもよい。具体的には、設定部73は、第1撮像領域のシャッタースピードを1/30秒に設定し、第2撮像領域のシャッタースピードを1/200秒に設定する。この場合、撮像素子100が動きの速い被写体を撮像すると、撮像素子100の第1撮像領域により生成された第1画像の画像データは、被写体のブレが大きい画像データとなる。一方、第2撮像領域により生成された画像データは、被写体のブレが少ない画像データとなる。合成部32は、第2画像の画像データにおける被写体のエッジ部分の画像データを、第1画像の画像データに付加して合成する。これにより、移動被写体のエッジ部分が強調された画像データが生成される。
制御部71は、第2表示部53の表示面の左側領域53Lにおいて、第1撮像領域のライブビュー画像又は静止画を表示する。また、制御部71は、第2表示部53の表示面の右側領域53Rにおいて、第2撮像領域のライブビュー画像又は静止画を表示する。また、制御部71は、第1表示部51の中央領域51Gにおいて、第1撮像領域のライブビュー画像又は静止画と第2撮像領域のライブビュー画像又は静止画とを合成したライブビュー画像又は静止画(被写体のエッジ部分が強調された合成画像)を表示する。このような構成によれば、使用者は、異なるシャッタースピードで撮像された画像を確認することができるとともに、それらの画像を合成した合成画像を確認することができる。
<第4実施形態>
上記した第1実施形態、第2実施形態及び第3実施形態では、制御部71が第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514(又は第1表示領域516、第2表示領域517、第3表示領域518及び第4表示領域519)において、それぞれ、第1ライブビュー画像、第2ライブビュー画像、第3ライブビュー画像及び第4ライブビュー画像を表示するように制御していた。これに対し、第4実施形態では、制御部71が第1表示領域、第2表示領域、第3表示領域及び第4表示領域において、それぞれ、第1動画、第2動画、第3動画及び第4動画を表示するように制御する。また、表示部は、第1動画、第2動画、第3動画及び第4動画のフレームレートに合わせたリフレッシュレート(単位時間あたりどれくらいでリフレッシュするかを示す値)で、それぞれの動画を表示する。
図20は、第4実施形態における表示面51Cの表示例を示す図である。図20に示すように、操作ボタン表示領域540には、フレームレートを設定するためのフレームレートボタン画像545が表示される。このフレームレートボタン画像545もメニュー画像540Mに含まれる。なお、選択ボタン画像541、ISO感度ボタン画像542、シャッタースピードボタン画像543、及びピクチャーコントロールボタン画像544は、図8等に示した選択ボタン画像521、ISO感度ボタン画像522、シャッタースピードボタン画像523、及びピクチャーコントロールボタン画像524に対応する。図20に示す表示例では、図8等に示した撮像モードボタン画像525に代えてフレームレートボタン画像545が設けられている。また、図20に示す表示例では、第1表示領域531、第2表示領域532、第3表示領域533及び第4表示領域534は、それぞれ、図8等に示した第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514に対応する。
設定部73は、使用者によるフレームレートボタン画像545の操作に応じて、又は自動的に、撮像素子100の第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域において異なるフレームレートを設定する。例えば、設定部73は、第1撮像領域のフレームレートを30fpsに設定し、第2撮像領域のフレームレートを60fpsに設定し、第3撮像領域のフレームレートを90fpsに設定し、第4撮像領域のフレームレートを120fpsに設定する。そして、設定部73は、使用者による動画スイッチの操作に応じて、撮像素子100の第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域において異なるフレームレートによる動画の撮像を実行させる。
制御部71は、画像表示領域530の第1表示領域531、第2表示領域532、第3表示領域533及び第4表示領域534に、それぞれ、第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域において異なるフレームレートで撮像された動画を表示させる。一般に、液晶ディスプレイで構成された表示部は、表示面において同一のリフレッシュレートで画像がリフレッシュ(更新)される。一方、第4実施形態では、表示部50Cは、表示面51Cの第1表示領域531、第2表示領域532、第3表示領域533及び第4表示領域534において異なるリフレッシュレートでリフレッシュ可能に構成されている。すなわち、表示部50Cの表示面51Cでは、第1表示領域531の各画素のリフレッシュを駆動する駆動回路、第2表示領域532の各画素のリフレッシュを駆動する駆動回路、第3表示領域533の各画素のリフレッシュを駆動する駆動回路、及び第4表示領域534の各画素のリフレッシュを駆動する駆動回路が別々に設けられている。このような構成によれば、使用者は、異なるフレームレートで撮像された複数の動画の違いを容易に認識することができる。
また、制御部71は、撮像素子100の第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域において異なるフレームレートで撮像された第1動画、第2動画、第3動画及び第4動画の画像データを、それぞれ別々に記録部60に記録するように制御する。このような構成によれば、異なるフレームレートで撮像された複数の動画の画像データを同時に記録部60に記録させることができる。
なお、上記した第1実施形態、第2実施形態及び第3実施形態では、制御部71は、表示面の第1表示領域、第2表示領域、第3表示領域及び第4表示領域において、異なる撮像条件(シャッタースピード、フレームレート等)で撮像されたライブビュー画像や動画を表示する構成としていたが、表示面の第1表示領域、第2表示領域、第3表示領域及び第4表示領域において、異なる撮像条件で撮像された静止画を表示する構成でもよい。この場合、制御部71は、使用者によるレリーズスイッチの1回の撮像操作で撮像された第1静止画、第2静止画、第3静止画及び第4静止画をそれぞれ第1表示領域、第2表示領域、第3表示領域及び第4表示領域に表示するように制御する。このような構成により、使用者は、異なる撮像条件で撮像された複数の静止画の違いを容易に認識することができる。
<第5実施形態>
第5実施形態では、システム制御部70は、第1表示領域、第2表示領域、第3表示領域及び第4表示領域のうちのいずれかの表示領域において電子ズーム(デジタルズームともいう。)による画像の拡大表示を行った場合に、そのような画像の拡大表示に合わせて他の表示領域においても画像の拡大表示を行う。
使用者は、電子ズームによる画像の拡大表示を行う場合は、例えば表示面上のタッチパネルのタッチ操作などを行う。制御部71は、使用者によるタッチパネルのタッチ操作などに応じて、画像を切り出す領域を指示する指示信号を画像処理部30に出力する。画像処理部30は、システム制御部70により指示された領域の画像データを切り出す処理(トリミング処理)を行う。制御部71は、画像処理部30により切り出された領域の画像データを表示部に出力させ、その領域の画像データに基づく画像を表示部の表示面に拡大表示させる制御を行う。
図21は、第5実施形態における電子ズームを行った場合の表示面51Dの表示例を示す図である。図21に示す表示部50Dの表示例では、第1表示領域511D、第2表示領域512D、第3表示領域513D及び第4表示領域514Dは、それぞれ、図8等に示した第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514に対応する。なお、操作ボタン表示領域520は図8等に示した操作ボタン表示領域と同様であるため、重複する説明を省略する。
例えば、図21に示すように、使用者は、電子ズームによって第1表示領域511D内の領域516Dに表示されている人物の画像O1の拡大表示を行うために、第1表示領域511D上に形成されているタッチパネルのタッチ操作を行って領域516Dを選択する。このような操作に応じて、制御部71は、第1表示領域511D内の領域516Dに表示されている人物の画像O1を、第1表示領域511Dの全領域に拡大表示させる。また、制御部71は、第1表示領域511Dにおける人物の画像O1の拡大表示と同じ表示倍率で、第2表示領域512D、第3表示領域513D及び第4表示領域514Dにおいても人物の画像O1を拡大表示させる。すなわち、制御部71は、第2表示領域512D内の領域517Dに表示されている人物の画像O1を、第2表示領域512Dの全領域に拡大表示させる。また、制御部71は、第3表示領域513D内の領域518Dに表示されている人物の画像O1を、第3表示領域513Dの全領域に拡大表示させる。また、制御部71は、第4表示領域514D内の領域519Dに表示されている人物の画像O1を、第4表示領域514Dの全領域に拡大表示させる。
なお、制御部71は、第1表示領域511D、第2表示領域512D、第3表示領域513D及び第4表示領域514Dのうちのいずれかの表示領域において電子ズームによる画像の縮小表示を行った場合に、そのような画像の縮小表示に合わせて他の表示領域においても画像の縮小表示を行うことも可能である。例えば、図21に示すように、使用者は、電子ズームによって第1表示領域511Dの全領域に表示されている人物の画像O1の縮小表示を行うために、第1表示領域511D上に形成されているタッチパネルのタッチ操作を行って第1表示領域511Dの全領域を選択する。このような操作に応じて、制御部71は、第1表示領域511Dの全領域に表示されている人物の画像O1を、第1表示領域511Dの領域516Dに縮小表示させる。また、制御部71は、第1表示領域511Dにおける人物の画像O1の縮小表示と同じ表示倍率で、第2表示領域512D、第3表示領域513D及び第4表示領域514Dにおいても人物の画像O1を縮小表示させる。
以上に説明したように、第5実施形態では、制御部71は、表示部50Dにおいて第1画像(例えば第1表示領域511Dに表示されている人物の画像O1)及び第2画像(例えば第2表示領域512Dに表示されている人物の画像O1)のいずれか一方を拡大または縮小することに合わせて、第1画像及び第2画像のいずれか他方を拡大または縮小する。このような構成によれば、使用者は電子ズームにより画像を拡大または縮小させた場合に、各表示領域に表示されている画像の大きさを合わせることができ、撮像条件の違いに起因した各画像の違いを容易に認識することができる。また、使用者は画像ごとに拡大または縮小の操作を行う必要がなく、使用者の操作労力が増加しない。
なお、使用者がタッチパネルのタッチ操作を行うことにより電子ズームを実行する構成に限られず、使用者が操作部55の電子ズームスイッチ(例えば電子ズームの実行時に操作されるスイッチ)などを操作することにより電子ズームを実行する構成でもよい。
<第6実施形態>
図22は、第6実施形態における表示面51Eの表示例を示す図である。図22に示す表示部50Eの表示例では、第1表示領域511E、第2表示領域512E、第3表示領域513E及び第4表示領域514Eは、それぞれ、図8等に示した第1表示領域511、第2表示領域512、第3表示領域513及び第4表示領域514に対応する。なお、操作ボタン表示領域520は図8等に示した操作ボタン表示領域と同様であるため、重複する説明を省略する。
図22に示すように、制御部71は、第1表示領域511E、第2表示領域512E、第3表示領域513E及び第4表示領域514Eにおいて、第1画像、第2画像、第3画像及び第4画像の上に重ねて、これらの画像の撮像条件をそれぞれ表示する。図22に示す例では、第1画像の撮像条件として、ISO感度として「100」が設定され、シャッタースピードとして「1/2秒」が設定され、ピクチャーコントロールとして「スタンダード」が設定され、撮影モードとして「P」が設定されている状態を示している。また、第2画像の撮像条件として、ISO感度として「200」が設定され、シャッタースピードとして「1/100秒」が設定され、ピクチャーコントロールとして「スタンダード」が設定され、撮影モードとして「P」が設定されている状態を示している。また、第3画像の撮像条件として、ISO感度として「400」が設定され、シャッタースピードとして「1/500秒」が設定され、ピクチャーコントロールとして「スタンダード」が設定され、撮影モードとして「P」が設定されている状態を示している。また、第4画像の撮像条件として、ISO感度として「800」が設定され、シャッタースピードとして「1/1000秒」が設定され、ピクチャーコントロールとして「スタンダード」が設定され、撮影モードとして「P」が設定されている状態を示している。このような構成によれば、使用者は各表示領域において現在設定されている撮像条件を容易に確認することができる。
なお、表示部の表示面の下部に、使用者により選択されている表示領域(例えば第1表示領域)において現在設定されている撮像条件を表示する撮像条件表示領域が設ける構成でもよい。また、制御部71は、撮像条件を所定時間だけ表示する構成でもよい。また、撮像条件の表示を行うか否かを選択するスイッチ(操作部55のスイッチ又はタッチパネル上のスイッチ)を設け、制御部71は、そのスイッチの操作に応じて、撮像条件表示領域550の撮像条件の表示又は非表示を制御する構成でもよい。
<第7実施形態>
図10等に示す操作ボタン表示領域520において、各ボタン521,522,523,524,525は、それぞれ予め決められた順序で配置されていた。すなわち、選択ボタン画像521は一番上に配置され、ISO感度ボタン画像522は上から2番目(すなわち選択ボタン画像521の下)に配置され、シャッタースピードボタン画像523は上から3番目(すなわちISO感度ボタン画像522の下)に配置され、ピクチャーコントロールボタン画像524は上から4番目(すなわちシャッタースピードボタン画像523の下)に配置され、撮像モードボタン画像525は一番下に配置されていた。一方、第7実施形態では、制御部71が表示領域内の被写体に応じて各ボタン521,522,523,524,525の配置を変更して表示する。また、第7実施形態では、制御部71が優先度の高いボタンを他のボタンの表示態様と異なる表示態様で表示する。
図23は、第7実施形態における表示面51Fの表示例を示す図である。図23に示す表示部50Fの表示例では、選択ボタン画像521は一番上に配置され、シャッタースピードボタン画像523は上から2番目(すなわち選択ボタン画像521の下)に配置され、ピクチャーコントロールボタン画像524は上から3番目(すなわちシャッタースピードボタン画像523の下)に配置され、ISO感度ボタン画像522は上から4番目(すなわちピクチャーコントロールボタン画像524の下)に配置され、撮像モードボタン画像525は一番下に配置されている。また、図23に示すように、シャッタースピードボタン画像523は、他のボタン(選択ボタン画像521、ISO感度ボタン画像522、ピクチャーコントロールボタン画像524、撮像モードボタン画像525)よりも大きな領域のボタンとなっている。
また、タッチパネル52において、タッチ領域521aが選択ボタン画像521上に重なるように形成されている。また、タッチ領域523aがシャッタースピードボタン画像523上に重なるように形成されている。また、タッチ領域524aがピクチャーコントロールボタン画像524上に重なるように形成されている。また、タッチ領域522aがISO感度ボタン画像522上に重なるように形成されている。また、タッチ領域525aが撮像モードボタン画像525上に重なるように形成されている。なお、タッチ領域523aは、シャッタースピードボタン画像523の領域の大きさに合わせて、他のボタンの領域よりも大きな領域となっている。
次に、画像処理部30及びシステム制御部70による各ボタン521,522,523,524,525の配置の変更処理について説明する。使用者が撮像条件を変更するときに、システム制御部70は、画像処理部30に対して移動被写体の検出を指示する。画像処理部30は、ライブビュー画像から時系列的に得られる複数の画像データを比較して、移動被写体と非移動被写体とを検出する。そして、画像処理部30は、検出結果を画像データとともにシステム制御部70に出力する。
制御部71は、画像処理部30の検出結果に基づいて、選択部72により選択された表示領域内に移動被写体が含まれているか否かを判定する。制御部71は、選択部72により選択された表示領域内に移動被写体が含まれていると判定した場合は、図23に示すように、シャッタースピードを設定するためのボタンであるシャッタースピードボタン画像523を上から2番目の位置に表示させる。また、制御部71は、シャッタースピードボタン画像523を他のボタンよりも大きく表示させる。
シャッタースピードの変更により、移動被写体の写り方が変化する。例えば、移動被写体が滝である場合、シャッタースピードを高く(速く)することにより、滝の水の流れが瞬間的に止まったような画像となる。一方、シャッタースピードを低く(遅く)することにより、滝の水の流れが糸に見えるような画像となる。このように、移動被写体については、シャッタースピードが他の撮像条件よりも被写体の写り方に大きく影響する。従って、制御部71は、領域内に移動被写体が含まれている場合、シャッタースピードの優先度が他の撮像条件よりも高いと判断する。そして、制御部71は、シャッタースピードボタン画像523の位置を上に移動させるとともに、シャッタースピードボタン画像523を大きな領域のボタンとして表示させる。これにより、優先度の高いボタンが使用者にとって操作しやすい位置に配置され、使用者の操作性が向上する。また、優先度の高いボタン(つまり撮像条件)が他のボタン(つまり撮像条件)よりも目立つようになり、使用者に優先度の高いボタンの操作を促すことができる。
上述した例では、制御部71は、領域内の被写体が移動被写体であるか否かによってボタンの配置や表示態様(大きさ)を変更するようにしていたが、このような構成に限らない。例えば、システム制御部70は、画像処理部30に対して画像の明度の検出を指示する。画像処理部30は、ライブビュー画像に基づいて領域内の画像の明度を検出する。そして、画像処理部30は、検出結果を画像データとともにシステム制御部70に出力する。
制御部71は、画像処理部30による明度の検出結果に基づいて、選択部72により選択された領域内の画像の明度が所定範囲内の値であるか否かを判定する。制御部71は、領域内の画像の明度が所定範囲内の値でないと判定した場合は、ISO感度を設定するためのボタンであるISO感度ボタン画像522を上から2番目の位置に表示させる。また、制御部71は、ISO感度ボタン画像522を他のボタンよりも大きく表示させる。
ISO感度の変更により、ライブビュー画像の暗い部分が明るくなり、明るい部分が暗くなる。領域内の明度が所定範囲内の値でない場合、すなわち、領域内の画像が明るすぎる場合や暗すぎる場合は、ISO感度を変更することにより最適露出に近づけることができる。従って、制御部71は、領域内の画像が所定範囲内の値でない場合、ISO感度の優先度が他の撮像条件よりも高いと判断する。そして、制御部71は、ISO感度ボタン画像522の位置を上に移動させるとともに、ISO感度ボタン画像522を大きな領域のボタンとして表示させる。これにより、優先度の高いボタンが使用者にとって操作しやすい位置に配置され、使用者の操作性が向上する。また、優先度の高いボタン(つまり撮像条件)が他のボタン(つまり撮像条件)よりも目立つようになり、使用者に優先度の高いボタンの操作を促すことができる。
なお、優先度の高いボタンを目立たせるような表示態様として、ボタンを大きくするほかに、ボタンの色を変更したり、ボタンを点滅表示させたりするような表示態様などでもよい。また、優先度の高いボタンが使用者により押される前に、そのボタンの横に撮像条件の値を複数表示させることにより、優先度の高いボタンを目立たせるようにしてもよい。また、ボタンの配置だけを変更する構成でもよく、また、ボタンの表示態様だけを変更する構成でもよい。
また、使用者がボタンを操作する順序に応じて、ボタンの配置を変更し、ボタンの表示態様を変更するようにしてもよい。例えば、使用者は、選択ボタン画像521を押した後に表示領域を選択する。次に、使用者は、撮像モードボタン画像525を押して撮影モードとしてマニュアルモードを選択する。その後に、使用者は、表示領域ごとに撮像条件を変更する。このような場合、制御部71は、選択ボタン画像521を一番上に配置するとともに選択ボタン画像521を大きくする。次に、制御部71は、撮像モードボタン画像525を一番上に配置するとともに撮像モードボタン画像525を大きくする。その後、制御部71は、表示領域ごとの被写体(画像)に応じて、ISO感度ボタン画像522、シャッタースピードボタン画像523、及びピクチャーコントロールボタン画像524のいずれかを一番上に配置し、さらに、その一番上のボタンを大きくする。このように、使用者の操作手順に沿った順序でボタンの配置や表示態様を変更することにより、使用者による操作の利便性が向上する。
<第8実施形態>
一般に、シャッター幕が全開になると同時にストロボを発光させることを先幕シンクロという。一方、シャッター幕が閉じ始める直前にストロボを発光させることを後幕シンクロという。第8実施形態では、設定部73は、第1撮像領域及び第2撮像領域に対して遅いシャッタースピード(例えば1/2秒)を設定する。また、システム制御部70は、第1撮像領域において電荷蓄積を終了させる直前にストロボ90を発光させる。つまり、第1撮像領域では後幕シンクロで撮像を行う。また、システム制御部70は、第2撮像領域において電荷蓄積を開始すると同時にストロボ90を発光させる。つまり、第2撮像領域では先幕シンクロで撮像を行う。
図24は、第8実施形態におけるストロボ90の発光タイミングと電荷蓄積のタイミングとを示すタイミングチャートである。図24に示すように、設定部73は、ストロボ90が発光を開始するタイミングt2よりも前のタイミングt1から、ストロボ90による発光の光量が消失したタイミングt3まで、第1撮像領域において電荷蓄積を開始させる。また、設定部73は、ストロボ90が発光を開始するタイミングt2から、ストロボ90からの光量が消失したタイミングt3よりも後のタイミングt4まで、第2撮像領域において電荷蓄積を開始させる。そして、制御部71は、第1撮像領域で生成された画像データにより示される第1画像を第1表示領域511に表示し、第2撮像領域で生成された画像データにより示される第2画像を第2表示領域512に表示する。
これにより、使用者は後幕シンクロで撮影された第1画像と先幕シンクロで撮影された第2画像とがどのように違うかについて事前に確認することができる。例えば、先幕シンクロの場合は、被写体である車のライトや車は光跡と残像は車の前に残る。従って、本当は車が前進しているのに車がバックしているような画像となる。一方、後幕シンクロの場合は、車のライトや車は光跡と残像は自然に車の後ろに出現する画像となる。
<第9実施形態>
第9実施形態では、上記した第1実施形態におけるデジタルカメラ1を、撮像装置1Aと電子機器1Bとに分離した構成としている。
図25は、第9実施形態に係る撮像装置1A及び電子機器1Bの構成を示すブロック図である。図25に示す構成において、撮像装置1Aは、被写体の撮像を行う装置である。この撮像装置1Aは、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、操作部55、記録部60、及び第1システム制御部70Aを備える。なお、撮像装置1Aのうち、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、操作部55、及び記録部60の構成は、図7に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
また、電子機器1Bは、画像(静止画、動画、ライブビュー画像)の表示を行う装置である。この電子機器1Bは、表示部50及び第2システム制御部(制御部)70Bを備える。なお、電子機器1Bのうちの表示部50の構成は、図7に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
第1システム制御部70Aは、第1通信部75Aを有している。また、第2システム制御部70Bは、第2通信部75Bを有している。第1通信部75Aと第2通信部75Bとは、互いに有線又は無線で信号を送受信する。このような構成において、第1システム制御部70Aは、第1通信部75Aを介して画像データ(画像処理部30が画像処理した画像データ、記録部60に記録されている画像データ)を第2通信部75Bに送信する。第2システム制御部70Bは、第2通信部75Bにおいて受信した画像データを表示部50に表示させる。また、第2システム制御部70Bは、予め設定されているメニュー画像を第2表示部53に表示させる。
また、第2システム制御部70Bは、使用者によるタッチパネル52のタッチ操作に応じて、又は自動的に、撮像条件(蓄積条件を含む)を変更する制御を行う。また、第2システム制御部70Bは、使用者によるタッチパネル52のタッチ操作に応じて、又は自動的に、画像表示領域510内の各表示領域を選択する制御を行う。また、第1システム制御部70Aは、使用者による操作部(電子機器1B側に設けられた静止画や動画の撮像開始を指示する操作部)55の操作に応じて撮像の制御を実行する。
図7に示す構成(制御部71、選択部72、設定部73、及び分割部74)は、第1システム制御部70Aと第2システム制御部70Bのいずれに設けられてもよい。図7に示すすべての構成は、第1システム制御部70A又は第2システム制御部70Bに設けられてもよく、また図7に示す構成の一部が第1システム制御部70Aに設けられ、図7に示す構成の一部以外の構成が第2システム制御部70Bに設けられてもよい。
なお、撮像装置1Aは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器1Bは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。
図25に示す第1システム制御部70Aは、ボディ側CPUが制御プログラムに基づいて処理を実行することにより実現される。また、図25に示す第2システム制御部70Bは、ボディ側CPUが制御プログラムに基づいて処理を実行することにより実現される。
以上に説明したように、第9実施形態では、第1実施形態で説明した効果に加え、スマートフォンなどの携帯端末を用いて撮像装置1Aで撮像されている複数のライブビュー画像を確認した上で撮像を行うことができる。
なお、図25に示す構成において、画像処理部30と第1システム制御部70Aとは一体で構成されてもよい。この場合、1つのボディ側CPUを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部30の機能と第1システム制御部70Aの機能を担う。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
例えば、上記した各実施形態において、カラーフィルタ102の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ131を形成する画素の数は、少なくとも1つの画素を含んでいればよい。また、ブロックも少なくとも1画素を含んでいればよい。従って、1画素ごとに異なる撮像条件で撮像を実行することも可能である。
また、上記した各実施形態において、駆動部21は、一部又はすべての構成が撮像チップ113に搭載されてもよいし、一部又はすべての構成が信号処理チップ111に搭載されてもよい。また、画像処理部30の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。また、システム制御部70の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。
また、上記した各実施形態において、使用者が表示領域を選択した後に撮像条件(蓄積条件を含む)を変更するように構成していたが、使用者が撮像条件を変更した後に、その変更した撮像条件を反映させる表示領域を選択するように構成してもよい。また、上記した第1実施形態及び第2実施形態において、制御部71は、表示パネル51おける4つの表示領域のうち、使用者により選択された表示領域(ライブビュー画像)を表示パネル51から消去するようにしてもよい。このような構成によれば、使用者が撮像を望まない撮像条件のライブビュー画像を消去して、使用者が望むライブビュー画像を容易に見比べることができるようになる。また、制御部71は、使用者により選択された表示領域(ライブビュー画像)を表示パネル51から消去した場合に、消去した表示領域のスペースに合成部32が合成したライブビュー画像を表示してもよい。
また、上記した各実施形態において、1回の全押し操作に応じて、撮像部20は画素領域113Aのすべての領域(全画素)について、使用者に選択された表示領域の撮像条件で撮像を行うように構成していた。しかし、このような構成に限らず、1回の全押し操作に応じて、撮像部20は画素領域113Aのうち、分割された1つの撮像領域(例えば第1撮像領域)について、使用者に選択された表示領域の撮像条件で撮像を行う構成でもよい。また、使用者が2つ以上の表示領域を選択可能としてもよい。この場合、1回の全押し操作に応じて、撮像部20は画素領域113Aのうち、分割された2つ以上の撮像領域(例えば第1撮像領域と第2撮像領域)について、使用者に選択された2つ以上の表示領域の撮像条件で同時に撮像を行う構成でもよい。
また、図5に示したように、画素領域113Aにおける各撮像領域は、それぞれ、異なる複数のブロックで構成されている。従って、画像生成部31は、各撮像領域で撮像したライブビュー画像を重ね合わせて画素領域113Aの全画素についての1つのライブビュー画像を生成することも可能である。そして、制御部71は、そのように画像生成部31が生成したライブビュー画像を表示パネル51(画像表示領域510)に表示するようにしてもよい。また、画像表示領域510における各表示領域511,512,513,514(又は各表示領域516,517,518,519)は同じ面積の表示領域とされていたが、異なる面積の表示領域とされてもよい。
また、上記した各実施形態において、操作ボタン表示領域520は、画像表示領域510の近傍に設けられていたが、画像表示領域510の近傍でない位置に設けられてもよい。また、操作ボタン表示領域520は、画像表示領域510と重畳した位置に配置されてもよい。また、使用者がタッチパネル52をタッチ操作することに代えて、操作部55を操作するようにしてもよい。
また、上記した各実施形態において、使用者が選択したライブビュー画像の撮像条件と、レリーズスイッチ等の全押し操作に応じて撮像するときの撮像条件とは同じ条件であることを想定している。ライブビュー画像において実際に撮像される画像を確認することができるようにするためである。しかし、ライブビュー画像の撮像条件と実際に撮像される画像の撮像条件とを異ならせてもよい。この場合、使用者がライブビュー画像に基づいて実際に撮像される画像を認識できる程度の撮像条件の変更とされる。
また、上記した各実施形態において、図5に示したように、分割部74は、撮像素子100の撮像領域113Aを、第1撮像領域、第2撮像領域、第3撮像領域及び第4撮像領域に分割していた。しかし、分割部74は、第1撮像領域と第2撮像領域との2つの領域に分割してもよく、第1撮像領域と第2撮像領域と第3撮像領域との3つの領域に分割してもよく、5以上の撮像領域に分割してもよい。この場合、分割部74が分割した撮像領域の数に合わせて、表示領域が表示部の画像表示領域に設けられる。すなわち、分割部74が2つの撮像領域に分割した場合は、2つの表示領域(第1表示領域と第2表示領域)が画像表示領域に設けられ、分割部74が5以上の撮像領域に分割した場合は、5以上の表示領域が画像表示領域に設けられる。
また、上記した各実施形態では、画像表示領域における第1表示領域、第2表示領域、第3表示領域及び第4表示領域の大きさは固定であったが、第5実施形態では、画像表示領域における第1表示領域、第2表示領域、第3表示領域及び第4表示領域の大きさ(面積)を変更可能に構成してもよい。使用者は、例えば第1表示領域を指でつまむようにした後に指を遠ざける操作(ピンチアウト操作)を行う。このような操作に応じて、制御部71は、第1表示領域を拡大表示するように制御する。また、制御部71は、第1表示領域の拡大表示に応じて、第2表示領域、第3表示領域及び第4表示領域を自動的に縮小表示するように制御する。このような構成によれば、使用者が最も見たい(注目している画像を表示している表示領域)を拡大することができる。
反対に、使用者は、例えば第1表示領域を指でつまむようにした後に指を近づける操作(ピンチイン操作)を行う。このような操作に応じて、制御部71は、第1表示領域を縮小表示するように制御する。また、制御部71は、第1表示領域の縮小表示に応じて、第2表示領域、第3表示領域及び第4表示領域を自動的に拡大表示するように制御する。このような構成によれば、使用者が注目していない画像を表示している表示領域を縮小することができる。
なお、制御部71は、使用者の操作に応じて表示領域を拡大又は縮小するように構成していたが、推奨する撮像条件で撮像された画像を表示する表示領域を自動的に拡大し、他の表示領域を拡大した表示領域のサイズに合わせて自動的に縮小するように構成してもよい。
なお、表示部50,50A,50B,50C,50D,50E,50Fは、電圧の印加によりバックライトの透過を制御して各画素の表示を制御する液晶ディスプレイで構成されている場合に限定されず、電圧の印加により自発的な発光を制御して各画素の表示を制御する有機エレクトロルミネッセンス型の液晶ディスプレイで構成されていてもよい。
1,1B…デジタルカメラ1A…撮像装置、20…撮像部、30,30A…画像処理部、31…画像生成部、32…合成部、50,50A,50C,50D,50E,50F…表示部、50B…第1表示部、51,51A,51C,51D,51E,51F…表示面、52…タッチパネル(選択部)、53…第2表示部、70…システム制御部、70A…第1システム制御部、70B…第2システム制御部、71…制御部、72…選択部、72…設定部、73…設定部、74…分割部、100…撮像素子

Claims (23)

  1. 被写体を撮像する領域であって、光電変換された電荷により信号を生成する画素と前記信号を出力するための信号線とを含む撮像領域が第1方向と前記第1方向と交差する第2方向とに複数配置された撮像素子と、
    前記撮像領域の撮像条件を設定する設定部と、
    複数の前記撮像領域のうち、前記設定部により第1撮像条件が設定された第1撮像領域で撮像された被写体の第1画像と、前記設定部により前記第1撮像条件とは異なる第2撮像条件が設定された第2撮像領域で撮像された被写体の第2画像と、を表示部に表示させる制御部と、
    を備える電子機器。
  2. 前記撮像素子は、第1半導体チップと前記第1半導体チップに接続される第2半導体チップとを有し、
    前記第1半導体チップは、前記撮像領域が複数配置され、
    前記第2半導体チップは、前記信号線に出力された前記信号をデジタル信号に変換する変換部が前記第1方向と前記第2方向とに複数配置される請求項1に記載の電子機器。
  3. 前記第1半導体チップと前記第2半導体チップとは、前記撮像領域に光を射出する光学系の光軸方向において並んで配置される請求項2に記載の電子機器。
  4. 前記撮像素子は、前記第2半導体チップに接続される第3半導体チップを有し、
    前記第3半導体チップは、前記変換部によりデジタル信号に変換された前記信号を記憶する記憶部が複数配置される請求項2又は請求項3に記載の電子機器。
  5. 前記制御部は、前記第1画像と前記第2画像とを、前記設定部により前記撮像領域に設定される撮像条件を選択させるように前記表示部に表示させる請求項1から請求項4のいずれか一項に記載の電子機器。
  6. 前記制御部は、選択された撮像条件が前記撮像領域に設定されるように前記設定部を制御する請求項5に記載の電子機器。
  7. 前記制御部は、前記第1画像と前記第2画像とのうちから選択された画像により前記撮像条件を前記撮像領域に設定させるように前記設定部を制御する請求項5又は請求項6に記載の電子機器。
  8. 前記第1撮像領域は、前記第1方向と前記第2方向とに複数配置され、
    前記第2撮像領域は、前記第1方向と前記第2方向とに複数配置されている請求項1から請求項7のいずれか一項に記載の電子機器。
  9. 前記第1撮像領域は、前記第1方向において互いに離れて複数配置されている請求項8に記載の電子機器。
  10. 前記第1撮像領域は、前記第2方向において互いに離れて複数配置されている請求項9に記載の電子機器。
  11. 前記第2撮像領域は、前記第1方向において配置されている、複数の前記第1撮像領域の間に配置されている請求項8から請求項10のいずれか一項に記載の電子機器。
  12. 前記第2撮像領域は、前記第2方向において配置されている、複数の前記第1撮像領域の間に配置されている請求項8から請求項11のいずれか一項に記載の電子機器。
  13. 前記第1撮像領域と前記第2撮像領域とは、前記第1方向において交互に配置されている請求項8から請求項12のいずれか一項に記載の電子機器。
  14. 前記第1撮像領域と前記第2撮像領域とは、前記第2方向において交互に配置されている請求項8から請求項13のいずれか一項に記載の電子機器。
  15. 前記制御部は、外部からの操作入力を受け付ける操作部を用いて前記撮像領域に設定する撮像条件を選択させる請求項1から請求項14のいずれか一項に記載の電子機器。
  16. 前記制御部は、前記操作部としてタッチパネルを用いて前記撮像領域に設定する撮像条件を選択させる請求項15に記載の電子機器。
  17. 前記制御部は、前記操作部として操作部材を用いて前記撮像領域に設定する撮像条件を選択させる請求項15又は請求項16に記載の電子機器。
  18. 前記撮像領域は、前記画素を複数有する請求項1から請求項17のいずれか一項に記載の電子機器。
  19. 前記画素は、光を電荷に変換する光電変換部を含み、
    前記設定部は、前記撮像領域に、前記撮像条件として前記光電変換部の電荷蓄積時間を設定する請求項1から請求項18のいずれか一項に記載の電子機器。
  20. 前記制御部は、前記第1画像と前記第2画像とを並べて前記表示部に表示させる請求項1から請求項19のいずれか一項に記載の電子機器。
  21. 前記制御部は、前記第1画像と前記第2画像とを切り替えて前記表示部に表示させる請求項1から請求項19のいずれか一項に記載の電子機器。
  22. 前記制御部は、前記第1画像と前記第2画像とを合成した画像を前記表示部に表示させる請求項1から請求項19のいずれか一項に記載の電子機器。
  23. 前記制御部は、前記表示部に表示された前記第1画像と前記第2画像とのうち一方の画像が拡大又は縮小されたことにより、前記第1画像と前記第2画像とのうち、他方の画像を拡大又は縮小する請求項1から請求項22のいずれか一項に記載の電子機器。
JP2019057995A 2019-03-26 2019-03-26 電子機器 Active JP6822507B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019057995A JP6822507B2 (ja) 2019-03-26 2019-03-26 電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019057995A JP6822507B2 (ja) 2019-03-26 2019-03-26 電子機器

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018044271A Division JP2018117375A (ja) 2018-03-12 2018-03-12 電子機器、電子機器の制御方法、及び制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021000961A Division JP7283488B2 (ja) 2021-01-06 2021-01-06 撮像素子及び電子機器

Publications (2)

Publication Number Publication Date
JP2019106731A true JP2019106731A (ja) 2019-06-27
JP6822507B2 JP6822507B2 (ja) 2021-01-27

Family

ID=67061527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019057995A Active JP6822507B2 (ja) 2019-03-26 2019-03-26 電子機器

Country Status (1)

Country Link
JP (1) JP6822507B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006157862A (ja) * 2004-11-08 2006-06-15 Matsushita Electric Ind Co Ltd Mos型撮像素子および撮像装置
JP2009033338A (ja) * 2007-07-25 2009-02-12 Olympus Imaging Corp 撮像装置
JP2012217215A (ja) * 2012-08-03 2012-11-08 Casio Comput Co Ltd 撮像装置、撮像制御プログラム、画像再生装置及び画像再生制御プログラム
JP2013015529A (ja) * 2012-08-30 2013-01-24 Dainippon Printing Co Ltd 物理量センサ及びその製造方法
JP2013058661A (ja) * 2011-09-09 2013-03-28 Sony Corp 固体撮像素子および電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006157862A (ja) * 2004-11-08 2006-06-15 Matsushita Electric Ind Co Ltd Mos型撮像素子および撮像装置
JP2009033338A (ja) * 2007-07-25 2009-02-12 Olympus Imaging Corp 撮像装置
JP2013058661A (ja) * 2011-09-09 2013-03-28 Sony Corp 固体撮像素子および電子機器
JP2012217215A (ja) * 2012-08-03 2012-11-08 Casio Comput Co Ltd 撮像装置、撮像制御プログラム、画像再生装置及び画像再生制御プログラム
JP2013015529A (ja) * 2012-08-30 2013-01-24 Dainippon Printing Co Ltd 物理量センサ及びその製造方法

Also Published As

Publication number Publication date
JP6822507B2 (ja) 2021-01-27

Similar Documents

Publication Publication Date Title
JP5930079B2 (ja) 電子機器
CN110086980B (zh) 电子设备
JP6372488B2 (ja) 電子機器
JP6780745B2 (ja) 電子機器
JP6547266B2 (ja) 電子機器、電子機器の制御方法、及び制御プログラム電子機器
JP2019036988A (ja) 電子機器
WO2015046565A1 (ja) 電子機器、電子機器の制御方法、及び制御プログラム
JP6561428B2 (ja) 電子機器、制御方法、及び制御プログラム
JP6409883B2 (ja) 電子機器及び制御プログラム
JP2018117375A (ja) 電子機器、電子機器の制御方法、及び制御プログラム
JP7283488B2 (ja) 撮像素子及び電子機器
JP6822507B2 (ja) 電子機器
JP2016158294A (ja) 電子機器、電子機器の制御方法、及び制御プログラム
JP7176591B2 (ja) 電子機器
JP2023054229A (ja) 電子機器
JP2018148590A (ja) 電子機器、及び撮像素子
CN109742094B (zh) 摄像元件以及电子设备
JP2019092220A (ja) 電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201221

R150 Certificate of patent or registration of utility model

Ref document number: 6822507

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250