JP2017005554A - 撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラム - Google Patents

撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラム Download PDF

Info

Publication number
JP2017005554A
JP2017005554A JP2015118808A JP2015118808A JP2017005554A JP 2017005554 A JP2017005554 A JP 2017005554A JP 2015118808 A JP2015118808 A JP 2015118808A JP 2015118808 A JP2015118808 A JP 2015118808A JP 2017005554 A JP2017005554 A JP 2017005554A
Authority
JP
Japan
Prior art keywords
image
display
imaging
control unit
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015118808A
Other languages
English (en)
Other versions
JP6558088B2 (ja
Inventor
鉄兵 岡本
Teppei Okamoto
鉄兵 岡本
雅嗣 宮田
Masatsugu Miyata
雅嗣 宮田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Imaging Co Ltd
Original Assignee
Ricoh Imaging Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Imaging Co Ltd filed Critical Ricoh Imaging Co Ltd
Priority to JP2015118808A priority Critical patent/JP6558088B2/ja
Priority to US15/161,560 priority patent/US20160366340A1/en
Publication of JP2017005554A publication Critical patent/JP2017005554A/ja
Application granted granted Critical
Publication of JP6558088B2 publication Critical patent/JP6558088B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48Increasing resolution by shifting the sensor relative to the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

【課題】画像セット(複数の撮像画像)の撮像が行われていることをユーザ(撮影者)に認識させて撮影装置を誤って動かすのを防止することにより、高品質な合成画像を得ることができる撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラムを得る。
【解決手段】光学要素を含む撮影光学系により形成された被写体像を電気的な画素信号に変換するイメージセンサと、画像合成に用いる複数の撮像画像から成る画像セットを撮像する撮像処理を制御し、前記撮像処理では、前記イメージセンサ及び前記光学要素の一方を他方に対して移動させる撮像制御部と、前記画像セットの各撮像画像を前記移動に応じて表示部に表示させる表示制御部と、を具備することを特徴とする撮影装置。
【選択図】図4

Description

本発明は、撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラムに関する。
従来、画像合成に用いる複数の画像を撮像(撮影)する撮像装置が提案されている。例えば、特許文献1に開示された画像入力装置(つまり、撮像装置)では、撮像素子(つまり、イメージセンサ)に対する光軸を水平および垂直方向にずらして取り込むことによって、画像合成に用いる複数の画像が撮像されている。具体的には、レンズ制御部による光軸移動制御により、原点画像と水平方向1/2画素ずらし画像と垂直方向1/2画素ずらし画像と水平・垂直方向1/2画素ずらし画像との4枚の画像信号が、メモリ部に順次格納される。
この撮影手法における所定の単位移動量は、画素単位という微細なオーダーである。そのため、撮像時における振動をできる限り排除することが望ましく、通常の撮像動作で使用するメカシャッタではなく、メカ動作を伴わない電子シャッタを使用することが多い。
特開平8−265522号公報
しかしながら、電子シャッタが用いられる場合、シャッタ音が発生しないので、1セットの撮像がいつ開始されいつ終了するのかについて、ユーザが認識することは困難である。このため、1セットの撮像中であるにもかかわらず、ユーザが誤って撮像装置を動かしてしまう(例えば、構図を変更してしまう、三脚から取り外してしまう等)可能性がある。この場合、1セットの撮像画像を合成した合成画像は、品質が著しく低下した失敗画像になってしまう。
本発明は、以上の問題意識に基づいてなされたものであり、画像セット(複数の撮像画像)の撮像が行われていることをユーザ(撮影者)に認識させて撮像装置を誤って動かすのを防止することにより、高品質な合成画像を得ることができる撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラムを得ることを目的とする。
本発明の撮影装置は、その1つの態様では、光学要素を含む撮影光学系により形成された被写体像を電気的な画素信号に変換するイメージセンサと、画像合成に用いる複数の撮像画像から成る画像セットを撮像する撮像処理を制御し、前記撮像処理では、前記イメージセンサ及び前記光学要素の少なくとも一方を移動させて両者の相対位置を変化させる撮像制御部と、前記画像セットの各撮像画像を前記移動に応じて表示部に表示させる表示制御部と、を具備する。
前記撮像制御部は、前記イメージセンサ及び前記光学要素の一方の他方に対する基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記一方を順次移動させることができる。
前記表示制御部は、前記画像セットを構成する撮像画像の数、及び、現時点で既に得られている撮像画像の数をユーザが認識可能な態様で、前記画像セットの各撮像画像を前記表示部に表示させることができる。
前記表示制御部は、前記表示部の表示画面に複数の部分画面領域を設定し、前記基準位置及び前記複数の相対位置で得られた前記複数の撮像画像を、前記基準位置及び前記複数の相対位置に対応する前記複数の部分画面領域にそれぞれ表示させることができる。
前記表示制御部は、前記基準位置及び前記複数の相対位置のうちで現在撮像中の位置に対応する前記部分画面領域に、撮像中であることを示す情報を表示させることができる。
前記表示制御部は、前記合成画像の生成処理のタイミングにおいて、前記複数の部分画面領域にそれぞれ表示された前記複数の撮像画像が前記表示画面の所定領域に集合して合成集約されるアニメーションを表示させることができる。
前記表示制御部は、前記相対移動のパターンに対応する表示パターンで、前記複数の撮像画像を表示部に表示させることができる。
前記表示制御部は、前記基準位置及び前記複数の相対位置で得られた前記複数の撮像画像を一部重なるように一方向に表示位置をずらしながら前記表示部の表示画面に表示させることができる。
前記表示制御部は、前記基準位置及び前記複数の相対位置で得られた前記複数の撮像画像に半透明化処理をそれぞれ施して得られた複数の半透明画像を、前記表示部の表示画面に重畳表示させることができる。
前記表示制御部は、前記得られた複数の半透明画像を、表示位置をずらしながら前記表示画面に重畳表示させることができる。
前記撮像処理では、基本単位に1つのR画素と2つのG画素と1つのB画素とを含むカラーフィルタが用いられ、前記基準位置及び前記複数の相対位置は、前記基本単位の各画素に対応してもよい。
本発明の撮影制御装置は、その1つの態様では、画像合成に用いる複数の撮像画像から成る画像セットを、撮影装置のイメージセンサ及び光学要素の少なくとも一方を移動させて両者の相対位置を変化させながら前記撮影装置に撮像させて得る、撮影制御装置であって、前記画像セットの各撮像画像を前記移動に応じて表示部に表示させる表示制御部を具備する。
本発明の撮影制御方法は、その1つの態様では、画像合成に用いる複数の撮像画像から成る画像セットを、撮影装置のイメージセンサ及び光学要素の少なくとも一方を移動させて両者の相対位置を変化させながら前記撮影装置に撮像させて得る撮影制御方法であって、前記画像セットの各撮像画像を前記移動に応じて表示させる。
本発明の撮影制御プログラムは、その1つの態様では、画像合成に用いる複数の撮像画像から成る画像セットを、イメージセンサ及び光学要素の少なくとも一方を移動させて両者の相対位置を変化させながら撮像して得る撮影装置に、前記画像セットの各撮像画像を前記移動に応じて表示部に表示する、処理を実行させる。
本発明によれば、画像セット(複数の撮像画像)の撮像が行われていることをユーザ(撮影者)に認識させて撮影装置を誤って動かすのを防止することにより、高品質な合成画像を得ることができる撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラムを得られる。
第1実施形態のデジタルカメラ(撮影装置)の要部構成を示すブロック図である。 像振れ補正装置の要部構成を示すブロック図である。 像振れ補正装置の構成を示す側面図である。 DSP(制御装置)の内部構成を示す機能ブロック図である。 図5(A)〜図5(D)は本実施形態の「RRS撮影モード」の一例を示す概念図である。 第1実施形態のデジタルカメラの処理動作の説明に供する図である。 第1実施形態のデジタルカメラの処理動作タイミングの一例を示すタイミングチャートである。 第2実施形態のデジタルカメラの処理動作の説明に供する図である。 第2実施形態のデジタルカメラの処理動作タイミングの一例を示すタイミングチャートである。 第3実施形態のデジタルカメラの処理動作の説明に供する図である。 第4実施形態のデジタルカメラの処理動作の説明に供する図である。
以下に、本願の開示する撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本願の開示する撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラムが限定されるものではない。また、実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略される。
≪第1実施形態≫
[撮像装置(撮影装置)の構成例]
図1は、第1実施形態の撮像装置の要部構成を示す図である。図2は、像振れ補正装置の要部構成を示すブロック図である。図3は、像振れ補正装置の構成を示す側面図である。
図1に示すように、デジタルカメラ10は、ボディ本体20と、このボディ本体20に着脱可能(レンズ交換可能)な撮影レンズ30とを備えている。撮影レンズ30は、被写体側(図1中の左側)から像面側(図1中の右側)に向かって順に、撮影レンズ群(撮影光学系、移動部材、振れ補正部材)31と、絞り(撮影光学系)32とを備えている。ボディ本体20は、被写体側(図1中の左側)から像面側(図1中の右側)に向かって順に、シャッタ(撮影光学系)21と、イメージセンサ(撮像部、移動部材、振れ補正部材)22とを備えている。またボディ本体20は、撮影レンズ30への装着状態で絞り32とシャッタ21を駆動制御する絞り/シャッタ駆動回路23を備えている。撮影レンズ群31から入射し、絞り32とシャッタ21を通った被写体光束による被写体像が、イメージセンサ22の受光面上に形成される。イメージセンサ22の受光面上に形成された被写体像は、マトリックス状に配置された検出色の異なる多数の画素によって、電気的な画素信号に変換され、画像データ(時系列に撮像した複数の画像データ)としてDSP(制御装置)40に出力される。DSP40は、イメージセンサ22から入力した画像データに所定の画像処理を施して、これをLCD24に表示し、画像メモリ25に記憶する。なお、図1では、撮影レンズ群31が単レンズからなるように描いているが、実際の撮影レンズ群31は、例えば、固定レンズ、変倍時に移動する変倍レンズ、フォーカシング時に移動するフォーカシングレンズなどの複数枚のレンズを有している。
図示は省略しているが、イメージセンサ22は、パッケージと、このパッケージに収納される固体撮像素子チップと、この固体撮像素子チップを密封保護するようにパッケージに固定される蓋部材とを含む複数の構成要素からなる。本明細書において、「イメージセンサ22を駆動する」とは、「イメージセンサ22の複数の構成要素のうち被写体光束が通過する少なくとも一部を駆動する」ことを意味する。
撮影レンズ30は、撮影レンズ群31の解像力(MTF)情報や絞り32の開口径(絞り値)情報などの各種情報を記憶した通信用メモリ33を搭載している。撮影レンズ30をボディ本体20に装着した状態では、通信用メモリ33が記憶した各種情報がDSP40に読み込まれる。
ボディ本体20は、DSP40に接続させて、撮影操作スイッチ26を備えている。撮影操作スイッチ26は、電源スイッチやレリーズスイッチなどの各種スイッチからなる。
ボディ本体20は、DSP40に接続させて、ジャイロセンサ(振れ検出部)27を備えている。ジャイロセンサ27は、ボディ本体20に加わる移動角速度(X軸とY軸周り)を検出することで、該ボディ本体20の光軸直交平面内の振れを示す振れ検出信号を検出する。
図1〜図3に示すように、イメージセンサ22は、撮影光学系の光軸Zと直交するX軸方向とY軸方向(直交二方向)に移動可能に像振れ補正装置50に搭載されている。像振れ補正装置50は、ボディ本体20のシャーシなどの構造物に固定される固定支持基板51と、イメージセンサ22を固定した、固定支持基板51に対してスライド可能な可動ステージ52と、固定支持基板51の可動ステージ52との対向面に固定した磁石M1、M2、M3と、固定支持基板51に可動ステージ52を挟んで各磁石M1、M2、M3と対向させて固定した、各磁石M1、M2、M3との間に磁気回路を構成する磁性体からなるヨークY1、Y2、Y3と、可動ステージ52に固定した、前記磁気回路の磁界内において電流を受けることにより駆動力を発生する駆動用コイルC1、C2、C3を有している。駆動用コイルC1、C2、C3に交流駆動信号(交流電圧)を流す(印加する)ことにより、固定支持基板51に対して可動ステージ52(イメージセンサ22)が光軸直交平面内で駆動するようになっている。駆動用コイルC1、C2、C3に流す交流駆動信号は、DSP40による制御の下、イメージセンサ駆動回路60によって生成される。
本実施形態では、磁石M1、ヨークY1及び駆動用コイルC1からなる磁気駆動手段と、磁石M2、ヨークY2及び駆動用コイルC2からなる磁気駆動手段(2組の磁気駆動手段)とがイメージセンサ22の長手方向(水平方向、X軸方向)に所定間隔で配置され、磁石M3、ヨークY3及び駆動用コイルC3からなる磁気駆動手段(1組の磁気駆動手段)がイメージセンサ22の長手方向と直交する短手方向(鉛直(垂直)方向、Y軸方向)に配置されている。
さらに固定支持基板51には、各駆動用コイルC1、C2、C3の近傍(中央空間部)に、磁石M1、M2、M3の磁力を検出して可動ステージ52(イメージセンサ22)の光軸直交平面内の位置を示すホール出力信号(位置検出信号)を出力(検出)するホールセンサ(位置検出部)H1、H2、H3が配置されている。ホールセンサH1、H2により可動ステージ52(イメージセンサ22)のY軸方向位置及び傾き(回転)が検出され、ホールセンサH3により可動ステージ52(イメージセンサ22)のX軸方向位置が検出される。DSP40は、イメージセンサ駆動回路60を介して、ジャイロセンサ27が検出したボディ本体20の光軸直交平面内の振れを示す振れ検出信号と、ホールセンサH1、H2、H3が出力したイメージセンサ22の光軸直交平面内の位置を示すホール出力信号とに基づいて、像振れ補正装置50によってイメージセンサ22を光軸直交平面内で駆動する。これにより、イメージセンサ22上への被写体像の結像位置を変位させて、手振れに起因する像振れを補正することができる。
本実施形態のデジタルカメラ10は、像振れ補正装置50を利用して、イメージセンサ22(イメージセンサユニット)を撮影光学系の光軸Zと直交する平面内で微細に移動させながら時系列に複数回の撮影を行い、その画像を1枚に合成(画像の単純な加算ではなくデータ上の画像処理による特殊演算を行っての合成)することで、超高精細(高画質、高精度)な画像を生成する撮影モード(マルチショット合成モード)を搭載している。以下ではこの撮影モードを「RRS(リアル・レゾリューション・システム)撮影モード」と呼ぶ。ボディ本体20は、図1に示すように、DSP40に接続させて、「RRS撮影モード」を行うか否か、更にはその詳細を設定するためのRRS撮影モード設定部28を備えている。
「RRS撮影モード(マルチショット合成モード)」では、1画素あたり1つの色情報のみを取得する従来のベイヤ方式と異なり、1画素毎にRGB各色の情報を得ることで、細部までのディティールや色再現に優れた極めて高精細な画像を描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。
図4は、DSP(制御装置)40の内部構成を示す機能ブロック図である。図4において、DSP(制御装置)40は、撮像制御部40Aと、合成画像生成部40Bと、表示制御部40Cとを含んでいる。
撮像制御部40Aは、マルチショット画像合成に用いる複数の撮像画像から成る「画像セット」を撮像する「撮像処理」を制御している。この「撮像処理」では、イメージセンサ22及び撮影光学系に含まれる光学要素(例えば、撮影レンズ群31の少なくとも一部)のうちの一方の他方に対する「基準位置」から光軸方向と異なる方向(例えば、光軸方向と直交する方向)のそれぞれ異なる複数の「相対位置」に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)のうちの上記一方を上記他方に対して順次相対移動させている。
図5(A)〜図5(D)は本実施形態の「RRS撮影モード(マルチショット合成モード)」の一例を示す概念図である。同図において、イメージセンサ22は、受光面にマトリックス状に所定の画素ピッチで配置された多数の画素を備え、各画素の前面にベイヤ配列のカラーフィルタR、G(Gr、Gb)、Bのいずれかが配置されている。特に、ベイヤ配列のカラーフィルタは、「基本単位」に1つのR画素と2つのG画素と1つのB画素とを含んでいる。各画素は、前面のカラーフィルタR、G(Gr、Gb)、Bを透過して入射した被写体光線の色を検出、つまり、色成分(色帯域)の光を光電変換し、その強さ(輝度)に応じた電荷を蓄積する。より具体的に、図5(A)の基準位置で1枚の画像を撮影し、そこからイメージセンサ22を1画素ピッチだけ下方に移動(相対移動)させた図5(B)の位置で1枚の画像を撮影し、そこからイメージセンサ22を1画素ピッチだけ右方に移動させた図5(C)の位置で1枚の画像を撮影し、そこからイメージセンサ22を1画素ピッチだけ上方に移動させた図5(D)の位置で1枚の画像を撮影し、最後に図5(A)の基準位置に戻る。すなわち、本明細書では、例えば、図5(A)に示した位置を「基準位置」と呼び、図5(B)〜(D)に示した位置を「相対位置」と呼んでいる。そして、「基準位置」及び複数の「相対位置」は、上記の「基本単位」の4つの画素(つまり、1つのR画素、2つのG画素、及び1つのB画素)にそれぞれ対応している。このように、イメージセンサ22を光軸直交平面内で1画素ピッチの正方形を描くように駆動しながら時系列に撮影した4枚の画像が、RAW画像データとして、DSP(制御装置)40に入力される。
図4の説明に戻り、合成画像生成部40Bは、撮像制御部40Aにおいて画像セットのすべての構成画像が得られた段階で、得られた画像セットを用いて合成画像を生成する。
表示制御部40Cは、「表示制御処理」を実行する。この「表示制御処理」として、表示制御部40Cは、例えば、基準位置及び複数の相対位置でそれぞれ撮像された複数の撮像画像を、「相対移動」に応じてLCD(表示部)24にそれぞれ表示させる。「相対移動に応じて表示」とは、例えば、タイミングに関して言えば、第1の位置で撮像した撮像画像を、第1の位置から次の第2の位置への移動タイミング自体及び第2の位置での撮影処理や画像処理の所定タイミングで表示させることを意味する。すなわち、第1の位置で撮像した撮像画像を、第1の位置から次の第2の位置への移動タイミングと所定の関係を有するタイミングにおいて表示できればよいので、「相対移動に応じて表示」は「相対移動と同期して表示」を含む概念である。また、例えば、表示制御部40Cは、画像セットを構成する撮像画像の数、及び、現時点で既に得られている撮像画像の数をユーザが認識可能な態様で、各撮像画像をLCD(表示部)24に表示させる。
例えば、第1実施形態では、表示制御部40Cは、LCD(表示部)24の表示画面に対して複数の「部分画面領域」を設定する。また、表示制御部40Cは、この複数の「部分画面領域」と、基準位置及び複数の相対位置とを、それぞれ対応付けておく。すなわち、例えば、LCD(表示部)24の表示画面上の各「部分画面領域」は、上記のカラーフィルタの基本単位における各画素に対応している。そして、表示制御部40Cは、基準位置及び複数の相対位置で得られた複数の撮像画像を、基準位置及び複数の相対位置に対応する複数の部分画面領域にそれぞれ表示させる。
また、表示制御部40Cは、「表示制御処理」として、合成画像生成部40Bで画像合成処理が行われている期間において、「画像合成処理中」であることを示す情報をLCD(表示部)24に表示させる。そして、合成画像生成部40Bにおける画像合成処理の終了後には、表示制御部40Cは、「表示制御処理」として、合成画像を表示する。以上の「表示制御処理」については次の動作説明において詳しく説明する。
[撮像装置の動作例]
以上の構成を有するデジタルカメラ(撮像装置)10の処理動作の一例について説明する。図6は、第1実施形態のデジタルカメラの処理動作の説明に供する図である。図7は、第1実施形態のデジタルカメラの処理動作タイミングの一例を示すタイミングチャートである。図6及び図7に示した図には、特に、DSP(制御装置)40による処理動作が示されている。このDSP(制御装置)40による処理動作は、メモリ(図示せず)に記憶されている制御プログラムがDSP(制御装置)40に読み出されることにより実現される。なお、デジタルカメラ10は、マルチショット合成モードによる撮影動作を、シャッタ21を全開した状態で、電子シャッタ動作により行う。
ステップS1では、DSP(制御装置)40の撮像制御部40Aは、基準位置(つまり、図5(A)に示した位置)において、1枚目の撮影を制御する。例えば、図7に示すように、撮像制御部40Aは、期間P1で撮影準備を制御し、期間P2で露光(撮影)を制御する。この期間P2では、図7には図示していないが、所定の露光時間が経過したときにイメージセンサ22から画像信号を読み出して、基準位置で得られた撮像画像に対する画像単位(フレーム単位)の現像処理が行われている。なお、ここでは、基準位置における撮影処理(準備処理及び露光処理を含む)が実行されている期間P1,P2では、撮像画像が得られていないので、LCD(表示部)24には何も表示されていない状態、つまり、所謂「ブラックアウト状態」であることを前提としている。また、また、期間P1の撮影準備には、シャッタ全開動作、測光動作、露出値(露光時間、絞り値)設定動作や、AF動作等を含めることができる。
基準位置での撮影が終わると、ステップS2では、表示制御部40Cは、基準位置で得られた撮像画像(現像した画像)を、基準位置に対応するLCD(表示部)24の部分画面領域に表示させる。すなわち、LCD(表示部)24には、例えば、図7に示す表示画像I1が表示される。ステップS3では、撮像制御部40Aは、1番目の相対位置(つまり、図5(B)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この1番目の相対位置において、2枚目の撮影を制御する。例えば、図7に示すように、撮像制御部40Aは、期間P3で撮影準備(相対移動を含む)を制御し、期間P4で露光を制御し、1番目の相対位置で得られた撮像画像を現像する。そして、1枚目の露光終了から2枚目の露光期間(期間P3,P4)において、上述したように、基準位置で得られた1枚目の撮像画像が、基準位置に対応するLCD(表示部)24の部分画面領域に表示される。
1番目の相対位置での撮影が終わると、ステップS4では、表示制御部40Cは、1番目の相対位置で得られた撮像画像(現像した画像)を、1番目の相対位置に対応するLCD(表示部)24の部分画面領域にさらに表示させる。すなわち、LCD(表示部)24には、例えば、図7に示す表示画像I2が表示される。ステップS5では、撮像制御部40Aは、2番目の相対位置(つまり、図5(C)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この2番目の相対位置において、3枚目の撮影を制御する。例えば、図7に示すように、撮像制御部40Aは、期間P5で撮影準備(相対移動を含む)を制御し、期間P6で露光を制御し、2番目の相対位置で得られた撮像画像を現像する。そして、2枚目の露光終了から3枚目の露光期間(期間P5,P6)において、上述したように、1番目の相対位置で得られた2枚目の撮像画像が、1番目の相対位置に対応するLCD(表示部)24の部分画面領域に表示される。
2番目の相対位置での撮影が終わると、ステップS6では、表示制御部40Cは、2番目の相対位置で得られた撮像画像(現像した画像)を、2番目の相対位置に対応するLCD(表示部)24の部分画面領域にさらに表示させる。すなわち、LCD(表示部)24には、例えば、図7に示す表示画像I3が表示される。ステップS7では、撮像制御部40Aは、3番目の相対位置(つまり、図5(D)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この3番目の相対位置において、4枚目の撮影を制御する。例えば、図7に示すように、撮像制御部40Aは、期間P7で撮影準備(相対移動を含む)を制御し、期間P8で露光を制御し、3番目の相対位置で得られた撮像画像を現像する。そして、3枚目の露光終了から4枚目の露光期間(期間P7,P8)において、上述したように、2番目の相対位置で得られた3枚目の撮像画像が、2番目の相対位置に対応するLCD(表示部)24の部分画面領域に表示される。
3番目の相対位置での撮影が終わると、ステップS8では、表示制御部40Cは、3番目の相対位置で得られた撮像画像(現像した画像)を、3番目の相対位置に対応するLCD(表示部)24の部分画面領域にさらに表示させる。すなわち、LCD(表示部)24には、例えば、図7に示す表示画像I4が表示される。ステップS9では、合成画像生成部40Bは、基準位置及び3つの相対位置で得られた4枚の撮像画像を用いて、合成画像を生成する。例えば、図7に示すように、合成画像生成部40Bは、期間P9で画像合成処理を実行する。また、表示制御部40Cは、図7に示すように、期間P9の初めの部分である期間P9aでは、基準位置及び3つの相対位置で得られた4枚の撮像画像がそれぞれ対応する部分画面領域に表示された表示画像I4を表示させ、期間P9aの後の期間P9bでは、画像合成処理中であることを示す情報を含む表示画像I5を表示させる。表示画像I5では、画像合成処理の進行具合をユーザが認識可能な態様、例えば、進行具合に応じて棒グラフが長くなる態様で、画像合成処理中であることを示す情報が表示されている。なお、期間P9aの後の期間P9bでも引き続き、期間P9aと同様に表示画像I4が表示されてもよい。
画像合成処理が終わると、ステップS10で、表示制御部40Cは、生成された合成画像を、LCD(表示部)24に表示させる。例えば、図7に示すように、期間P10では、合成画像を含む表示画像I6が、LCD(表示部)24に表示される。
ここで、第1実施形態の表示制御部40Cは、撮像制御部40Aによって制御される「相対移動のパターン」と同じパターン(表示パターン)で、基準位置及び3つの相対位置で得られた4枚の撮像画像を順次表示させている。すなわち、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)のうちの一方の移動に応じて、各位置で撮像された静止画像が順次追加表示されて、表示画像が順次変化する。例えば、表示制御部40Cは、図5で示したように「相対移動のパターン」が時計回りであれば、LCD(表示部)24の表示画面が4分割された4つの部分画面領域に対して、基準位置及び3つの相対位置で得られた4枚の撮像画像を時計回りで順次表示させている。この「表示パターン」は、これに限定されるものではなく、例えば、イメージセンサ22の移動方向にマッチさせて、基準位置及び3つの相対位置で得られた4枚の撮像画像を反時計回りで順次表示させるパターンであってもよい。又は、「表示パターン」は、基準位置及び3つの相対位置で得られた4枚の撮像画像を表示位置の軌跡が「Z」を描くように順次表示させるパターンであってもよい。すなわち、複数画像を縮小表示する際に用いられる表示パターン(例えば、3行3列の分割表示領域がある場合、1行目で左から右に順次表示した後に2行目に移り、2行目で左から右に順次表示した後に3行目に移り、3行目で左から右に順次表示する表示パターン)と同様の表示パターンであってもよい。また、「表示パターン」は、LCD(表示部)24の表示画面が縦又は横に4分割された4つの部分画面領域に対して、基準位置及び3つの相対位置で得られた4枚の撮像画像を、例えば、上(下)から又は右(左)から順番に表示させるパターンであってもよい。
以上のように第1実施形態によれば、DSP(制御装置)40において、表示制御部40Cは、基準位置及び複数の相対位置でそれぞれ撮像された複数の撮像画像を、「相対移動」と同期してLCD(表示部)24にそれぞれ表示させる。
このDSP(制御装置)40の構成により、マルチショット合成モードの撮像処理で電子シャッタが用いられる場合であっても、ユーザに、1セットの撮像がいつ開始されいつ終了するのかについて認識させることができる。この結果として、1セットの撮像中にユーザが撮像装置を動かしてしまう可能性が低くなり、1セットの撮像画像ひいては合成画像の画質(品質)を向上させることができる。
例えば、表示制御部40Cは、LCD(表示部)24の表示画面に複数の部分画面領域を設定し、基準位置及び複数の相対位置で得られた複数の撮像画像を、基準位置及び複数の相対位置に対応する複数の部分画面領域にそれぞれ表示させる。
このDSP(制御装置)40の構成により、マルチショット合成モードの撮像処理の進行具合をユーザに確実に認識させることができる。
また、例えば、表示制御部40Cは、相対移動のパターンに対応する表示パターンで、複数の撮像画像をLCD(表示部)24に表示させる。
このDSP(制御装置)40の構成により、マルチショット処理の動きにマッチした態様で、マルチショット合成モードの撮像処理の進行具合をユーザに確実に認識させることができる。すなわち、ユーザは、マルチショット処理において移動部材(イメージセンサと光学要素の少なくとも一方)がどのような軌跡を描いているのかを擬似的に把握することができる。
(変形例)
表示制御部40Cは、「画像合成処理中であることを示す情報を含む表示画像」として、複数の部分画面領域にそれぞれ表示された複数の撮像画像がLCD(表示部)24の表示画面の所定領域(例えば、中央領域)に集合して合成集約されるアニメーションを表示させてもよい。
≪第2実施形態≫
第2実施形態は、第1実施形態のように撮像中(撮像未完了)の基準位置又は相対位置に対応する部分画面領域をブラックアウト状態にしておくのではなく、撮像中の基準位置又は相対位置に対応する部分画面領域に「撮像中であることを示す情報」を表示する実施形態に関する。なお、第2実施形態のデジタルカメラ(撮像装置)の構成は、第1実施形態のデジタルカメラ(撮像装置)10の構成と同様なので、図1から図4を参照して説明する。
[撮像装置の構成例]
第2実施形態のデジタルカメラ(撮像装置)10において、表示制御部40Cは、基準位置及び複数の相対位置のうちで現在撮像中の位置に対応する部分画面領域に、「撮像中であることを示す情報」を表示させる。例えば、表示制御部40Cは、基準位置及び複数の相対位置のうちで現在撮像中の位置に対応する部分画面領域に、「カメラマーク」をグレー表示させる。なお、「カメラマーク」の表示色は特にグレーに限定されるものではなく、「カメラマーク」の表示態様は、背景と異なる表示態様であればよい。
[撮像装置の動作例]
以上の構成を有する第2実施形態のジタルカメラ(撮像装置)10の処理動作の一例について説明する。図8は、第2実施形態のデジタルカメラの処理動作の説明に供する図である。図9は、第2実施形態のデジタルカメラの処理動作タイミングの一例を示すタイミングチャートである。
ステップS21では、DSP(制御装置)40の撮像制御部40Aは、基準位置(つまり、図5(A)に示した位置)において、1枚目の撮影を制御する。さらに、ステップS21では、表示制御部40Cは、基準位置(つまり、図5(A)に示した位置)に対応する部分画面領域に、「カメラマーク」を表示する。例えば、図9に示すように、期間P1,P2において、基準位置に対応する部分画面領域に「カメラマーク」が表示された表示画像I21が表示される。
基準位置での撮影が終わると、ステップS22では、撮像制御部40Aは、1番目の相対位置(つまり、図5(B)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この1番目の相対位置において、2枚目の撮影を制御する。さらに、ステップS22では、表示制御部40Cは、基準位置で得られた撮像画像(現像した画像)を、基準位置に対応するLCD(表示部)24の部分画面領域に表示させると共に、現在撮像中の1番目の相対位置に対応する部分画面領域に、「カメラマーク」を表示する。例えば、図9に示すように、期間P3,P4において、基準位置に対応する部分画面領域に基準位置で得られた撮像画像が表示されると共に、現在撮像中の1番目の相対位置に対応する部分画面領域に「カメラマーク」が表示された表示画像I22が表示される。
1番目の相対位置での撮影が終わると、ステップS23では、撮像制御部40Aは、2番目の相対位置(つまり、図5(C)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この2番目の相対位置において、3枚目の撮影を制御する。さらに、ステップS23では、表示制御部40Cは、1番目の相対位置で得られた撮像画像(現像した画像)を、1番目の相対位置に対応するLCD(表示部)24の部分画面領域に表示させると共に、現在撮像中の2番目の相対位置に対応する部分画面領域に、「カメラマーク」を表示する。例えば、図9に示すように、期間P5,P6において、1番目の相対位置に対応する部分画面領域に1番目の相対位置で得られた撮像画像が表示されると共に、現在撮像中の2番目の相対位置に対応する部分画面領域に「カメラマーク」が表示された表示画像I23が表示される。
2番目の相対位置での撮影が終わると、ステップS24では、撮像制御部40Aは、3番目の相対位置(つまり、図5(D)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この3番目の相対位置において、4枚目の撮影を制御する。さらに、ステップS24では、表示制御部40Cは、2番目の相対位置で得られた撮像画像(現像した画像)を、2番目の相対位置に対応するLCD(表示部)24の部分画面領域に表示させると共に、現在撮像中の3番目の相対位置に対応する部分画面領域に、「カメラマーク」を表示する。例えば、図9に示すように、期間P7,P8において、2番目の相対位置に対応する部分画面領域に2番目の相対位置で得られた撮像画像が表示されると共に、現在撮像中の3番目の相対位置に対応する部分画面領域に「カメラマーク」が表示された表示画像I24が表示される。
3番目の相対位置での撮影が終わると、ステップS25では、合成画像生成部40Bは、基準位置及び3つの相対位置で得られた4枚の撮像画像を用いて、合成画像を生成する。さらに、ステップS25では、表示制御部40Cは、3番目の相対位置で得られた撮像画像(現像した画像)を、3番目の相対位置に対応するLCD(表示部)24の部分画面領域にさらに表示させる。例えば、期間P9aにおいて、基準位置及び3つの相対位置で得られた4枚の撮像画像がそれぞれ対応する部分画面領域に表示された表示画像I25が表示される。
ステップS26では、表示制御部40Cは、画像合成処理中であることを示す情報を、LCD(表示部)24に表示させる。例えば、図9に示すように、期間P9bにおいて、画像合成処理中であることを示す情報を含む表示画像I26が表示される。
画像合成処理が終わると、ステップS27で、表示制御部40Cは、生成された合成画像を、LCD(表示部)24に表示させる。例えば、図9に示すように、期間P10では、合成画像を含む表示画像I27が、LCD(表示部)24に表示される。
以上のように第2実施形態によれば、DSP(制御装置)40において、表示制御部40Cは、基準位置及び複数の相対位置のうちで現在撮像中の位置に対応する部分画面領域に、「撮像中であることを示す情報」を表示させる。
このDSP(制御装置)40の構成により、マルチショット合成モードの撮像処理で電子シャッタが用いられる場合であっても、ユーザに、1セットのうちの何番目の画像を撮影中であるのかについて確実に認識させることができる。
≪第3実施形態≫
第3実施形態は、基準位置及び前記複数の相対位置で得られた複数の撮像画像を表示する表示方法のバリエーションに関する。なお、第3実施形態のデジタルカメラ(撮像装置)の構成は、第1実施形態のデジタルカメラ(撮像装置)10の構成と同様なので、図1から図4を参照して説明する。
[撮像装置の構成例]
第3実施形態のデジタルカメラ(撮像装置)10において、表示制御部40Cは、基準位置及び複数の相対位置で得られた複数の撮像画像を、一部重なるように一方向に表示位置をずらしながらLCD(表示部)24の表示画面に表示させる。
例えば、表示制御部40Cは、基準位置及び複数の相対位置にそれぞれ対応する複数の部分画面領域を、一方向にずらして一部重なるように、LCD(表示部)24の表示画面に設定する。そして、基準位置及び複数の相対位置で得られた複数の撮像画像を、基準位置及び複数の相対位置に対応する複数の部分画面領域に順次表示する。表示制御部40Cは、第2実施形態と同様に、基準位置及び複数の相対位置のうちで現在撮像中の位置に対応する部分画面領域に、「撮像中であることを示す情報」を表示させてもよい。
また、表示制御部40Cは、画像セットを構成する撮像画像の数、及び、現時点で既に得られている撮像画像の数を、各撮像画像と共にLCD(表示部)24の表示画面に表示させる。
[撮像装置の動作例]
以上の構成を有する第2実施形態のジタルカメラ(撮像装置)10の処理動作の一例について説明する。図10は、第3実施形態のデジタルカメラの処理動作の説明に供する図である。
ステップS41では、撮像制御部40Aは、基準位置(つまり、図5(A)に示した位置)において、1枚目の撮影を制御する。
基準位置での撮影が終わると、ステップS42では、表示制御部40Cは、基準位置で得られた撮像画像(現像した画像)を、基準位置に対応するLCD(表示部)24の部分画面領域に表示させる。このときに表示される画像が、表示画像I41である。表示画像I41には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「1」であることを示す、「1/4」が示されている。ステップS43では、撮像制御部40Aは、1番目の相対位置(つまり、図5(B)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この1番目の相対位置において、2枚目の撮影を制御する。
1番目の相対位置での撮影が終わると、ステップS44では、表示制御部40Cは、1番目の相対位置で得られた撮像画像(現像した画像)を、1番目の相対位置に対応するLCD(表示部)24の部分画面領域にさらに表示させる。上記の通り、基準位置及び複数の相対位置にそれぞれ対応する複数の部分画面領域は、一方向にずれながら一部重なるように、LCD(表示部)24の表示画面に設定されている。このため、図10の表示画像I42に示すように、基準位置で得られた撮像画像の一部の領域を除いて、1番目の相対位置で得られた撮像画像が、基準位置で得られた撮像画像の上に重畳表示される。表示画像I42には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「2」であることを示す、「2/4」が示されている。ステップS45では、撮像制御部40Aは、2番目の相対位置(つまり、図5(C)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この2番目の相対位置において、3枚目の撮影を制御する。
2番目の相対位置での撮影が終わると、ステップS46では、表示制御部40Cは、2番目の相対位置で得られた撮像画像(現像した画像)を、2番目の相対位置に対応するLCD(表示部)24の部分画面領域にさらに表示させる。図10の表示画像I43に示すように、1番目の相対位置で得られた撮像画像の一部の領域を除いて、2番目の相対位置で得られた撮像画像が、1番目の相対位置で得られた撮像画像の上に重畳表示される。表示画像I43には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「3」であることを示す、「3/4」が示されている。ステップS47では、撮像制御部40Aは、3番目の相対位置(つまり、図5(D)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この3番目の相対位置において、4枚目の撮影を制御する。
3番目の相対位置での撮影が終わると、ステップS8では、表示制御部40Cは、3番目の相対位置で得られた撮像画像(現像した画像)を、3番目の相対位置に対応するLCD(表示部)24の部分画面領域にさらに表示させる。図10の表示画像I44に示すように、2番目の相対位置で得られた撮像画像の一部の領域を除いて、3番目の相対位置で得られた撮像画像が、2番目の相対位置で得られた撮像画像の上に重畳表示される。表示画像I44には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「4」であることを示す、「4/4」が示されている。ステップS49では、合成画像生成部40Bは、基準位置及び3つの相対位置で得られた4枚の撮像画像を用いて、合成画像を生成する。このとき、表示制御部40Cは、画像合成処理中であることを示す情報を含む表示画像I45を、LCD(表示部)24に表示させる。
画像合成処理が終わると、ステップS50で、表示制御部40Cは、生成された合成画像を、LCD(表示部)24に表示させる。例えば、図10に示すように、合成画像を含む表示画像I46が、LCD(表示部)24に表示される。
以上のように第3実施形態によれば、DSP(制御装置)40において、表示制御部40Cは、基準位置及び複数の相対位置で得られた複数の撮像画像を一部重なるように一方向に表示位置をずらしながらLCD(表示部)24に表示させる。
このDSP(制御装置)40の構成により、マルチショット合成モードの撮像処理の進行具合をユーザに確実に認識させることができる。
≪第4実施形態≫
第4実施形態は、基準位置及び前記複数の相対位置で得られた複数の撮像画像を表示する表示方法のバリエーションに関する。なお、第4実施形態のデジタルカメラ(撮像装置)の構成は、第1実施形態のデジタルカメラ(撮像装置)10の構成と同様なので、図1から図4を参照して説明する。
[撮像装置の構成例]
第4実施形態のデジタルカメラ(撮像装置)10において、表示制御部40Cは、基準位置及び前記複数の相対位置で得られた複数の撮像画像に「半透明化処理」をそれぞれ施し、得られた複数の半透明画像をLCD(表示部)24に重畳表示させる。「半透明化処理」とは、撮像画像の透過率を調整して半透明画像を生成する処理である。ここでは、4枚の半透明画像を重畳表示させることを前提としているので、表示制御部40Cは、一例として、4枚の半透明画像を重畳表示したときに透過率の総和が100%となるように、各半透明画像の透過率を25%(=1/4[%])としてもよい。また、表示制御部40Cは、基本位置における撮像処理中に、「撮像中であることを示す情報」をLCD(表示部)24に表示させてもよい。
例えば、表示制御部40Cは、得られた複数の半透明画像を、表示位置をずらしながらLCD(表示部)24に重畳表示させる。表示位置のずれ量は、特に限定されるものではないが、例えば、上記の「相対移動のパターン」に応じた量であってもよい。すなわち、上記の「相対移動のパターン」が1画素ピッチで相対移動するパターンである場合、表示位置のズレ量を「1画素ピッチ」としてもよい。又は、表示位置のズレ量を「1画素ピッチ」より大きくしてもよい。
また、表示制御部40Cは、画像セットを構成する撮像画像の数、及び、現時点で既に得られている撮像画像の数を、各撮像画像と共にLCD(表示部)24の表示画面に表示させる。
[撮像装置の動作例]
以上の構成を有する第4実施形態のジタルカメラ(撮像装置)10の処理動作の一例について説明する。図11は、第4実施形態のデジタルカメラの処理動作の説明に供する図である。
期間P1では、DSP(制御装置)40の撮像制御部40Aは、撮影準備を制御する。期間P2では、撮像制御部40Aは、基準位置(つまり、図5(A)に示した位置)において、1枚目の撮影を制御する。
期間P3では、撮像制御部40Aは、1番目の相対位置(つまり、図5(B)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させる。期間P4では、撮像制御部40Aは、1番目の相対位置において、2枚目の撮影を制御する。また、期間P3,P4では、表示制御部40Cは、基準位置に対応する半透明画像をLCD(表示部)24に表示させる。このとき表示される画像が、表示画像I61(透過画像(1))である。表示画像I61には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「1」であることを示す、「1/4」が示されている。
期間P5では、撮像制御部40Aは、2番目の相対位置(つまり、図5(C)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させる。期間P6では、撮像制御部40Aは、2番目の相対位置において、3枚目の撮影を制御する。また、期間P5,P6では、表示制御部40Cは、1番目の相対位置に対応する半透明画像をLCD(表示部)24に重畳表示させる。このとき表示される画像が、表示画像I62(透過画像(1+2))である。表示画像I62には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「2」であることを示す、「2/4」が示されている。
期間P7では、撮像制御部40Aは、3番目の相対位置(つまり、図5(D)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させる。期間P8では、撮像制御部40Aは、3番目の相対位置において、4枚目の撮影を制御する。また、期間P7,P8では、表示制御部40Cは、2番目の相対位置に対応する半透明画像をLCD(表示部)24にさらに重畳表示させる。このとき表示される画像が、表示画像I63(透過画像(1+2+3))である。表示画像I63には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「3」であることを示す、「3/4」が示されている。
期間P9では、合成画像生成部40Bは、画像合成処理を実行する。また、期間9aでは、表示制御部40Cは、3番目の相対位置に対応する半透明画像をLCD(表示部)24にさらに重畳表示させる。このとき表示される画像が、表示画像I64(透過画像(1+2+3+4))である。期間9bでは、表示制御部40Cは、画像合成処理中であることを示す情報を、LCD(表示部)24に表示させる。このとき表示される画像が、表示画像I65である。表示画像I64には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「4」であることを示す、「4/4」が示されている。
期間P10では、表示制御部40Cは、生成された合成画像を、LCD(表示部)24に表示させる。このとき表示される画像が、表示画像I66である。
以上のように第4実施形態によれば、DSP(制御装置)40において、表示制御部40Cは、基準位置及び複数の相対位置で得られた複数の撮像画像に半透明化処理をそれぞれ施して得られた複数の半透明画像を、LCD(表示部)24に重畳表示させる。
このDSP(制御装置)40の構成により、マルチショット合成モードの撮像処理の進行具合をユーザに確実に認識させることができる。
表示位置のずれ量は、例えば、上記の「相対移動のパターン」に応じた量である。
このDSP(制御装置)40の構成により、マルチショット処理の動きにマッチした態様で、マルチショット合成モードの撮像処理の進行具合をユーザに確実に認識させることができる。
また、表示位置のズレ量は、例えば、上記の「相対移動のパターン」の相対移動ピッチよりも大きい。
このDSP(制御装置)40の構成により、マルチショット合成モードの撮像処理の進行具合をユーザにさらに認識させ易くすることができる。
≪他の実施形態≫
[1]第1実施形態乃至第4実施形態では、RRS撮影モードにおいて、イメージセンサ22を光軸直交平面内で1画素ピッチの正方形を描くように駆動しながら撮影した4枚の画像を「複数の撮像画像から成る画像セット」とした場合を例示して説明した。しかし、イメージセンサ22の駆動軌跡及び駆動ピッチ並びに「複数の撮像画像から成る画像セット」の枚数や表示態様には自由度があり、種々の設計変更が可能である。例えば、第1実施形態乃至第4実施形態で説明した様に、画像セットの構成画像の枚数分の分割表示が行われてもよいし、画像セットの構成画像を順番に繰り返し表示させてもよい。またイメージセンサ22を駆動する方向は、撮影光学系の光軸と直交する平面内に限定されず、撮影光学系の光軸と異なる方向であればよい。さらに「複数の撮像画像から成る画像セット」は、RRS撮影モードで撮影(取得)したものに限定されず、同一の被写体について撮影条件を変えながら連続的に撮影したものであればよい。
[2]第1実施形態乃至第4実施形態では、イメージセンサ22を「移動部材」として、このイメージセンサ22を光軸直交平面内で駆動する態様を例示して説明したが、本発明はこれに限定されるものではない。例えば、撮影レンズ群(撮影光学系)31の少なくとも一部をなす光学要素を「移動部材」として、この光学要素を撮影レンズ30内に設けたボイスコイルモータによって光軸直交平面内で駆動する態様も可能である。あるいは、イメージセンサ22と撮影レンズ群(撮影光学系)31の少なくとも一部をなす光学要素の双方を「移動部材」として、これらを光軸直交平面内で駆動する態様も可能である。
[3]第1実施形態乃至第4実施形態では、画像セットの各撮像画像を、相対移動に応じてLCD(表示部)24に表示させることを前提に説明を行ったが、これに限定されるものではない。例えば、撮像画像をLCD(表示部)24に表示させる代わりに、現時点で既に得られている撮像画像の数を示す情報、画像セットを構成する撮像画像の数及び現時点で既に得られている撮像画像の数の両方を示す情報、又は、現在撮像中の位置(基準位置及び複数の相対位置)の順番を示す情報が相対移動に応じて表示されてもよい。すなわち、マルチショット合成モードの撮像処理の進行具合をユーザが認識可能な情報(指標)を表示させてもよい。このような表示方法は、例えば、上記の期間P1乃至P9aのすべてにおいて固定的に実行されてもよいし、又は、相対移動のスピードに画像処理が追従できておらず撮像画像を表示したくてもできないタイミング(例えば、期間P3、及び期間P4の最初の部分)においてのみ実行されてもよい。後者の場合、画像処理が終了した時点で撮像画像が表示されることとなる。このような表示方法によっても、マルチショット合成モードの撮像処理で電子シャッタが用いられる場合であっても、ユーザに、1セットの撮像がいつ開始されいつ終了するのかについて認識させることができる。この結果として、1セットの撮像中にユーザが撮像装置を動かしてしまう可能性が低くなり、1セットの撮像画像ひいては合成画像の画質(品質)を向上させることができる。
[4]第1実施形態乃至第4実施形態では、DSP40とイメージセンサ駆動回路60を別々の構成要素(ブロック)として描いているが、これらを単一の構成要素(ブロック)として実現する態様も可能である。
[5]第1実施形態乃至第4実施形態では、像振れ補正装置50の構成として、固定支持基板51に磁石M1、M2、M3及びヨークY1、Y2、Y3を固定し、可動ステージ52に駆動用コイルC1、C2、C3を固定した場合を例示して説明したが、この位置関係を逆にして、可動ステージに磁石及びヨークを固定し、固定支持基板に駆動用コイルを固定する態様も可能である。
[6]第1実施形態乃至第4実施形態では、ボディ本体20と撮影レンズ30を着脱可能(レンズ交換可能)とする態様を例示して説明したが、ボディ本体20と撮影レンズ30を着脱不能(レンズ交換不能)とする態様も可能である。
[7]第1実施形態乃至第4実施形態では、デジタルカメラ10が所謂ミラーレスカメラであることを前提として説明を行ったが、これに限定されるものではなく、所謂可動ミラーを有する一眼レフカメラであってもよい。第1実施形態乃至第4実施形態で開示の技術を一眼レフカメラに適用した場合、基準位置における撮影準備のとき又はその前に、可動ミラーを観察位置から撮影位置にアップさせ、シャッタを全開させて、この状態で基準位置において1枚、その後異なる相対位置において3枚撮影する。全ての撮影が終了したとき又はその後に、シャッタを全閉させて、可動ミラーを観察位置にダウンさせる。この態様によれば、撮影開始はミラーアップオン又はシャッタ動作オンにより認識し、その後撮影中であることは第1乃至第4実施形態と同様のLCD(表示部)24の表示態様によって認識することができる。
10 デジタルカメラ(撮影装置)
20 ボディ本体
21 シャッタ(撮影光学系)
22 イメージセンサ(撮像部、移動部材、振れ補正部材)
R G(Gr、Gb) B カラーフィルタ
23 絞り/シャッタ駆動回路
24 LCD(表示部)
25 画像メモリ
26 撮影操作スイッチ
27 ジャイロセンサ(振れ検出部)
28 RRS撮影モード設定部
30 撮影レンズ
31 撮影レンズ群(撮影光学系、移動部材、振れ補正部材)
32 絞り(撮影光学系)
33 通信用メモリ
40 DSP(制御装置)
40A 撮像制御部
40B 合成画像生成部
40C 表示制御部
50 像振れ補正装置
51 固定支持基板
52 可動ステージ
M1 M2 M3 磁石
Y1 Y2 Y3 ヨーク
C1 C2 C3 駆動用コイル
H1 H2 H3 ホールセンサ(位置検出部)
60 イメージセンサ駆動回路

Claims (14)

  1. 光学要素を含む撮影光学系により形成された被写体像を電気的な画素信号に変換するイメージセンサと、
    画像合成に用いる複数の撮像画像から成る画像セットを撮像する撮像処理を制御し、前記撮像処理では、前記イメージセンサ及び前記光学要素の少なくとも一方を移動させて両者の相対位置を変化させる撮像制御部と、
    前記画像セットの各撮像画像を前記移動に応じて表示部に表示させる表示制御部と、
    を具備することを特徴とする撮影装置。
  2. 請求項1記載の撮影装置において、
    前記撮像制御部は、前記イメージセンサ及び前記光学要素の一方の他方に対する基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記一方を順次移動させる、撮影装置。
  3. 請求項1又は2記載の撮影装置において、
    前記表示制御部は、前記画像セットを構成する撮像画像の数、及び、現時点で既に得られている撮像画像の数をユーザが認識可能な態様で、前記画像セットの各撮像画像を前記表示部に表示させる、撮影装置。
  4. 請求項3記載の撮影装置において、
    前記表示制御部は、前記表示部の表示画面に複数の部分画面領域を設定し、前記基準位置及び前記複数の相対位置で得られた前記複数の撮像画像を、前記基準位置及び前記複数の相対位置に対応する前記複数の部分画面領域にそれぞれ表示させる、撮影装置。
  5. 請求項4記載の撮影装置において、
    前記表示制御部は、前記基準位置及び前記複数の相対位置のうちで現在撮像中の位置に対応する前記部分画面領域に、撮像中であることを示す情報を表示させる、撮影装置。
  6. 請求項4又は5記載の撮影装置において、
    前記表示制御部は、前記合成画像の生成処理のタイミングにおいて、前記複数の部分画面領域にそれぞれ表示された前記複数の撮像画像が前記表示画面の所定領域に集合して合成集約されるアニメーションを表示させる、撮影装置。
  7. 請求項1乃至6のいずれか一項記載の撮影装置において、
    前記表示制御部は、前記移動のパターンに対応する表示パターンで、前記複数の撮像画像を表示部に表示させる、撮影装置。
  8. 請求項3記載の撮影装置において、
    前記表示制御部は、前記基準位置及び前記複数の相対位置で得られた前記複数の撮像画像を一部重なるように一方向に表示位置をずらしながら前記表示部の表示画面に表示させる、撮影装置。
  9. 請求項3記載の撮影装置において、
    前記表示制御部は、前記基準位置及び前記複数の相対位置で得られた前記複数の撮像画像に半透明化処理をそれぞれ施して得られた複数の半透明画像を、前記表示部の表示画面に重畳表示させる、撮影装置。
  10. 請求項9記載の撮影装置において、
    前記表示制御部は、前記得られた複数の半透明画像を、表示位置をずらしながら前記表示画面に重畳表示させる、撮影装置。
  11. 請求項2乃至10のいずれか一項記載の撮影装置において、
    前記撮像処理では、基本単位に1つのR画素と2つのG画素と1つのB画素とを含むカラーフィルタが用いられ、
    前記基準位置及び前記複数の相対位置は、前記基本単位の各画素に対応する、撮影装置。
  12. 画像合成に用いる複数の撮像画像から成る画像セットを、撮影装置のイメージセンサ及び光学要素の少なくとも一方を移動させて両者の相対位置を変化させながら前記撮影装置に撮像させて得る、撮影制御装置であって、
    前記画像セットの各撮像画像を前記移動に応じて表示部に表示させる表示制御部
    を具備することを特徴とする撮影制御装置。
  13. 画像合成に用いる複数の撮像画像から成る画像セットを、撮影装置のイメージセンサ及び光学要素の少なくとも一方を移動させて両者の相対位置を変化させながら前記撮影装置に撮像させて得る撮影制御方法であって、
    前記画像セットの各撮像画像を前記移動に応じて表示させる、
    ことを特徴とする撮影制御方法。
  14. 画像合成に用いる複数の撮像画像から成る画像セットを、イメージセンサ及び光学要素の少なくとも一方を移動させて両者の相対位置を変化させながら撮像して得る撮影装置に、
    前記画像セットの各撮像画像を前記移動に応じて表示部に表示する、
    処理を実行させることを特徴とする撮影制御プログラム。
JP2015118808A 2015-06-12 2015-06-12 撮影装置、撮影制御装置及び撮影制御方法 Expired - Fee Related JP6558088B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015118808A JP6558088B2 (ja) 2015-06-12 2015-06-12 撮影装置、撮影制御装置及び撮影制御方法
US15/161,560 US20160366340A1 (en) 2015-06-12 2016-05-23 Photographing apparatus, photographing controller, photographing control method, and photographing control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015118808A JP6558088B2 (ja) 2015-06-12 2015-06-12 撮影装置、撮影制御装置及び撮影制御方法

Publications (2)

Publication Number Publication Date
JP2017005554A true JP2017005554A (ja) 2017-01-05
JP6558088B2 JP6558088B2 (ja) 2019-08-14

Family

ID=57517436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015118808A Expired - Fee Related JP6558088B2 (ja) 2015-06-12 2015-06-12 撮影装置、撮影制御装置及び撮影制御方法

Country Status (2)

Country Link
US (1) US20160366340A1 (ja)
JP (1) JP6558088B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019106183A (ja) * 2017-12-14 2019-06-27 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び電子機器

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780812A (zh) * 2013-11-26 2014-05-07 广东欧珀移动通信有限公司 显示装置及其摄像显示方法
KR102469426B1 (ko) * 2015-10-27 2022-11-22 삼성전자주식회사 이미지 처리 장치 및 이의 동작 방법
KR20170076447A (ko) * 2015-12-24 2017-07-04 에스프린팅솔루션 주식회사 화상 취득 장치, 화상 형성 장치 및 화상 취득 장치의 제어 방법
US10951825B2 (en) * 2017-05-23 2021-03-16 Huawei Technologies Co., Ltd. Image photographing method applied to terminal, and terminal device
US10764495B2 (en) 2017-12-14 2020-09-01 Ricoh Company, Ltd. Image processing apparatus, image processing method, storage medium, system, and electronic apparatus
US11283973B2 (en) * 2018-10-30 2022-03-22 Sony Group Corporation Increasing virtual resolution of a camera sensor
CN109361880A (zh) * 2018-11-30 2019-02-19 三星电子(中国)研发中心 一种展示静态图片对应的动态图片或视频的方法及系统
US20220053143A1 (en) * 2018-12-28 2022-02-17 Qualcomm Incorporated Apparatus and method to correct the angle and location of the camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1118003A (ja) * 1997-06-19 1999-01-22 Sony Corp パノラマ撮像装置
JP2003023567A (ja) * 2001-07-10 2003-01-24 Olympus Optical Co Ltd 画像取得装置
JP2006013712A (ja) * 2004-06-23 2006-01-12 Pentax Corp 撮像装置
JP2008066978A (ja) * 2006-09-06 2008-03-21 Casio Comput Co Ltd 撮像装置
JP2013255188A (ja) * 2012-06-08 2013-12-19 Sony Corp 撮像素子、撮像装置、撮像方法およびプログラム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3193258B2 (ja) * 1995-03-20 2001-07-30 キヤノン株式会社 画像入力装置
US6429895B1 (en) * 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
EP0984319B1 (en) * 1998-07-08 2004-01-02 Hewlett-Packard Company, A Delaware Corporation Camera with keystone distortion correction
DE602004010363T2 (de) * 2003-01-17 2008-10-23 Nippon Telegraph And Telephone Corp. Fernvideoanzeigeverfahren, videoerfassungseinrichtung, verfahren dafür und programm dafür
JP2006025311A (ja) * 2004-07-09 2006-01-26 Konica Minolta Photo Imaging Inc 撮像装置、及び画像取得方法
JP2006128780A (ja) * 2004-10-26 2006-05-18 Konica Minolta Photo Imaging Inc デジタルカメラ
DE102005041431B4 (de) * 2005-08-31 2011-04-28 WÖHLER, Christian Digitale Kamera mit verschwenkbarem Bildsensor
KR101255209B1 (ko) * 2006-05-04 2013-04-23 삼성전자주식회사 인터레이스 방식으로 영상을 디스플레이 하는 고해상도입체 영상 디스플레이 장치
JP5000395B2 (ja) * 2007-06-26 2012-08-15 オリンパス株式会社 撮像表示方法および撮像表示装置
JP4931845B2 (ja) * 2008-03-18 2012-05-16 富士フイルム株式会社 撮像装置及び撮影画像表示制御方法
JP5188293B2 (ja) * 2008-07-03 2013-04-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
WO2010038378A1 (ja) * 2008-10-02 2010-04-08 パナソニック株式会社 画素ずらし型撮像装置
US8090251B2 (en) * 2009-10-13 2012-01-03 James Cameron Frame linked 2D/3D camera system
JP5379647B2 (ja) * 2009-10-29 2013-12-25 オリンパス株式会社 撮像装置、及び、画像生成方法
JP2011205573A (ja) * 2010-03-26 2011-10-13 Sony Corp 制御装置、カメラシステム及びプログラム
US20130314515A1 (en) * 2010-10-22 2013-11-28 Samsung Electronics Co., Ltd. Stereoscopic display system, glasses used for the system, and display method therefor
WO2013024430A1 (en) * 2011-08-16 2013-02-21 Imax Corporation Hybrid image decomposition and projection
JP5951367B2 (ja) * 2012-01-17 2016-07-13 シャープ株式会社 撮像装置、撮像画像処理システム、プログラムおよび記録媒体
US9488823B2 (en) * 2012-06-07 2016-11-08 Complete Genomics, Inc. Techniques for scanned illumination
US9628676B2 (en) * 2012-06-07 2017-04-18 Complete Genomics, Inc. Imaging systems with movable scan mirrors
CN104620568B (zh) * 2012-06-11 2018-02-09 索尼公司 控制设备、控制方法和记录介质
US9134503B2 (en) * 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9568802B1 (en) * 2013-03-15 2017-02-14 Lockheed Martin Corporation Spatial isolation of energy associated with a scene
US9456746B2 (en) * 2013-03-15 2016-10-04 Carl Zeiss Meditec, Inc. Systems and methods for broad line fundus imaging
JP2014216976A (ja) * 2013-04-30 2014-11-17 ソニー株式会社 撮像装置、および画像記録処理方法、並びにプログラム
US9948862B2 (en) * 2013-11-12 2018-04-17 Casio Computer Co., Ltd. Data display apparatus which controls display of a plurality of data, image display apparatus which individually displays a series of images, data display method, image display method, and storage medium
JP6261301B2 (ja) * 2013-11-28 2018-01-17 キヤノン株式会社 医用画像表示装置およびその制御方法
TWI608403B (zh) * 2014-02-14 2017-12-11 緯創資通股份有限公司 多視窗快速排列方法與系統及其行動裝置
US10871745B2 (en) * 2014-08-01 2020-12-22 The Regents Of The University Of California Device and method for iterative phase recovery based on pixel super-resolved on-chip holography
JP6513963B2 (ja) * 2015-02-25 2019-05-15 京セラ株式会社 電子機器及び電子機器の動作方法
US9667848B2 (en) * 2015-04-22 2017-05-30 Qualcomm Incorporated Tiltable camera module
US9772465B2 (en) * 2015-06-04 2017-09-26 Qualcomm Incorporated Methods and devices for thin camera focusing alignment
WO2017041055A1 (en) * 2015-09-02 2017-03-09 Thumbroll Llc Camera system and method for aligning images and presenting a series of aligned images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1118003A (ja) * 1997-06-19 1999-01-22 Sony Corp パノラマ撮像装置
JP2003023567A (ja) * 2001-07-10 2003-01-24 Olympus Optical Co Ltd 画像取得装置
JP2006013712A (ja) * 2004-06-23 2006-01-12 Pentax Corp 撮像装置
JP2008066978A (ja) * 2006-09-06 2008-03-21 Casio Comput Co Ltd 撮像装置
JP2013255188A (ja) * 2012-06-08 2013-12-19 Sony Corp 撮像素子、撮像装置、撮像方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019106183A (ja) * 2017-12-14 2019-06-27 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び電子機器
JP7268342B2 (ja) 2017-12-14 2023-05-08 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び電子機器

Also Published As

Publication number Publication date
JP6558088B2 (ja) 2019-08-14
US20160366340A1 (en) 2016-12-15

Similar Documents

Publication Publication Date Title
JP6558088B2 (ja) 撮影装置、撮影制御装置及び撮影制御方法
JP5701785B2 (ja) カメラモジュール
CN106257912B (zh) 摄像装置、摄像方法
JP6508311B2 (ja) 撮影装置、撮影モジュール、撮影方法及び撮影プログラム
US9749523B2 (en) Photographing apparatus, photographing method, image processor, image-processing method, and program
JP6503907B2 (ja) 撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラム
JP2011035737A (ja) 撮像装置、電子機器、画像処理装置及び画像処理方法
JP6260614B2 (ja) 撮影装置及び撮影制御システム
CN103733606A (zh) 成像设备
JP5525109B2 (ja) 撮像装置
JP5507761B2 (ja) 撮像装置
JP5628914B2 (ja) 撮像装置および撮像方法
US10587811B2 (en) Display control apparatus and control method for the same
JP2012133185A (ja) 撮像装置
US10057492B2 (en) Photographing apparatus and photographing control method to generate a low-pass filter effect
JP7481925B2 (ja) 像ブレ補正制御装置及び方法、プログラム、記憶媒体
JP2022064968A (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP2014225818A (ja) 撮影装置
JP2017146362A (ja) 撮影装置、撮影方法及び撮影プログラム
JP6500618B2 (ja) 撮影装置及び撮影方法
JP2010171769A (ja) 電子カメラ
JP6500384B2 (ja) 撮影装置、撮影方法及びプログラム
JP6485204B2 (ja) 撮影装置、画像ファイル生成装置、画像ファイル処理装置及びプログラム
JP6500617B2 (ja) 撮影装置及び撮影方法
JP2010157892A (ja) 画像生成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190517

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190701

R150 Certificate of patent or registration of utility model

Ref document number: 6558088

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees