JP2017022543A - 画像処理装置 - Google Patents

Abstract

【課題】インターバル撮影機能を有する撮像装置において、露光処理／比較明合成処理／レビュー表示をシーケンシャルに繰り返し処理すると撮影間で露光間隔が空いてしまい、綺麗な線上の星空軌跡が記録できず軌跡に途切れが生じてしまう。
【解決手段】インターバル撮影において、各撮影処理（露光／比較明合成／レビュー表示）を分解して並列的に処理することで、撮影間の露光間隔を短縮し、星空軌跡の途切れを改善する。
【選択図】図４

Description

本発明は、画像処理装置に関し、撮影毎の黒引きができない撮影モードで、撮影した複数の画像を用いて画像を合成して表示する技術に関する。

近年、被写界を撮影して画像データを生成し、この画像データを画像コンテンツとして記録するデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。また、記録対象となる画像を撮像動作の終了時に表示部にレビュー表示させることによりその画像コンテンツを確認することが可能な撮像装置が提案されている。

また、複数の画像を一連の撮像動作により生成し、この生成された複数の画像を比較明合成あるいは比較暗合成する撮像装置が存在する。比較明合成とは、例えば連続撮影により撮影された複数の画像を比較して基準の画像に対して明るい画素だけを合成する合成方法である。この合成方法を用いてインターバル撮影処理を行うことで、被写界の長時間の変化を一枚の画像に映しこみながら合成途中画像表示する撮影装置が提案されている (特許文献１)。

また、インターバル撮影を長時間にわたって撮影を続けていると、撮像素子の温度が上昇することにより、ＬＣＤモニタに表示させる合成途中画像が、段々と明るくなってしまう現象(黒浮き)が発生し、蛍や星などの微細な明かりが良く確認できないという現象を改善するための提案もなされている (特許文献２)。

特願２０１１−２００８２８号公報 特開２０１５−４１８７９号公報

しかしながら、特許文献１、２に提案されたデジタルスチルカメラにてインターバル撮影を行うと、露光処理、比較明合成処理、レビュー画作成（表示）の流れでシーケンシャルに処理することになるため、撮影間で露光間隔が空いてしまうと、綺麗な線上の星空軌跡が記録できず、星空軌跡に途切れが生じてしまうという問題があった。

本発明に係る画像処理装置は、上記課題を解決するためになされたものであり、
画像を撮影する撮像素子と、
前記画像を記憶する記憶手段と、
撮像された画像とその画像を記憶するメモリ部と、
前記撮像素子の露光および読み出しを所定の周期で繰り返し行って複数枚の画像を順次取得するインターバル撮影手段と、
前記インターバル撮影手段により順次撮影される複数枚の画像のうち、１枚目の画像と２枚目の画像とを用いて比較明合成処理を行って処理結果を合成画像として前記メモリ部に記憶し、３枚目以降の画像については、該画像と前記メモリ部に記憶された合成画像とを用いて前記比較明合成処理を行って処理結果を新たな合成画像として前記メモリ部に記憶する処理を繰り返し行う比較明合成手段と
前期インターバル撮影手段により、順次撮影されるタイミングに同期して前記インターバル撮影処理を停止させることなく、前記メモリ部に記憶された合成画像を前記表示手段に表示させる合成画像表示手段と を有し
前記撮影処理、比較明合成処理、合成画像表示処理を並列で処理可能であることを特徴とする。

本発明に係る画像処理装置によれば、撮影間の露光間隔を短縮することができ、途切れの少ない星空軌跡画像を生成することができる。

本発明を実施するための形態の構成ブロック図である。 本発明の処理手順を示すフローチャートである。 インターバル撮影一連の処理をシーケンシャルに処理した際の概要図である。 インターバル撮影一連の処理を並列処理した際の概要図である。 インターバル撮影一連の処理を並列処理した際の概要図である。

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。

本発明に係る画像処理装置について、デジタルカメラを例に用いて説明をおこなう。以下、図面を参照して本発明の実施例を説明する。図１は本発明の実施例の構成を示す図である。

図１において、１００は画像処理装置である。１０は撮影レンズ、１１は絞り機能を備える機械式シャッター、１２は光学像を電気信号に変換する撮像素子、１３は撮像素子１２のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。

１４は画像処理部であり、 Ａ／Ｄ変換器１３からのデータ或いはメモリ制御部１５からのデータに対して所定の画素補間処理や色変換処理を行う。また１４の画像処理部によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理部１４においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部２２が露光制御手段２３、測距制御手段２４に対して制御を行う、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行っている。

さらに、画像処理部１４においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

１５はメモリ制御回路であり、Ａ／Ｄ変換器１３、画像処理部１４、メモリ１７、圧縮・伸長回路２６を制御する。Ａ／Ｄ変換器１３のデータが画像処理部１４、メモリ制御部１５を介して、或いはＡ／Ｄ変換器１３のデータが直接メモリ制御部１５を介して、メモリ１７に書き込まれる。１６はＴＦＴ ＬＣＤ等から成る画像表示部であり、メモリ１７に書き込まれた表示用の画像データはメモリ制御回路１５を介して画像表示部１６により表示される。

画像表示部１６を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部１６は、システム制御回路２２の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

１７は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１７に対して行うことが可能となる。また、メモリ１７はシステム制御回路２２の作業領域としても使用することが可能である。

１８はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路２２が実行するプログラムコードは不揮発性メモリ１８に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。１９はメモリカードやハードディスク等の記録媒体とのインタフェース、２００はメモリカードやハードディスク等の記録媒体である。

２０は、システム制御回路２２の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。２１はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源制御部である。

２２は画像処理装置１００全体を制御するシステム制御回路である。２３は絞り機能を備えるシャッター１１を制御する露光制御手段であり、２４は撮影レンズ１０のフォーカシングを制御する測距制御手段である。露光制御手段２３、測距制御手段２４はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路１４によって演算した演算結果に基づき、システム制御回路２２が露光制御手段２３、測距制御手段２４に対して制御を行う。

２５はメモリ１７および記録媒体２００に置かれた撮影画像を合成する画像合成手段である。２６は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ１７に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ１７に書き込む。

次に、本発明の実施形態について説明する。昨今、デジタルカメラを様々な機能拡張に伴い、通常の撮影のみならず、多重露光やパノラマ合成処理などの機能が搭載されてきている。その機能の一つに、カメラを三脚に固定し、インターバル撮影を行って得られた複数枚の静止画を撮影し、合成画像を作成する手法がある。具体的には、撮影画面内を移動している蛍の光跡を映しこんだ写真や、地球の日周運動に起因する夜空を移動する星の光跡を表現した写真を作成するために、比較明合成という合成処理がなされる場合がある。

比較明合成処理は、一般的に以下の手順で行われる。まず、ユーザーの指示に従ってインターバル撮影を開始する。撮影を開始したら複数枚撮影の最初の静止画一枚目を撮影し、合成用に用意したメモリ領域に基準画像として格納する。次にインターバル撮影の2枚目の静止画を撮影し合成用メモリ領域に格納されている1枚目の静止画と比較する。具体的には同じ画素の輝度を比較し、輝度が高い方の画素を合成用メモリ領域に書き戻す。この処理を全画素について行って合成用メモリ領域に１枚目の静止画と２枚目の静止画との合成画像を保持させる。

その後、３枚目以降の静止画については、合成用メモリ領域の合成画像と処理すべき静止画の同じ画素の輝度を比較し、輝度が高い方の画素を合成用メモリ領域に書き戻す処理を全画素について行い、処理すべき静止画すべてについて上記の工程を繰り返すことで順次画像合成処理をしていくものである。

デジタルカメラのインターバル撮影により得られた多数枚の静止画を用いて上記のような比較明合成処理を行うことで、あたかも長時間露光を行ったような合成画像が得られる。比較明合成処理は、一般的に、パーソナルコンピュータ（以下、ＰＣという。）にインストールされたソフトウェアにより実行される。つまり、撮影者は、デジタルカメラを用いてインターバル撮影を行い、得られた多数枚の画像をＰＣに取り込んで、ＰＣのソフトウェアによって比較明合成処理を行うのが一般的である。

しかし、上記の方法をデジタルカメラで行うと撮影時間が長時間になるにしたがって、撮像センサーの暗電流が増え、撮像センサーに光が当たっていない画素からも、画素信号が出力されてしまう。その結果、前述の比較明合成を行うと合成画像の暗い部分がだんだん浮いてきてしまう(黒浮き現象)。

一般的には、撮像センサーの暗電流対策には黒引き処理が行われる。黒引き処理とは、撮影の前後で実際に撮像センサーを使用して本撮影と暗黒撮影を行い、減算処理をする事により本撮影で撮影した画像から暗電流で発生した信号分を差し引く処理である。具体的にはまず、本撮影を行い本画像の撮影を行う。その次本撮影と同じ露光時間、露光感度などを同条件に揃えて暗黒撮影を行う。それにより撮像センサーの暗電流分を導出し先に撮影した本撮影から、各画素ごとに減算処理を行う事で黒引き処理としている。

しかし前述の通り蛍の光跡の撮影や星の光跡の撮影でこの黒引き処理を行うと、暗黒撮影時の画像をデジタルカメラに取り込む事が出来ないので、蛍の光跡や星の功績が途切れて撮影されてしまう。その結果、蛍の光跡や星の光跡が破線状になってしまうため、比較明合成を行うインターバル撮影では黒引き処理を行うのは好ましくない。

本実施形態に係るデジタルカメラに於いては、上記の現象を軽減するために、本画像に於いては比較明合成を行うインターバル撮影が終了した際に、前述の暗黒撮影を行い比較明合成画像との間で黒引き処理を行う。この処理を行う事により最終的に残される比較明合成画像については黒浮き現象が低減される。また本発明においては、インターバル撮影を行うタイミングで表示部に比較明合成途中の画像を表示部に表示する事を提案している。しかし、合成途中の画像は暗黒撮影が行えないため黒引き処理を行うことができないので、比較明合成を行うインターパル撮影の撮影枚数が増えるにしたがって、途中合成画像がだんだんと黒浮きしてきてしまう。

本発明に於いてはさらにこの画像についてはＯＢ領域から求めた暗電流の値を、比較明合成途中画像を表示用画像に処理するタイミングで減算処理することにより、表示画像の黒浮きを低減でき、かつさらに好ましい比較明合成途中画像を表示することができる。

この場合、ＯＢ領域から求めた暗電流の値を減算するだけでなく、例えば撮影開始前に撮影したおいた暗黒撮影した画像から減算処理を行っても構わない。また色変換処理回路を利用して任意に画像処理を行っても同様な効果を得る事ができる。

またインターバル撮影の一連の処理（撮影／比較明合成／レビュー表示）をシーケンシャルに処理すると、撮影間の露光間隔が空いてしまう（撮影した後、比較明合成／レビュー表示処理が終わるまで次の撮影が待たされる）ために綺麗な線上の星空軌跡が記録できず、星空軌跡に途切れが生じてしまうという問題が発生する。

上記の問題を解決するため本発明では、インターバル撮影の各処理を並列的に処理することで撮影間の露光間隔を短縮することができ、途切れの少ない星空軌跡画像を生成することができる。

次に図を使って、この発明に係る画像処理装置の処理の流れを詳細に説明する。

［第１の実施形態］
第１の実施形態では、インターバル撮影の一連の処理（撮影／比較明合成／レビュー表示）をシーケンシャルに処理した場合について説明する。図２はＣＰＵによって制御される本発明の処理手順を示すフローチャートである。図２のフローは本発明におけるレックレビュー用画像にＯＢ減算して表示するシーケンスである。

まず、ステップＳ１０１でインターバル撮影に先だって黒引き処理を行う可能性がある場合は暗黒撮影を行い黒画像をメモリ領域に格納する。Ｓ１０２において、ユーザーの指示に従ってインターバル画像撮影を開始する。次ステップＳ１０３にてインターバル画像撮影処理で撮影された複数枚の画像を比較明合成処理を行う。

次ステップＳ１０４でインターバル撮影が終了かどうかを判断する。終了の場合はステップＳ１０９(後述)に移行する。ステップＳ１０４で終了と判定されなかった場合は、そのままインターバル撮影を続行する。次ステップＳ１０５でレックビュー画像表示機能が選択されていた場合、レックレビュー画像を作成する処理(ステップＳ１０６)を行う。レックレビュー用画像表示機能が選択されていない場合は、レックレビュー画像作成処理は行わず、Ｓ１０２へ進みインターバル画像撮影を続行する。ステップＳ１０６では、インターバル撮影で撮影した画像のＯＢ領域からＯＢ値を読みだして演算する。

その後実際に撮影された画像から演算したＯＢ値を読出し減算する。次ステップＳ１０７ではＳ１０６で減算処理した画像を現像処理する。次ステップＳ１０８では、ステップＳ１０７で処理した画像をＬＣＤに表示するサイズに縮小処理しＬＣＤに表示する。次に先の終了処理判定で終了と判定された場合のシーケンスステップＳ１０９について説明する。撮影終了後であれば、撮影期間中と比較すると処理時間に制限がない（余裕がある）ため、もう一度黒引き処理を行い黒浮きを軽減する。

ステップＳ１０９ではステップＳ１０１に続いてもう一度暗黒撮影を行い黒画像を撮影する。その後、ステップＳ１１０にて比較明合成した画像から黒引き処理を行い画像の黒浮きを低減する。次ステップＳ１１１で比較明合成画像を現像処理しその画像を出来上がりの比較明合成画像とする。上記に記載したシーケンスによってユーザーは比較明合成の途中画像を確認しつつ、黒浮きが軽減されたインターバル撮影が可能となる。

［第２の実施形態］
第２の実施形態では、インターバル撮影の一連の処理（撮影／比較明合成／レビュー表示）を並列的に処理した場合の効果について説明する。

図３はＣＰＵによってインターバル撮影手段により実行される「インターバル撮影処理」をシーケンシャルに処理した際の概要を示す図を表す。ＣＰＵは露光処理１を行い、露光処理が完了したらレビュー表示１で撮影画像の表示を行う。レビュー画表示が完了したら、露光処理２を行い、露光処理１で撮影した画像と露光処理２で撮影した画像を比較明合成する（比較明合成２）。比較明合成２の処理が完了したら、レビュー表示２で比較明合成した画像をＬＣＤ上に表示する。

レビュー表示２が完了したら引き続き露光処理３を行い、比較明合成２で作成した画像と露光処理３で撮影した画像を比較明合成する（比較明合成３）。比較明合成３で撮影した画像が作成できたら、レビュー表示３でＬＣＤ上に合成画像を表示する。

上記説明のようにシーケンシャルに各処理が実行されるので、露光処理を行うためには、前回露光した画像の合成処理／レビュー表示の処理を待ち合わせる必要があるため、その分撮影間の露光間隔が空いてしまう。撮影間で露光間隔が空いてしまうと、綺麗な線上の星空軌跡が記録できず、星空軌跡に途切れが生じたような合成画像が出来上がってしまう問題が生じる。

図４はＣＰＵによってインターバル撮影手段により実行される「インターバル撮影処理」を並列処理（パイプライン処理）した際の概要を示す図を表わしている。露光処理１で露光処理を行い、レビュー表示１で撮影画像の表示を行う。ここで、露光処理１の処理が完了次第、レビュー表示１の処理の完了を待たずに露光処理２の実行を始める。上記形態を採用することで、露光処理とレビュー表示を並列で行うことができ、露光間隔を短縮することが可能となる。２枚目以降の撮影フローに関しても同様で、露光処理２が完了次第、比較明合成２／レビュー表示２に開始指示をかけると共に並列して、露光処理３を始めることで、合成処理／レビュー表示処理と非同期で処理が可能となり、撮影間の露光間隔が短縮される。

このようにシーケンシャルに処理する時と比較すると、並列処理で実行した方が、撮影間の露光間隔を短縮することができ、星空軌跡の途切れを改善させることが可能となる。

［第３の実施形態］
第３の実施形態では、インターバル撮影の一連の処理（撮影／比較明合成／レビュー表示）を並列的に処理した際に、比較明合成／レビュー表示処理と比較し露光処理の方が処理時間がかかった場合について説明する。

図５はＣＰＵによってインターバル撮影手段により実行される「インターバル撮影処理」を並列的に処理（パイプライン処理）した際に、比較明合成／レビュー表示処理と比較し露光処理の方が処理時間がかかった場合の概要を示す図である。

第２の実施形態で説明したように、露光処理後に他の処理を待たずに次の露光処理を実行する。露光処理時間が延びたとしても、比較明合成／レビュー表示処理でシーケンス上待たされる心配はない。そのため、毎撮影でかかる処理時間は延びた露光処理分増えるが、露光間隔が空いてしまう／ばらつく等の問題は発生しない。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ 画像処理装置、１０ 撮影レンズ、１１ 機械式シャッター、１２ 撮像素子、
１３ Ａ／Ｄ変換器

Claims (5)

1. 画像を撮影する撮像素子と、
   前記画像を記憶する記憶手段と、
   撮像された画像とその画像を記憶するメモリ部と、
   前記撮像素子の露光および読み出しを所定の周期で繰り返し行って複数枚の画像を順次取得するインターバル撮影手段と、
   前記インターバル撮影手段により順次撮影される複数枚の画像のうち、１枚目の画像と２枚目の画像とを用いて比較明合成処理を行って処理結果を合成画像として前記メモリ部に記憶し、３枚目以降の画像については、該画像と前記メモリ部に記憶された合成画像とを用いて前記比較明合成処理を行って処理結果を新たな合成画像として前記メモリ部に記憶する処理を繰り返し行う比較明合成手段と
   前期インターバル撮影手段により、順次撮影されるタイミングに同期して前記インターバル撮影処理を停止させることなく、前記メモリ部に記憶された合成画像を前記表示手段に表示させる合成画像表示手段と、を有し
   前記撮影処理、比較明合成処理、合成画像表示処理を並列で処理可能であることを特徴とする画像処理装置。
2. 前記合成画像表示手段に表示させる合成画像は、前記メモリ部に記憶された画像に所定の画像処理を行う事を特徴とする請求項１に記載の画像処理装置。
3. 前記所定の画像処理とは、ＯＢ減算であることを特徴とする請求項２に記載の画像処理装置。
4. 前記所定の画像処理とは、黒引き処理であることを特徴とする請求項２に記載の画像処理装置。
5. 前記所定の画像処理とは、色変換処理であることを特徴とする請求項２に記載の画像処理装置。