JP2016213775A

JP2016213775A - 撮像装置、撮像方法、およびプログラム

Info

Publication number: JP2016213775A
Application number: JP2015097998A
Authority: JP
Inventors: 本田　努; Tsutomu Honda; 努本田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2015-05-13
Filing date: 2015-05-13
Publication date: 2016-12-15
Anticipated expiration: 2035-05-13
Also published as: US20160337600A1; JP6549409B2; CN106161975A; US10063793B2

Abstract

【課題】動画撮影時にパラパラ感がなく、適正露光量となる画像データを生成することが可能な撮像装置、撮像方法、およびプログラムを提供する。
【解決手段】動画を撮影・記録する撮像方法において、動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力し、被写界輝度に基づいて（Ｓ３５、Ｓ４３、Ｓ４９、Ｓ５７）、一連の画像データを、複数の画像処理の内の一つの処理を選択し、画像合成を行って合成画像を生成する（Ｓ４４〜Ｓ４７、Ｓ５１〜Ｓ５５、Ｓ５７〜Ｓ６１）。
【選択図】図８

Description

本発明は、動画を撮影し、動画の画像データを記録する撮像装置、撮像方法、およびプログラムに関する。

従来より、撮像装置はＡＥ（Auto Exposer）処理機能を搭載し、画像データの輝度成分に基づいて、適正露光量を算出し、シャッタ速度・絞り・ＩＳＯ感度等を制御していた。動画撮影時に、シャッタ速度で適正露光となるように制御する際に、被写体輝度が高いと、動画のフレームレートよりも短時間の電子シャッタ速度となってしまう。この場合には、再生動画にパラパラ感（パラパラ漫画のように、瞬間的に画像が変化し、ぎこちなく動いていく感じ）が生じ、滑らかな動きとはならず、不自然な動画となってしまう。

そこで、動きのある被写体の場合には、シャッタ速度を遅くし、エッジ強調を弱め、一方、動きのない被写体の場合には、シャッタ速度を速くし、エッジ強調を強めるようにした撮像装置が提案されている（特許文献１参照）。

特開２００７−１８９２９５号公報

動画撮影時には、動画再生の際のフレームレートに合せて動画記録を行う必要がある。例えば、フルハイビジョン（２Ｋ動画）の場合には、６０ｐ、３０ｐの規格があり、各々、１秒間に６０フレーム、３０フレームのコマを撮影する。画像の明るさを一定にするためには、シャッタ速度に合せて、絞り、ゲイン、ＮＤフィルタを変更する方法がある。

動きのある被写体の場合は、シャッタ速度は基本的には記録されるフレームレート合せないと（例えば、ＨＤ３０Ｐの場合には１／３０秒のシャッタ速度）、１フレームに相当する時間内での被写体の動きの全てを記録することができない。つまり、記録する規格に合わせてシャッタ速度を決めるので、特許文献１に記載のように、被写体輝度に合せて中途半端にシャッタ速度を変えてもパラパラ感を全く無くすことはできない。

また、シャッタ速度を記録されるフレームレートに合わせ、被写体輝度の変化に応じて、ＮＤフィルタ（減光フィルタ）を撮影光学系の光路中に高速に出し入れする方法や、絞りを素早く変化させる方法が考えられる。しかし、このような方法では、人間の眼には瞬きのように感じるため、より高度な動画撮影においては画像の質を低下させてしまう。

またゲインを変更させる方法が考えられるが、被写体が明るくなると、ゲインを低下させる方向であり、ゲインを０ｄＢ以下に変更したとしても、撮像素子で飽和してしまった場合には、明るさのリニアリティを確保することができない。この不具合は、絞りをゆっくり動かすことにより解決することができる。しかし、静止画撮影用には高速で動かすことのできる絞りが必要であることを考慮すると、静止画撮影用と動画撮影用に個別に絞りを備えなければならず、機器の大型化を招いてしまう。また、絞り機構を有していない小型機器では、ＮＤフィルタで制御しなければならず、上述の問題を解決することができない。

本発明は、このような事情を鑑みてなされたものであり、動画撮影時にパラパラ感がなく、適正露光量となる画像データを生成することが可能な撮像装置、撮像方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、動画を撮影・記録する撮像装置において、上記動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力する撮像部と、予め決められた複数の画像合成処理を備え、上記撮像部から出力された一連の上記画像データを、上記複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成する画像処理部と、被写界輝度に基づいて上記一連の画像データの上記複数の画像合成処理の内の一つの処理を指示する露出演算部と、を具備する。

第２の発明に係る撮像装置は、上記第１の発明において、上記露出演算部は、上記被写界輝度の変化に応じて、上記複数の画像合成処理の内の一つの処理を変更する指示を出力する。
第３の発明に係る撮像装置は、上記第１の発明において、上記画像合成処理は、累積加算、累積加算＋ゲインアップ、平均加算の内の少なくとも一つを含む。

第４の発明に係る撮像方法は、動画を撮影・記録する撮像方法において、上記動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力し、一連の上記画像データを、複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成し、被写界輝度に基づいて上記一連の画像データの上記複数の画像合成処理の内の一つの処理を指示する。

第５の発明に係るプログラムは、動画を撮影・記録する撮像装置内のコンピュータを実行するプログラムにおいて、上記動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力し、一連の上記画像データを、複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成し、被写界輝度に基づいて上記一連の画像データの上記複数の画像合成処理の内の一つの処理を指示する、ことを上記コンピュータに実行させる。

本発明によれば、動画撮影時にパラパラ感がなく、適正露光量となる画像データを生成することが可能な撮像装置、撮像方法、およびプログラムを提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。本発明の一実施形態に係るカメラにおいて、通常露光処理時と分割露光処理時における露光タイミングを示す図である。本発明の一実施形態に係るカメラにおいて、分割露光処理時における分割露光期間における露光量と、合成処理を示す図である。本発明の一実施形態に係るカメラにおいて、撮像コントロールの設定を行う設定画面を示す。本発明の一実施形態におけるカメラにおいて、デジタルＮＤ（以下、「ＤＮＤ」と称す）フィルタ撮影モードのサブモードを示す図表である。本発明の一実施形態におけるカメラにおいて、分割露光処理時における被写体輝度によって決まる画像合成処理を示す図表である。本発明の一実施形態におけるカメラにおいて、撮影モード処理の動作を示すフローチャートである。本発明の一実施形態におけるカメラにおいて、ＤＮＤ制御の動作を示すフローチャートである。本発明の一実施形態におけるカメラにおいて、ＤＮＤ制御の動作を示すフローチャートである。

以下、本発明の一実施形態としてデジタルカメラ（以下、カメラと称す）に適用した例について説明する。このカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面等に配置した表示部（電子ビューファインダでもよい）にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。静止画撮影時には、レリーズ釦が操作されると静止画の画像データが記録媒体に記録される。動画撮影時には、動画釦等が操作されると動画撮影が開始され、再度、動画釦等が操作されると動画撮影が終了する。記録媒体に記録された静止画や動画の画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、動画撮影にあたって、フレームレートに対応する露光時間を複数に分割し、それぞれ分割露光期間毎に画像データを読出し、この読み出された複数の画像データを用いて、適正露光量の画像データになるように画像合成する。この画像合成を行うにあたって、複数の画像合成処理を用意しておき、被写界輝度に応じて複数の画像合成処理の中から最適な画像合成処理を選択して行う（例えば、図３のＮｏ．１〜５、図６、図８のＳ３９〜Ｓ６１、図９のＳ７１〜Ｓ７９等参照）。

図１は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。撮像部１内には、光学系３と撮像素子５が備えられている。光学系３は、撮像素子５に被写体の光学像を結像する。光学系３はフォーカスレンズを有しており、このフォーカスレンズは、システム制御部２７からの駆動制御信号に応じて、レンズ駆動部によって光軸方向に移動可能である。

光学系３内に、露出量を調節するための絞り値を決定する絞りを備えるようにしてもよい。また、光学系３と撮像素子５の間に、メカシャッタを備え、メカシャッタの開閉動作により撮像素子５への露出や遮光を行い、メカシャッタ速度を制御するようにしてもよい。

撮像素子５は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等であり、光学系３により結像された被写体の光学像を画素毎に電気信号に変換し、画像データを出力する。この画像データの出力にあたって、撮像素子５は、システム制御部２７からの撮像制御信号に従って、露光と画像データの読み出しを行う。撮像素子５は、動画撮影時において電子シャッタ機能を有しており、露光時間を制御することができる。撮像素子５は、動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力する撮像部として機能する。

また、撮像素子５は、システム制御部２７または露出決定部４１からの指示に従って、２つの画素の出力を加算して画像データの出力することも可能である（これを「２画素混合」と称す）（図９のＳ７７参照）。撮像素子５によって読み出された画像データは、前処理部７内の通常処理部９と合成処理部１１、およびバス２５に出力される。バス２５は、各ブロック間で信号の送受信を行うための信号線である。

前処理部７には、通常処理部９、合成処理部１１、ゲイン調整部１３、現像処理部１５が設けられている。

合成処理部１１は、動画を撮影する場合やデジタルＮＤを用いる場合に、分割露光を行って、各分割露光で取得した画像データの合成処理を行う。この合成処理は、システム制御部２７や分割露光制御部３５等からの制御信号に従って行われる。合成処理部１１は、後述する平均加算（例えば、図３のＮｏ．４、図６のＮｏ．Ｂ〜Ｃ、図８のＳ４５参照）、部分加算（例えば、図３のＮｏ．３、図６のＮｏ．Ｄ〜Ｅ、図８のＳ５１参照）、累積加算（例えば、図３のＮｏ．２、図６のＮｏ．Ｆ〜Ｈ、図８のＳ５５参照）等の合成処理を行う。

一方、通常処理部９は、静止画撮影時等のように、合成処理を行わない時に１回の露光で取得した画像データの処理を行う。

ゲイン調整部１３は、通常処理部９および合成処理部１１から出力された画像データにゲインを印加、すなわち画像データをｋ倍に乗算し、現像処理部１５に出力する。合成処理部１１とゲイン調整部１３は、予め決められた複数の画像合成処理を備え、撮像部から出力された一連の画像データを、複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成する画像処理部として機能する（例えば、図３、図８のＳ４５〜Ｓ４７、Ｓ５１〜Ｓ５５、Ｓ５９〜Ｓ６１、図９のＳ７５〜Ｓ７９）。この画像処理部は、累積加算、累積加算＋ゲインアップ、平均加算の内の少なくとも一つを含んでいる。

現像処理部１５は、通常処理部９または合成処理部１１で生成されたＲＡＷ画像データに対して、デモザイキング、ホワイトバランス調整、ガンマ補正などの現像処理を行う。現像処理された画像データはバス２５に出力される。

画像処理部１７は、現像処理部１５等によって処理された画像データに対して、ライブビュー表示、静止画記録、動画記録のための画像処理や、外部メモリ４７に記録された画像データに対して、再生表示のための画像処理等、種々の画像処理を行う。

圧縮・伸張処理部１９は、外部メモリ４７に画像データを記録する際に、ＪＰＥＧやＭＰＥＧ等の画像圧縮処理を行う。また外部メモリ４７から画像データを読出し、表示部２１に表示する際に、圧縮された画像データの伸張処理を行う。

表示部２１は、ＴＦＴ（Thin Film Transistor）液晶や有機ＥＬなどモニタを有し、背面表示部やＥＶＦ（電子ビューファインダ）において、画像データに基づく画像を表示する。無線インターフェース（Ｉ／Ｆ）２３は、無線で外部機器と通信を行うためのインターフェースである。

システム制御部２７は、ＣＰＵ（Central Processing Unit）等の制御回路と、その周辺回路を有し、内部メモリ３３内の不揮発性メモリに記憶されたプログラムに従って、カメラ全体の制御を行う。

操作入力部２９は、レリーズ釦、動画釦、十字釦等の操作部材や、背面表示部等におけるタッチ操作を入力するためのタッチパネル等を有し、ユーザ操作に基づいて各種のモード設定や撮影動作の指示を行う。操作入力部２９を介して、撮影者は、例えば、比較明合成や比較暗合成等のライブコンポジット撮影モード、ライブバルブ撮影モード、デジタルＮＤフィルタ撮影モード、ハイダイナミックレンジ撮影モード、ハイスピード撮影モード等の撮影モード等の設定を行うことができる（これらの撮影モードについては、図４参照）。

マイク３１は、音声を音声データに変換し、システム制御部２７に出力する。動画撮影時には、マイク３１によって変換された音声データを動画像データと共に記録する。なお、動画再生用のスピーカを設けておいてもよい。

内部メモリ３３は、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像データを一時的に記憶する。内部メモリ３３は、書き換え可能な不揮発性のフラッシュメモリや、書き換え可能な揮発性メモリのＳＤＲＡＭ等のメモリによって構成される。

外部メモリ４７は、カメラ本体に装填自在、または内部に固定された不揮発性の記憶媒体であり、例えば、ＳＤカードやＣＦカード等である。この外部メモリ４７は、インターフェース（Ｉ／Ｆ）４５を介して、画像データを記録し、また再生時には、Ｉ／Ｆ４５を介して記録された画像データが読み出す。

記録フォーマット決定部４３は、動画記録の際の記録フォーマットを決定する。本実施形態においては、複数の記録フォーマットが内部メモリ３３の内の不揮発性メモリに記憶されており、メニュー画面で、これらの複数の記録フォーマット（例えば、２４Ｐ、３０Ｐ、６０Ｐ）を表示し、ユーザが十字釦の操作やタッチパネルでのタッチ操作等によって指定する。

分割露光制御部３５内には、レベル判別部３７、露出決定部４１が設けられている。レベル判別部３７は、撮像素子５からの画像データに基づいて、被写界輝度のレベルを判別する。本実施形態においては、被写界輝度Ｖ_１と、判別値ｋＶ_０、Ｖ_０／２、Ｖ_０／４、Ｖ_０／８とを比較し、６通りのレベルの判別している（図８のＳ３９、Ｓ４３、Ｓ４９、Ｓ５７、図９のＳ７１参照）。

露出決定部４１は、記録フォーマット決定部４３において決定された記録フォーマットで決まる露出時間（シャッタ速度）に基づいて、適正露光となる絞り値やＩＳＯ感度を決定する。また、露出決定部４１は、被写界輝度に基づいてレベル判別部によってレベル分けされた画像データに対して、複数の画像合成処理の内の一つの処理を指示する露出演算部として機能する。例えば、図３に示す例では、被写界輝度に応じてＮｏ．１〜Ｎｏ．５に分類し、この分類に応じて、累積加算、部分加算、累積加算等の加算処理や、ゲインアップ等の処理が行われる。

また、図８、図９に示す例では、被写界輝度に応じて６分類に分けられ（Ｓ３７、Ｓ４１、Ｓ４７、Ｓ５３、Ｓ６１）、この分類に応じて、平均加算、部分加算、累積加算等の加算処理や、ゲイン調整、２画素混合等の処理が行われる（Ｓ４５〜Ｓ４７、Ｓ５１〜Ｓ５５、Ｓ５９〜Ｓ６１、Ｓ７５〜Ｓ７９）。露出決定部４１は、被写界輝度の変化に応じて、複数の画像合成処理の内の一つの処理を変更する指示を出力する露出演算部として機能する。

次に、図２を用いて、通常露光処理と分割露光処理について説明する。図２（ａ）（ｂ）のそれぞれにおいて、上段は通常露光処理を示し、下段は分割露光処理を示し、横軸は時間変化を示す。また、図２（ａ）はＣＣＤイメージセンサ等における電子グローバルシャッタを備えた撮像素子の露光処理の例を示し、図２（ｂ）はＣ−ＭＯＳイメージセンサ等における電子ローリングシャッタを備えた撮像素子の露光処理の例を示す。

図２（ａ）（ｂ）に示す例では、撮像素子５が電子グローバルシャッタの場合であっても、電子ローリングシャッタの場合であっても、通常露光処理の際には電子シャッタ機能によって１フレームの間に１回の露光を行う。この通常露光処理の１フレームの周期Ｔ１は、図２（ａ）（ｂ）に示す例では、６０ｆｐｓ（６０フレーム秒＝１／６０ｓｅｃ）である。通常露光は、本実施形態においては、ライブビュー表示中に行う。

また、分割露光処理の場合には、１フレームの周期は通常露光処理の場合と同じ６０ｆｐｓであり、この例では、１フレームの時間Ｔ１の間に、４分割露光処理を行っている。すなわち、時間Ｔ１の間に分割露光時間Ｅｘｄで４回の露光を行い、かつ露光を行う毎に画像データを読み出している。各露光は、タイミングＥＳで露光を開始し、タイミングＲＯで画像データの読み出しを行う。分割露光処理を行う場合であっても、図２（ａ）（ｂ）の各下段に示すように、１フレームの周期Ｔの内の大半の時間は露光時間である。

図２（ａ）に示すＣＣＤイメージセンサ等の電子グローバルシャッタの場合は、データの読み出しと、次のフレームの露光開始を同時に行うことができる。また、電子ローリングシャッタを備えたＣ−ＭＯＳイメージセンサの場合には、図２（ｂ）に示すように、一旦イメージセンサ内にデータを読み出した後、ゆっくりとイメージセンサ外にデータを出力する。このように、電子グローバルシャッタと電子ローリングシャッタの場合で、露光開始と読み出しのタイミングが異なる、いずれの方式であっても、分割露光処理を行うことができる。

次に、図３を用いて、分割露光処理を行った際に、適正露光量の画像と等価の画像を合成する方法について説明する。

図３において、時刻ｔ０〜ｔ８は、１フレーム期間Ｔ１である（図３に示す例では、Ｔ１＝１／６０秒）。この例では、撮像素子５は、Ｃ−ＭＯＳイメージセンサを用いた場合であり、ローリングシャッタで読み出しを行う。１フレーム中の分割露光の数を４としており、１コマの画像の読み出しは、Ｔ２毎に行われる。また、分割されたフレーム内での露光時間はＴ２（１／２４０ｓｅｃ）であり（時刻ｔ０〜ｔ２、ｔ２〜ｔ４、ｔ４〜ｔ６、・・・）。時間Ｔ３は、後述するＮｏ．５に示す更に明るいときの露光時間である（１／３６０ｓｅｃ）。

本実施形態においては、複数の画像合成処理を用意しておき、被写界輝度の明るさに応じて、複数の画像合成処理の中から選択している。図３に示す例は、明るさに応じてＮｏ．１〜Ｎｏ．５の５種類の画像合成処理が用意されている。

図３のＮｏ．１の示す例は、露光時間が１／６０秒では適正露光量とならないような、被写界が暗い場合である。この場合には、各露光時間Ｔ２において取得した画像データを累積加算し、この累積加算した画像データを適正露光のレベルとなるようにゲインアップする。すなわち、合成処理部１１は、時刻ｔ０〜ｔ２において露光した露光量ＬＭ１、時刻ｔ２〜ｔ４において露光した露光量ＬＭ２、時刻ｔ４〜ｔ６において露光した露光量ＬＭ３、時刻ｔ６〜ｔ８において露光した露光量ＬＭ４を累積的に加算する。しかし、この累積加算だけでは、適正光量とならないことから、ゲイン調整部１３は、適正光量となるようにゲインを印加する。なお、後述の図８のＳ５９〜Ｓ６１は、このＮｏ．１と同様の処理を行っている。

図３のＮｏ．２に示す例は、露光時間が１／６０秒で適正露光量となるような被写界の明るさの場合である。この場合には、各露光時間Ｔ２において取得した画像データを累積加算すれば、適正露光量となる。具体的には、合成処理部１１は、時刻ｔ０〜ｔ２において露光した露光量ＬＭ５、時刻ｔ２〜ｔ４において露光した露光量ＬＭ６、時刻ｔ４〜ｔ６において露光した露光量ＬＭ７、時刻ｔ６〜ｔ８において露光した露光量ＬＭ８を累積的に加算する。この累積加算だけで、適正光量となる。なお、後述の図８のＳ５９〜Ｓ６１において、Ｓ６１のゲイン調整量を１とすれば、このＮｏ．２と同様の処理になる。

図３のＮｏ．３に示す例は、ＮＯ．２の場合よりも被写界が明るい場合であり、露光時間が１／１２０秒で適正露光量となる。この場合には、各露光時間Ｔ２において取得した画像データを部分加算し、この加算値を平均化すれば、適正露光量となる。すなわち、合成処理部１１は、時刻ｔ０〜ｔ２において露光した露光量ＬＭ９と時刻ｔ２〜ｔ４において露光した露光量ＬＭ１０を加算して加算値ＳＭ１を算出し、時刻ｔ４〜ｔ６において露光した露光量ＬＭ１１と時刻ｔ６〜ｔ８において露光した露光量ＬＭ１２を加算して加算値ＳＭ２を算出する。そして、この加算値ＳＭ１＋ＳＭ２の平均値、すなわち、（ＳＭ１＋ＳＭ２）／２が適正光量となる。なお、後述の図８のＳ５１〜Ｓ５３は、このＮｏ．３と同様の処理を行っている。

図３のＮｏ．４に示す例は、ＮＯ．３の場合よりも被写界が明るい場合であり、露光時間が１／２４０秒で適正露光量となる。この場合には、各露光時間Ｔ２において取得した画像データを累積加算し、この加算値を平均化すれば、適正露光量となる。合成処理部１１は、時刻ｔ０〜ｔ２において露光した露光量ＬＭ１３、時刻ｔ２〜ｔ４において露光した露光量ＬＭ１４、時刻ｔ４〜ｔ６において露光した露光量ＬＭ１５、時刻ｔ６〜ｔ８において露光した露光量ＬＭ１６を累積的に加算し、この加算値を平均化、すなわち、加算値を４で除算すればよい（この演算を「平均加算」と称す）。この平均加算だけで、適正光量となる。なお、後述の図８のＳ４５〜Ｓ４７において、Ｓ４４でＴ３＝Ｔ２とし、Ｓ４７のゲイン調整量を１とすれば、このＮｏ．４と同様の処理になる。

図３のＮｏ．５に示す例は、ＮＯ．４の場合よりも被写界が明るい場合であり、露光時間が１／３６０秒で適正露光量となる。この場合には、露光時間Ｔ３にし（この例では、Ｔ３・２４０／３６０＝Ｔ３・２／３）、分割露光で得られる各画像データの値を小さくなるようにする。すなわち、各露光量ＬＭ１７、ＬＭ１８、ＬＭ１９、ＬＭ２０を平均加算し、適正露光量を求める（図８のＳ４４〜Ｓ４７参照）。

次に、図４を用いて撮像コントロールに関連する撮影モードの設定について説明する。本実施形態においては、撮像素子５における撮像動作を制御し、画像データの合成処理等（但し、ハイスピード撮影は画像合成を行わない）を行うことにより、様々な画像を得る「撮像コントロールモード」を設けている。この撮像コントロールモードは、表示部２１のメニュー画面として、図４に示すように表示され、ユーザが選択することができる。

図４において、最上段の左側の「ＩＭＧＣＴＲＬ」はイメージ・コントロールの各選択項目を示し、最上段の右側のＯＮは設定状態を、ＯＦＦは非設定状態を示す。撮像コントロールモードとしては、図４に示す例では、ライブコンポジット撮影（「ＬＶＣＯＭＰ」と表記）が非設定状態、ライブバルブ撮影（「ＬＶＢＬＢ」と表記）が非設定状態、デジタルＮＤフィルタ撮影（「ＤＮＤ」と表記）が設定状態、ハイダイナミックレンジ撮影（「ＨＤＲ」と表記）が非設定状態、ハイスピード撮影（「ＨｉＳＰ」と表示）が非設定状態となっている。なお、この例では、１種類の撮像コントロールモードしか設定されていないが、複数種類のモードの設定も可能である。

ライブコンポジット撮影（ＬＶＣＯＭＰ）は、比較的低輝度の被写体撮影の際に使用され、繰り返し露光を行い、露光毎に出力される画像データを用いて画像合成を行う。画像合成としては、現フレーム画像と前フレーム画像の各画素位置で相対的に明るい／暗い画素のデータで上書きを行う。例えば、夜の高速道路を撮影した場合に、比較明合成を行うと、明るい車のライトの軌跡のみが車の移動に沿って合成された画像となる。

ライブバルブ撮影（ＬＶＢＬＢ）も、比較的低輝度の被写体撮影の際に使用され、繰り返し露光を行い、時間経過と共に各画素位置の露出値を加算合成する。例えば、花火の打ち上げから花火が開く状態をバルブ撮影と同様に行うと、この撮影中に経過画像が表示される。

デジタルＮＤフィルタ撮影（ＤＮＤ）は、光学フィルタを用いずに、光学フィルタを装着したのと同様の減光撮影をデジタル制御で行う。動画撮影の場合、このＤＮＤモードを設定しておくと、明るいシーンでも絞りを開放した状態で撮影を行うことができる。図３、図８、および図９に示す例は、このＤＮＤモードが設定されている場合の制御である。

ハイダイナミックレンジ撮影（ＨＤＲ）は、露光量の異なる複数のフレーム画像を合成し、階調が拡大された画像を生成する。露光時間を変えて複数のフレーム画像を取得し、また感度を変えて複数のフレーム画像を取得し、これらの複数のフレーム画像を用いて、飽和または暗黒状態の領域の階調を再現した画像を合成する。

ハイスピード撮影（ＨｉＳＰ）は、所謂電子シャッタで、動体を静止させるために極めて短い時間で露光を行い、画像を取得する。メカニカルシャッタの場合には、極めて短時間の露光を行うことは難しいが、電子シャッタは撮像素子５で電荷蓄積のタイミングを制御するだけであるので、極めて短時間の露光を行うことができる。

次に、図５を用いて、デジタルＮＤフィルタ撮影モードが選択された場合のサブメニューを説明する。デジタルＮＤフィルタ撮影モードは、さらに手動デジタルＮＤフィルタ撮影モードと自動デジタルＮＤフィルタ撮影モードが用意されている。また、手動デジタルＮＤフィルタ撮影モードは、減光率を選択することができる。図５において、「ＳＥＬ」の欄で、自動（ＡＵＴＯ）と手動（ＭＡＮＵ）を選択でき、「減光」により減光調節できる輝度範囲を設定する。

「ＡＵＴＯ」を選択すると、自動デジタルＮＤフィルタ撮影モードとなり、輝度に応じてデジタルＮＤフィルタの減光率が自動的に切り替わり、−４ＥＶまで絞りを固定にしたままで自動減光制御を行う。上述の図３の全ての動作撮影で適応的に変化させる。

「ＭＡＮＵ」を選択すると、手動デジタルＮＤフィルタ撮影モードとなり、ユーザが選択したＮＤフィルタの減光量を固定する。固定の減光量として、図５に示す例では、１／３段毎に変更可能である。しかし、これに限らず、１／２段毎でも、１／４段毎でも良く、また細かく変更できるようにしても良い。手動デジタルＮＤフィルタ撮影モードは、適正露光の得られる輝度変更レンジは少ないが、光学ＮＤフィルタと同様な効果を得ることができる。光学ＮＤフィルタに比べ、着脱が簡単で、ＮＤ減光量を細かく設定することができ（光学ＮＤフィルタは通常１段毎）、フィルタが汚れたり破損することがなく、短時間で切り替えることができるというメリットある。

次に、図６を用いて、デジタルＮＤフィルタ撮影モード設定時において、被写界輝度に応じた露出制御と合成処理について説明する。本実施形態においては、前述したように、被写界輝度に応じて、複数の画像合成処理の中から一つを選択して、画像データの処理を行っており、図６に被写界輝度に応じて選択する画像合成処理の例を示す。

図６に示す例においては、Ｎｏ．Ｂに記載の輝度ＢＶ_０が基本輝度であり、ＩＳＯ固定、絞り値固定の状態、電子シャッタ速度ＴＶが１／２４０秒で露光した場合に、撮像素子５からは、適正出力Ｖ_０が得られる。この場合には、４回分の分割露光の画像データを加算し、この加算値を４で除算することにより、適正露光となる画像を生成する。なお、このＮｏ．１の画像合成処理は、図３のＮｏ．４に示した例と同じ処理である。

また、Ｎｏ．Ａは、Ｎｏ．Ｂの場合よりも高輝度時の例であり、１回の露光時間１／２４０秒を更に短くして、１／３６０秒に電子シャッタ速度Ｔｖを変更した場合を示す。なお、Ｎｏ．Ａよりも更に高輝度の場合は、１回の露光時間を更に短くしてもよい。このＮｏ．１の画像合成処理は、図３のＮｏ．５に示した例と同じ処理である。

図６において、Ｎｏ．ＣからＮｏ．Ｇまでは、Ｎｏ．Ｂの場合より段々と被写界輝度が暗くなる場合であり、分割フレーム数を４に固定し、電子シャッタ速度を１／２４０秒に固定したままで、加算演算処理を工夫することにより適正露光となる画像を生成する。

例えば、Ｎｏ．Ｃでは、被写界輝度はＢＶ_０−１とＢＶ_０の間にあり、撮像素子５からの画像データの出力はＶ_０とＶ_０／２の間にあることから、画像データの加算処理は平均加算、すなわち、４回分の分割露光の画像データを加算し、この加算値を４で除算し、更にゲインを乗算することで、適正露光となる画像を生成する。

また、Ｎｏ．Ｄでは、被写界輝度は基準輝度ＢＶ_０より１段暗いＢＶ_０−１であり、撮像素子５からの画像データの出力はＶ_０／２であることから、画像データの加算処理は累積部分加算を行い、平均化演算、すなわち、４回分の分割露光の画像データの内の最初の２回分と、後の２回分の画像データをそれぞれ加算し、この加算値を２で除算することにより、適正露光となる画像を生成する。なお、このＮｏ．Ｄの画像合成処理は、図３のＮｏ．３に示した例と同じ処理である。

また、Ｎｏ．Ｅでは、被写界輝度はＢＶ_０−１とＢＶ_０−２の間にあり、撮像素子５からの画像データの出力はＶ_０／２とＶ_０／４の間にあることから、画像データの加算処理は平均加算、すなわち、４回分の分割露光の画像データの内の最初の２回分と、後の２回分の画像データをそれぞれ加算し、この加算値を２で除算し、更にゲインを乗算することで、適正露光となる画像を生成する。

また、Ｎｏ．Ｆでは、被写界輝度は基準輝度ＢＶ_０より２段暗いＢＶ_０−２であり、撮像素子５からの画像データの出力はＶ_０／４であることから、画像データの加算処理は累積加算、すなわち、４回分の分割露光の画像データを累積的に加算すると、この加算値が適正露光となる画像となる。なお、このＮｏ．Ｆの画像合成処理は、図３のＮｏ．２に示した例と同じ処理である。

また、Ｎｏ．Ｇでは、被写界輝度はＢＶ_０−２とＢＶ_０−３の間にあり、撮像素子５からの画像データの出力はＶ_０／４とＶ_０／８の間にあることから、画像データの加算処理は累積加算、すなわち、４回分の分割露光の画像データを累積的に加算し、更にゲインを乗算することで、適正露光となる画像を生成する。なお、このＮｏ．Ｇの画像合成処理は、図３のＮｏ．１に示した例と同じ処理である。

図６のＮｏ．Ｈは、更に低輝度となったときに、撮像素子５内で２画素混合することにより、画質はある程度劣化するものの、感度を確保するようにした例である。また、ゲインアップを行って適正露光となるようにしている。

上述のＮｏ．Ｂ〜Ｇは、手動デジタルＮＤフィルタ撮影モードおよび自動デジタルＮＤフィルタ撮影モードに共通の制御である。またＮｏ．ＡおよびＮｏ．Ｈは、自動デジタルＮＤフィルタ撮影モードのみの制御である。

次に、図７に示すフローチャートを用いて、撮影モードの処理について説明する。図４を用いて説明したように、本実施形態においては、撮像コントロールに関連して５種類の撮影モードが設定可能である。なお、このフローチャートおよび後述する図８および図９に示すフローチャートは、システム制御部２７内のＣＰＵが、内部メモリ３３に記憶されているプログラムに従って、カメラ内の各部を制御することにより実行する。

図７に示す撮影モードのフローに入ると、まず、ライブビュー（ＬＶ）表示を行う（Ｓ１）。ここでは、撮像素子５からの画像データを通常処理部９により処理を施し、ゲイン調整部１３、現像処理部１５、画像処理部１７等においてライブビュー表示用に処理を施してから表示部２１にライブビュー表示を行う。ユーザは、ライブビュー表示を観察することによって、構図を決めたり、静止画野シャッタタイミングや、動画の撮影開始・終了のタイミングを決めることができる。

ライブビュー表示を行うと、次に、撮影モードの設定を行う（Ｓ３）。前述したように、本実施形態においては、表示部２１にメニュー画面を表示させ、メニュー画面の中から撮像コントロールに関連する撮影モードを十字釦やタッチ操作によってユーザの意図する撮影モードを設定する。なお、設定方法としては、メニュー画面に限らず、例えば、専用釦等によって設定するようにしてもよい。

ステップＳ３における撮影モードの設定において、ライブコンポジット撮影モード（ＬＶＣＭＰ）であった場合には、ライブコンポジット撮影モードを設定し（Ｓ５）、ライブコンポジット制御を行う（Ｓ７）。この制御が終了すると、ステップＳ１に戻る。

ステップＳ３における撮影モードの設定において、ライブバルブ撮影モード（ＬＶＢＬＢ）であった場合には、ライブバルブ撮影モードを設定し（Ｓ９）、ライブバルブ制御を行う（Ｓ１１）。この制御が終了すると、ステップＳ１に戻る。

ステップＳ３における撮影モードの設定において、デジタルＮＤフィルタ撮影モード（ＤＮＤ）であった場合には、デジタルＮＤフィルタ撮影モードを設定し（Ｓ１３）、デジタルＮＤフィルタ制御を行う（Ｓ１５）。この制御が終了すると、ステップＳ１に戻る。このデジタルＮＤフィルタ制御の詳しい動作について、図８および図９を用いて後述する。

ステップＳ３における撮影モードの設定において、ハイダイナミックレンジ撮影モード（ＨＤＲ）であった場合には、ハイダイナミックレンジ撮影モードを設定し（Ｓ１７）、ハイダイナミックレンジ制御を行う（Ｓ１９）。この制御が終了すると、ステップＳ１に戻る。

ステップＳ３における撮影モードの設定において、ハイスピード撮影モード（ＨｉＳＰ）であった場合には、ハイスピード撮影モードを設定し（Ｓ２１）、ハイスピード制御を行う（Ｓ２３）。この制御が終了すると、ステップＳ１に戻る。

ステップＳ３における撮影モードの設定において、撮像コントロールに関連する撮影モードが選択されなかった場合には、撮影モードを非選択とし（Ｓ２５）、通常撮影を行う（Ｓ２７）。ここでは、一般的に行われている通常撮影を実行する。通常撮影を行うと、ステップＳ１に戻る。

次に、図８および図９に示すフローチャートを用いて、図７のステップＳ１５のデジタルＮＤフィルタ制御（ＤＮＤ制御）の詳しい動作について説明する。

ＤＮＤ制御のフローに入ると、まず、ＩＳＯ感度ＳＶと絞り値ＡＶを設定する（Ｓ３１）。ここでは、デフォルト値またはメニュー画面等で設定されたＩＳＯ感度値ＳＶを設定する。また、絞り優先モードや手動露出制御モードが設定されている場合には、ユーザが指示した絞り値ＡＶを設定する。自動露出制御モードが設定されている場合には、後述するステップＳ３５において被写界輝度ＢＶを測定するので、絞り値ＡＶは被写界輝度ＢＶ等に基づいてアペックス演算から求める。なお、ＳＶ、ＡＶが既に設定されている場合には、設定値を確認する。

ＳＶ、ＴＶの設定を行うと、次に、ＤＮＤモードの選択を行う（Ｓ３３）。図５を用いて説明したように、デジタルＮＤフィルタモードには、自動デジタルＮＤフィルタ撮影モード（ＡＵＴＯ）と手動デジタルＮＤフィルタ撮影モード（ＭＡＮＵ）の２種類がある。このステップでは、いずれの撮影モードが設定されているかを判定して設定する。また手動デジタルＮＤフィルタ撮影モードが設定されていた場合には、選択された減光量も併せて設定する。

ＤＮＤモードの選択を行うと、次に、ＢＶ測定を行う（Ｓ３５）。ここでは、撮像素子５からの画像データに基づいて、被写界輝度ＢＶを算出する。

ＢＶ測定を行うと、次に、ＤＮＤモードが自動デジタルＮＤフィルタ撮影モード（ＡＵＴＯ）か否かを判定する（Ｓ３６）。この判定の結果、ＡＵＴＯモードの場合には、合成処理の決定を行う（Ｓ３７）。ここでは、ステップＳ３５において、検出したＢＶ値に基づいて、前述したＮｏ．Ａ〜Ｈのいずれに当てはまるかを判定し、決定する。ステップＳ３６における判定の結果、ＡＵＴＯモードがオフの場合は、設定されたＮＤ値に基づいて合成処理を決める。

合成処理方法を決定すると、次に、Ｖ_１＞Ｖ_０か否かを判定する（Ｓ３９）。ここで、Ｖ_１は、撮像素子５が飽和しないと仮定して、被写界輝度に対して出力される値とする。Ｖ_１＝ｋＶ_０は、出力が飽和する限度とする。また、Ｖ１＝Ｖ０は、適正露光状態とする。

ステップＳ３９における判定の結果、Ｖ_１≧ｋＶ_０の場合には、出力が飽和するとして、警告表示を行う（Ｓ４１）。なお、警告表示としては、表示部２１に適正露光にならないことを、文字、絵文字、アイコン等によって警告してもよく、またブザー等の発音部材を設け、警告音で表示しても、振動部材を設けて振動で表示する等、いずれの方法でもよい。

ステップＳ３９における判定の結果、Ｖ_１＞ｋＶ_０のでない場合には、次に、Ｖ_０／２＜Ｖ_１≦ｋＶ_０か否かを判定する（Ｓ４３）。

ステップＳ４３における判定の結果、Ｖ_０／２＜Ｖ_１≦ｋＶ_０であった場合には、１／２４０秒を含む短いシャッタ速度（Ｔ３）を決め（Ｓ４４）、平均加算を行い（Ｓ４５）、ゲイン調整する（Ｓ４７）。ここでは、１フレーム中の４回の分割露光で取得した４個の画像データを順次加算し、その加算値を分割数４で除算することにより平均加算値を算出する。加算平均値を算出すると、次に、ゲイン調整を行う。ＤＮＤモードとしてＭＡＮＵが設定されている場合には、ゲインは固定しておく。ＤＮＤとしてＡＵＴＯが設定されている場合には、ゲインを変更してもよいが、この場合には画面の明るさが急に変わらないように注意したアルゴリズムにするのが望ましい。このステップＳ４３Ｙｅｓ、Ｓ４５、Ｓ４７における処理は、前述の図３のＮｏ．４、５、図６のＮｏ．Ａ、Ｂ、Ｃの処理に相当する。

一方、ステップＳ４３における判定の結果、Ｖ_０／２＜Ｖ_１≦ｋＶ_０でなかった場合には、Ｖ_０／４＜Ｖ_１≦Ｖ_０／２か否かを判定する（Ｓ４９）。

ステップＳ４９における判定の結果、Ｖ_０／４＜Ｖ_１≦Ｖ_０／２であった場合には、部分加算を行い（Ｓ５１）、平均加算を行い（Ｓ５３）、ゲイン調整を行う（Ｓ５５）。この場合には、図３のＮｏ．３の場合と同様に、４個の分割露光の内の２個の画像データを加算する（部分加算）。この加算値は、２個あるので、両者を加算し、２で除算する（平均加算）。

次に、ゲイン調整を行う。ＤＮＤモードがＡＵＴＯであってもＭＡＮＵであっても、ステップＳ５５の場合と同様、通常は、ゲインは固定しておく。このステップＳ４９Ｙｅｓ、Ｓ５１、Ｓ５３、Ｓ５５における処理は、前述の図３のＮｏ．３、図６のＮｏ．Ｄ、Ｎｏ．Ｅの処理に相当する。

一方、ステップＳ４９における判定の結果、Ｖ_０／４＜Ｖ_１≦Ｖ_０／２でなかった場合には、Ｖ_０／８＜Ｖ_１≦Ｖ_０／４か否かを判定する（Ｓ５７）。

ステップＳ５７における判定の結果、Ｖ_０／８＜Ｖ_１≦Ｖ_０／４であった場合には、累積加算を行い（Ｓ５９）、ゲイン調整を行う（Ｓ６１）。ここでは、１フレーム中のｎ回の分割露光で取得したｎ個の画像データを順次加算することにより、累積加算値を算出する。累積加算値を算出すると、次に、ゲイン調整を行う。ＤＮＤモードがＡＵＴＯであってもＭＡＮＵであっても、通常は、ゲインは固定しておく。このステップＳ５７Ｙｅｓ、Ｓ５９、Ｓ６１における処理は、前述の図３のＮｏ．１、Ｎｏ．２、図６のＮｏ．Ｆ、Ｎｏ．Ｃの処理に相当する。

一方、ステップＳ５７における判定の結果、Ｖ_０／８＜Ｖ_１≦Ｖ_０／４でなかった場合には、Ｖ_１＜Ｖ_０／８になる（Ｓ７１）。ここでは、１回の露光での出力が、適正露光量Ｖ_０の１／８倍を意味する。

次に、ＡＵＴＯか否かの判定を行う（Ｓ７３）。ここでは、ステップＳ３３で設定したデジタルＮＤフィルタ撮影モードに基づいて判定する。

ステップＳ７３における判定の結果、ＡＵＴＯであった場合には、２画素混合を行い（Ｓ７５）、累積加算を行い（Ｓ７７）、ゲイン調整を行う（Ｓ７９）。この場合には、被写界輝度はかなり暗いが、自動露出制御によって適正露光にするために、累積加算に加えて、２画素混合を行うようにしている。２画素混合は、撮像素子５が２画素分の画像データを加算したデータを出力するので、画素値が２倍になる。累積加算はステップＳ５９と同様の処理であり、またゲイン調整はステップＳ４７、Ｓ５５、Ｓ６１と同様の処理である。

ステップＳ７９においてゲイン調整を行うと、またはステップＳ８１において警告を行うと、ＤＮＤ制御の処理を終了し、元のフローに戻る。被写体が変化すると明るさも変わるので、また、同様の処理が繰り返される。

以上説明したように、本発明の一実施形態においては、予め決められた複数の画像合成処理が可能であり（図８のＳ４５とＳ４７の処理、Ｓ５１とＳ５３の処理、Ｓ５９とＳ６１の処理、図９のＳ７５、Ｓ７７とＳ７９の処理）、撮像部からほぼ途切れなく出力された一連の画像データを、複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成している（例えば、図８、図９参照）。このため、動画撮影時にパラパラ感がなく、適正露光量となる画像データを生成することができる。すなわち、動画のフレームレートで決まる露光時間の殆どで露光することができような、複数の画像合成処理の内の１つを選択することにより、動画撮影時にパラパラ感がなく、適正露光量となる画像データを生成することが可能となる。また、フレームレートを固定しているため、フレームレートを変更する処理を短時間で行わなくても済むため、制御が容易になる。

なお、本発明の一実施形態においては、１フレームを分割露光にするにあたって、分割数を４としたが、分割数を４に限らなくてもよい。被写体の輝度に応じて、適宜、分割数を変更すればよい。

また、本発明の一実施形態においては、複数の画像合成処理として、平均加算、部分加算、累積加算、ゲイン調整、画素混合を単独または組み合わせていた。しかし、複数の画像合成処理としては、これの全てを備えなくてもよく、また、他の画像合成処理を組み合わせてもよい。

また、本発明の一実施形態においては、２画素混合（図９のＳ７５）として、撮像素子５で混合するとしたが、これに限らず、前処理部７で行ってもよく、その他の部で行うようにしてもよい。また、２画素混合に限らず、３画素混合、４画素混合等、輝度に応じて混合数を変化させてもよい。

また、本発明の各実施形態においては、レベル判別部３７、分割フレーム数検出部３９、露出決定部４１を、システム制御部２７とは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、システム制御部２７内のＣＰＵによって実行するようにしても勿論かまわない。

また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、分割露光によって撮影が可能な機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・撮像部、３・・・光学系、５・・・撮像素子、７・・・前処理部、９・・・通常処理部、１１・・・合成処理部、１３・・・ゲイン調整部、１５・・・現像処理部、１７・・・画像処理部、１９・・・圧縮・伸張処理部、２１・・・表示部、２３・・・無線Ｉ／Ｆ部、２５・・・バス、２７・・・システム制御部、２９・・・操作入力部、３１・・・マイク、３３・・・内部メモリ、３５・・・分割露光制御部、３７・・・レベル判別部、４１・・・露出決定部、４３・・・記録フォーマット決定部、４５・・・Ｉ／Ｆ、４７・・・外部メモリ

Claims

動画を撮影・記録する撮像装置において、
上記動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力する撮像部と、
予め決められた複数の画像合成処理を備え、上記撮像部から出力された一連の上記画像データを、上記複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成する画像処理部と、
被写界輝度に基づいて上記一連の画像データの上記複数の画像合成処理の内の一つの処理を指示する露出演算部と、
を具備することを特徴とする撮像装置。
上記露出演算部は、上記被写界輝度の変化に応じて、上記複数の画像合成処理の内の一つの処理を変更する指示を出力することを特徴とする請求項１に記載の撮像装置。
上記画像合成処理は、累積加算、累積加算＋ゲインアップ、平均加算の内の少なくとも一つを含むことを特徴とする請求項１に記載の撮像装置。
動画を撮影・記録する撮像方法において、
上記動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力し、
一連の上記画像データを、複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成し、
被写界輝度に基づいて上記一連の画像データの上記複数の画像合成処理の内の一つの処理を指示する、
ことを特徴とする撮像方法。
動画を撮影・記録する撮像装置内のコンピュータを実行するプログラムにおいて、
上記動画のフレームレートよりも短い周期で繰り返し撮像を行い、画像データを出力し、
一連の上記画像データを、複数の画像処理の内の一つの処理で画像合成を行い、合成画像を生成し、
被写界輝度に基づいて上記一連の画像データの上記複数の画像合成処理の内の一つの処理を指示する、
ことを上記コンピュータに実行させることを特徴とするプログラム。