JP2907465B2

JP2907465B2 - 画像入出力装置

Info

Publication number: JP2907465B2
Application number: JP1305276A
Authority: JP
Inventors: 奨菊地
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1989-11-24
Filing date: 1989-11-24
Publication date: 1999-06-21
Anticipated expiration: 2014-06-21
Also published as: JPH03165672A

Description

【発明の詳細な説明】［産業上の利用分野］本発明は、画像情報を入出力するための画像入力装置
に関する。

［従来の技術］一般に解像度にすぐれ、かつ明るさの大きな画像を光
学的に取込む為には、開口の大きな光学素子を用いた結
像光学系が必要である。ところが、レンズに代表される
結像用光学素子は、一般に開口が大きくなると、焦点深
度が浅くなる。しかるに、顕微鏡，カメラ，内視鏡等の
画像機器を利用する分野においては、得られた画像が解
像度や明るさに優れている事が望ましいのは勿論である
が、、同時に焦点深度の深い画像であることが強く要求
される。

そこで本発明者らは、合焦点位置の異なる複数の画像
を入力して加え合わせ、これに適当な回復処理を施すこ
とにより、解像度や明るさを損なうことなく、焦点深度
の深い画像を再生する技術を開発し、特願平01−044021
号として先に出願した。この先願に係わる画像入出力装
置は、前記要求を、ごく簡便な手段にて満たすことので
きる極めて有用なものである。特に撮像部から被写体ま
での距離を計測する手段と、この手段により計測した距
離データに基づいて「合焦点位置を変化させる範囲」の
選択を行なう手段を有しているので、所要画像をより効
果的に得ることができる。

［発明が解決しようとする課題］前記した先願に係わる画像入出力装置は、画像入力の
際に、「合焦点位置を変化させる範囲」の選択を行なう
手段を有するので、比較的効率の良い画像処理を行なえ
る利点を有している。しかしながら、次のような解決す
べき問題が残されていた。すなわち、対象となる被写体
の数や位置関係の如何によっては、再生画像が不鮮明に
なったり、S/Nの悪いものになったりする不具合があっ
た。

したがって本発明の目的は、解像度や明るさを失わず
に焦点深度の深い画像を得ることができる上、被写体の
数や位置関係の如何に係わり無く、常に最適な画像処理
を行なうことができ、鮮明でS/Nの良い再生画像を得る
ことのできる画像入出力装置を提供することにある。

［課題を解決するための手段］上記課題を解決し目的を達成するために、本発明の画
像入出力装置は下記のとおり構成されている。

（１）本発明の画像入出力装置は、画像情報を入出力するための画像入出力装置におい
て、選択された各被写体について、撮像部から前記各被
写体までの距離を算出する手段と、前記各被写体の明る
さを計測する手段と、前記撮像部から前記各被写体まで
の距離、及び前記各被写体の明るさに基づいて、前記各
被写体の画像を入力する際の前記各被写体に対する露光
量を設定する手段と、前記撮像部から前記各被写体まで
の距離に基づいて、前記各被写体に順次焦点を合わせる
手段と、前記焦点を合わせる手段によって順次焦点を合
わせられた前記各被写体の画像を、前記設定された露光
量で入力する手段と、前記入力する手段により入力され
た前記複数の画像を加え合わせる手段と、前記加え合わ
せる手段により前記複数の画像が加え合わされて形成さ
れた画像に対して、周波数フィルタリングによる強調処
理を施す回復処理手段とを備え、前記露光量を設定する手段は、前記加え合わせる手段
により前記複数の画像が加え合わされて形成された画像
のぼけ方がほぼ一様となるように、各被写体に対する露
光量を設定するものであることを特徴としている。

（２）本発明の画像入出力装置は、上記（１）に記載の
装置であって、各被写体面に焦点の合った複数の画像を、設定された
露光量で入力すると同時に加え合わせる手段を備えたこ
とを特徴としている。

（３）本発明の画像入出力装置は、上記（１）に記載の
装置であって、焦点を合わせるべき被写体を、離散的に設定するか連
続的に設定するかを選択する手段を備えたことを特徴と
している。

［実施例］（第１実施例）第１図は本発明の第１実施例の構成を示す図である。
本装置はカメラ100、プロセッサ200、それにTVモニタ30
0に大別される。本発明の主旨により、本装置は「前処
理」と「本撮影」の二段階の動作を行なう。

そこでまず、「前処理」に係りのある構成について説
明する。レンズ101の中央部より入力された対象物の像
はハーフプリズム102により反射され、オートフォーカ
ス（以下AFと略記）センサ103に受光される。このAFセ
ンサ103はセパレータレンズ、受光素子アレイ、相関演
算回路等で構成されており、異なる視角から結像させた
二つの画像信号の位相差を検出する所謂位相差方式のAF
機構を有するコンポーネントである。前記AFセンサ103
で検出された位相差量に相当する信号は、測距回路104
に送られ、被写体までの距離が算出される。その算出結
果はメモリ105に記憶される。また前記AFセンサ103内の
受光素子からの信号強度情報は、光量計測回路106に送
られ、被写体の明るさが計測される。この計測結果はメ
モリ107に記憶される。以上の動作は撮影者が設定した
数箇所の対象物について同様に行なわれる。そして各々
の被写体までの距離および明るさの情報が、前記メモリ
105、107にそれぞれ記憶される。コントローラ108はマ
イクロプロセッサ、マイクロプログラムメモリ等で構成
されており、前記メモリ105、107からの情報に基づいて
最適な入力条件を設定する。まず、モータ109にパルス
信号を送り、回転NDフィルタ110を適当な位置（回転
角）に設定する。

第２図は前記回転NDフィルタ110の正面図である。図
に示すように、このフィルタ110は回転方向に光透過率
が漸次段階的に変化するような構造をしており、回転位
置に応じて任意の光透過率を設定できるようになってい
る。

次に「本撮像」に係わりのある構成（第１図示）につ
いて説明する。「本撮像」の際にはコントローラ108か
らの制御信号により合焦点位置制御器111を駆動制御
し、レンズ101を動かして撮影者が選んだ各被写体に合
焦させながら所定の時間だけ露光させる操作を行なう。
その間撮像素子112の受光面に画像に積算入力させる。

第３図は被写体の数を仮に「３」としたときの前記合
焦点位置制御器111の動作例を示す図である。第３図は
撮像部からの距離x1,x2,x3にある被写体にそれぞれ合焦
させながら各々t1,t2,t3なる露光時間で被写体像を入力
する様子を示している。各露光時間の比すなわちt1:t2:
t3の設定の仕方については後述する。

再び第１図に説明を戻す。上記のようにして前記撮像
素子112に入力された画像は、ビデオプロセッサ113によ
って所定のビデオ信号に変換されたのち、前記プロセッ
サ200に送られる。

プロセッサ200内に入力されたビデオ信号は、A/D変換
器201によって、ディジタル信号変換される。変換され
たディジタル信号は画像メモリ202に記憶される。画像
メモリ202に記憶されたディジタル画像信号は、回復処
理装置103により、適当な中域〜高域の空間周波数に対
する強調処理が実行される。その結果は再び前記画像メ
モリ202に記憶される。こうして回復処理を施された画
像信号は、D/A変換器204によって適当なビデオ信号に再
変換され、前記TVモニタ300に送られて表示される。な
お、前記プロセッサ200における回復処理等の動作制御
はコントローラ205で行なわれる。

以上のような「本撮像」の動作はフレームレートある
いはそれに近いスピードで、連続的に繰返し行なわれる
ようにしても良い。

次に上記第１実施例の作用を説明する。まず、「前処
理」の動作においては、撮影者は同時にピントを合わせ
たい数箇所の被写体を画面の中央部に狙い定め、その状
態で測距ボタンを押す。こうすることによって、前述し
た構成により、各被写体までの距離情報が得られる。こ
の距離情報により「本撮像」の際に各被写体に合焦させ
た時の露光時間の比が導出される。露光時間の比は「本
撮像」において画像を積算入力した時に、各対象物のぼ
け方がほぼ一様になるように設定するものである。こう
することによって、前記プロセッサ200において、入力
画像に対し画像内の位置に対して不変（space invaria
nt）な回復処理を行なうだけで、全ての被写体にピント
の合った焦点深度の深い画像を再生できる。

一方、前述したようなフォーカシング操作の間、前記
撮像素子112の受光面に画像情報を積算入力し続ける場
合、対象が明かるいと飽和してしまう可能性がある。そ
こで、本実施例では前記AFセンサ103内の受光素子を利
用して被写体の明るさを測定し、所定時間だけ露光を続
けても飽和しないように前記回転NDフィルタ110を所定
の位置に調整する作用を有するものである。

ここで、各被写体までの距離情報から各被写体に合焦
させた時の露光時間の比の求め方の一例について説明す
る。

第４図に示す様に被写体はA,B,Cと３個あるものとす
る。そして撮像面からの距離がそれぞれx1,x2,x3である
とする。合焦点位置がｘであるときの各被写体A,B,Cの
ぼけ量をδ_Ａ（ｘ），δ_Ｂ（ｘ），δ_Ｃ（ｘ）とする。

第５図は被写体A,Bの幾何的な結像関係を示す図であ
る。第５図の上図は最も手前に位置する被写体Ａに合焦
させた時の関係図である。この時の被写体Ｂのぼけ量
は、破線で示した光線束が結像面Ｋに投影される円の直
径δ_Ｂ（x₁）で表わされる。同様に第５図の下図は被写
体Ｂに合焦させた時の関係図である。この時の被写体Ａ
のぼけ量は、実線で示した光線束が結像面Ｋに投影され
る円の直径δ_Ａ（x₂）で表わされる。これを式で表わす
次の様になる。

δ_Ａ（x_i）＝f²・S/F［x_i−ｆ −｛f²/（x_i−2f＋Ｓ）｝］・［x_i−｛f²/（x_i−2f＋Ｓ）｝］ …（１）ただし、Ｓ＝|x₁−x_i| _ｉ＝₁,₂,₃ である。δ_Ｂ（x_i），δ_Ｃ（x_i）も同様に表わせる。各
被写体A,B,Cに合焦させそれぞれt1,t2,t3なる露光時間
で入力した画像を加算するものとする。

このようにして加重加算された画像における各被写体
のぼけ量Δ_A,Δ_B,Δ_Ｃは次式で表わされる。

まず、各被写体があまりぼけ過ぎないようにΔ_A,Δ_B,
Δ_Ｃがそれぞれ次式の如く、ある値α，β，γより小さ
くなるものとする。

Δ_Ａ≦α，Δ_Ｂ≦β，Δ_Ｃ≦γ …（３）また、次式の如く、t_i（_ｉ＝₁,₂,₃）の合計が１で、
非負であるとする。

以上の条件下で、Δ_A,Δ_B,Δ_Ｃができるだけ近い値に
なるように、次式の値Ｚが最小になるような、t_i（_ｉ＝
₁,₂,₃）を求めれば良い。

これらは（３），（４）式を制約条件とし、（５）式
を目的関数とした線形計画法の問題となり、２段階単体
法などの手段により解くことができる。なお、（３）式
におけるα，β，γの値は経験的に適当な値を設定すれ
ば良い。

以上述べたような方法で、第１図示のカメラ本体100
から被写体までの距離が判明した場合において、露光時
間の比をどのように設定したら良いかを予め調べてお
く。そしてこれらのデータをカメラ100内に記憶させて
おき、実際の操作では「前処理」で計測した各被写体ま
での距離から適当な露光時間を設定するようにする。前
記露光時間のデータは、撮影レンズ101を交換可能なカ
メラの場合には、この撮影レンズ101内に設置したリー
ドオンリーメモリ（ROM）に記憶しておき、撮影時にお
いてカメラ100内のコントローラ108にそのデータを転送
し、動作を行なわせるようにしても良い。

第１実施例によれば撮像素子112の受光面に画像を積
算入力するものであるため、装置全体を比較的簡単に構
成できる上、本発明の主旨を満たし得、目的を達成する
ことができる。

（第２実施例）前述した第１実施例では被写体が第４図に示したよう
に離散的に存在する場合についてあったが、本発明の第
２実施例は、被写体が連続的に存在したり、被写体の数
が非常に多い場合に対処し得るように、連続的に合焦点
位置を動かしながら撮像素子の受光面に画像を連続的に
積算入力する「連続モード」に切り換える手段を備える
ようにしたものである。

基本的構成は第１図示の実施例に示したものと同じで
ある。ただし、カメラ100内のコントローラ108内に、第
１実施例で示した「離散モード」と本実施例で示す「連
続モード」とを切り換える手段を設ける。例えばマイク
ロプロセッサを制御するようにROM内に書き込まれたマ
イクロプログラムに、モードの切り換えを行なうような
内容を加える等の改良を行なう。

第２実施例の作用を説明する。「連続モード」は次の
二つの場合に適応するものである。

その第１の場合は、撮影者が「連続モード」で写そう
と判断する場合である。

第６図に示すように被写体Ｄが連続的に存在する場合
は、撮影者は「連続モード」に設定し、「前処理」にお
いて最も手前の被写体D1と最も遠くの被写体Dnに対し、
AF操作により測距離を行なう。その結果を基にカメラ10
0内のコントローラ108では自動的に入力条件を設定し
「本撮像」の動作を行なう。

第７図は「本撮像」の動作例を示す図である。図示の
如く、所定の露光時間内に合焦点位置を連続的に動か
し、撮像素子112の受光面に画像を積算入力する。この
とき第１実施例で示したのと同様に、積算入力された画
像内で被写体のぼけ方がほぼ均一になるように合焦点位
置の制御を行なう。

第２の場合は、第１実施例で示したのと同様に撮影者
が「前処理」を行なうべくフォーカスを合わせたい対象
を次々と選択し測距を行なう際に、被写体の総数がある
数、例えば「４」を越えると、カメラ100内のコントロ
ーラ108が自動的に「連続モード」に切り換え制御する
場合である。なおこの場合、撮影者が選択した被写体の
うち、最近位置の被写体と、最遠位置の被写体との測距
データから、第７図に示したような入力条件が設定さ
れ、「本撮像」の動作が行なわれる。

第２実施例によれば、「連続モード」を設定すること
により連続的に距離が変化しているような対象に対して
も、より好ましい画像処理が可能となる。また、撮影者
が選択した被写体の数が多い場合に、カメラの複雑なフ
ォーカシング動作が簡略化され、装置を構成する上での
負担が軽減される。

（第３実施例）本発明の第３実施例は、撮像素子をシャッター動作で
駆動し、電気的に加算を行なうように構成したものであ
る。

第８図はその構成を示す図である。第１図と同様に本
装置は、カメラ400とプロセッサ500とTVモニタ600とに
大別される。カメラ400の「前処理」に関する構成、つ
まりミラー402,AFセンサ403,測距回路404,測距データを
記憶するメモリ405,光量計測回路406,光量データを記憶
するメモリ407,は第１の実施例に示したものと同一構成
である。

したがって「前処理」では第１の実施例と同様の方法
で各被写体までの距離データと光量が測定される。コン
トローラ408ではそれらのデータを基に「本撮像」の動
作を行なう。

「本撮像」の動作では、合焦点位置制御器409によっ
て撮影者が選んだ各被写体に次々と合焦させると同時
に、前記コントローラ408から撮像素子ドライバ410に指
令が送られ、撮像素子411に適当なシャッター動作を行
なわせる。

第９図は以上のタイミングを示すタイミングチャート
である。第１実施例と同様に被写体の数が「３」である
として説明する。上段の図は合焦点位置制御のタイミン
グを示す。これがhighになっている間に前記合焦点位置
制御器409によって各被写体に合焦される。中段の図は
シャッター動作のタイミングを示す。前記合焦動作が完
了すると、所定の時間だけシャッターが開き画像が入力
される。図に示したシャッターの開放時間t1,t2,t3は第
１の実施例で示したのと同様、加算画像での各被写体の
ぼけが均一になることと、被写体の明るさを考慮して設
定される。下段の図は前記撮像素子411から画像信号を
読み出すタイミングを示すチャートである。

第８図に説明を戻す。このようにして前記撮像素子41
1から読み出された画像信号はA/D変換器412によりディ
ジタル変換されたのち、加算機413によりメモリ414に予
め記憶されている画像と画素ごとに加算される。その結
果は再び前記メモリ414に記憶される。このようにして
所定の露光時間で各被写体に合焦させて入力した画像が
お互いに加算され、その結果が前記メモリ414に記憶さ
れる。前記メモリ414に記憶された画像信号は、インタ
ーフェース（I/F）415を介して前記プロセッサ500に送
られる。

前記プロセッサ500では、送られてきた前記画像信号
がI/Fを介して画像メモリ502に与えられ記憶される。そ
してこの前記画像メモリ502に記憶された画像信号は、
回復処理装置503により適当な回復処理が施されたの
ち、再び画像メモリに記憶され、D/A変換器505によりビ
デオ信号に変換されて前記TVモニタ600に表示される。

第10図には第８図における画像入力部、加算器部の変
形例を示す。前記撮像素子411から出力される画像信号S
1はアナログ加算器420によって画像信号S2と加算され
る。信号S2はディジタルメモリ422に予め記録されてい
た画像信号を、D/A変換器423によりアナログ信号に変換
した信号である。前記加算信号420からの出力信号は、A
/D変換器421によりディジタル変換されて前記メモリ422
に記憶される。以上の構成により、各被写体に合焦させ
て入力された画像はアナログ的に加算が行なわれる。そ
の結果はディジタル信号として記憶される。

第３実施例の作用を説明する。前述した第1,第２の実
施例では撮像素子の受光面に合焦点位置の異なる画像を
積算入力させていたが、第３実施例では加算器を用いて
合焦点位置の異なる画像を加え合わせるようにしてい
る。また、各被写体に合焦させた際の露光時間の比は、
撮像素子411に対するシャッター速度を制御することに
よって設定するものである。

なお、第３実施例においても第２実施例と同様に「連
続モード」を実行することが可能である。

第11図はその「連続モード」のタイミングチャートを
示す。図においてシャッターを開放にしている期間中、
合焦点位置制御器409を駆動し、ある範囲にわたって画
像を積算入力する。そしてその積算入力画像を一度読み
出し、次に新たな合焦範囲の画像を積算入力する。この
動作を行なう際、各シャッター開放時における合焦点位
置の移動速度は最終的に加算された画像において各被写
体のぼけ方が均一になるように設定される。したがっ
て、例えば、第７図に示したような合焦点位置と露光時
間との関係を数回に分割して実現するような作用にな
る。

第３実施例によれば、加算器を用いて合焦点位置の異
なる画像を加え合わせるようにしたので、第1,第２実施
例とは異なり、撮像素子のダイナミックレンジにより加
算入力に限界が生じるという問題が生じない。また、撮
像素子401に対するシャッター制御で露光時間を変える
ことにより合焦点位置制御器409に対する複雑な動作制
御を行なう必要もないので、実行する上でより都合の良
い装置を構成できる。

なお、本実施例においては第９図あるいは第11図に示
したようなタイミングでの動作をより高速に行なうため
に撮像素子411として普通用いられるCCDよりも感度の高
いSITやAMIなどの素子を用いても良い。また、同じ目的
のために第８図における撮像素子411からの出力信号
を、高速のA/D変換器412でディジタル変換した後にメモ
リに記憶させ、全ての入力画像を前記メモリに記憶させ
た後に、これらを加算器で加え合わせるように構成して
も良い。

（第４実施例）第１図，第８図に示したように、カメラとプロセッサ
をオンラインで接続するだけでなく、記録媒体を用いて
オフライン接続するようにしても良い。

第12図はその一例として本発明を電子カメラに適用し
た第４実施例を示す図である。第12図において700はカ
メラ、710は記録媒体、720は読み出し装置、800はプロ
セッサ、900はTVモニタである。前記カメラ700は第１〜
第３実施例に示したカメラ内の構成と同様の構成を有す
る上、記録媒体710への書き込み装置を有し、積算入力
あるいは入力加算した画像を記録媒体710に記憶する。
前記記録媒体710としてはフロッピーディスク，磁気テ
ープ，光カード，光ディスク，半導体ICカードや強誘電
体メモリ，有機メモリ等で構成されており、アナログ，
ディジタルのいずれの方法でも画像信号を記録可能であ
る。この記録媒体710に記録された画像信号は、前記読
み出し装置720により読み出され、前記プロセッサ800内
のディジタルメモリに記憶される。前記プロセッタ800
は第１〜第３実施例に示したプロセッサの構成と同様の
構成を有している。かくして、前記積算画像もしくは入
力・加算画像は適当な回復処理を施され、その結果は前
記TVモニタ900に表示される。

以上の様に電子カメラに本発明を適用することによ
り、撮影者が被写界深度を好きなように設定できるよう
な新しい機能を有するカメラを提供することができる。

本発明はこの他にも光学顕微鏡，内視鏡，複写器など
様々な光学機器に応用可能であり、医療，産業，基礎研
究，民生など広い分野に対して有用な機能を提供できる
ものである。

［発明の効果］本発明によれば、解像度や明るさを失わずに焦点深度
の深い画像を得ることができる上、被写体の数が非常に
多い場合や連続した位置関係を有する場合等、被写体の
条件如何に係わり無く、常に最適な画像処理を行なうこ
とができ、鮮明でS/Nの良い再生画像を得ることが可能
な画像入出力装置を提供できる。

【図面の簡単な説明】

第１図〜第５図は本発明の第１実施例を示す図で、第１
図は全体の構成を示すブロック図、第２図は回転NDフィ
ルタの正面図、第３図は合焦点位置制御器の動作説明
図、第４図および第５図は各被写体までの距離情報から
露光時間の比を求める手段の説明図である。第６図は本
発明の第２実施例の「連続モード」の対象となる被写体
例を示す図、第７図は同第２実施例における入力条件の
説明図である。第８図は本発明の第３実施例の構成を示
すブロック図、第９図は同第３実施例の動作タイミング
を示す図、第10図は同第３実施例の一部変形例を示すブ
ロック図、第11図は同第３実施例の「連続モード時」に
おける動作タイミングを示す図、第12図は本発明を電子
カメラに適用した本発明の第４実施例を示す概略図であ
る。 100,400……カメラ、101,401……レンズ、102,402……
ハーフプリズム、110……回転NDフィルタ、111,409……
合焦点位置制御器、200,500……プロセッサ、300,600…
…TVモニタ。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 5/232 A H04N 5/262 G03B 3/00 A G02B 7/09

Claims

(57)【特許請求の範囲】

【請求項１】画像情報を入出力するための画像入出力装
置において、選択された各被写体について、撮像部から前記各被写体
までの距離を算出する手段と、前記各被写体の明るさを計測する手段と、前記撮像部から前記各被写体までの距離、及び前記各被
写体の明るさに基づいて、前記各被写体の画像を入力す
る際の前記各被写体に対する露光量を設定する手段と、前記撮像部から前記各被写体までの距離に基づいて、前
記各被写体に順次焦点を合わせる手段と、前記焦点を合わせる手段によって順次焦点を合わせられ
た前記各被写体の画像を、前記設定された露光量で入力
する手段と、前記入力する手段により入力された前記複数の画像を加
え合わせる手段と、前記加え合わせる手段により前記複数の画像が加え合わ
されて形成された画像に対して、周波数フィルタリング
による強調処理を施す回復処理手段と、を備え、前記露光量を設定する手段は、前記加え合わせる手段に
より前記複数の画像が加え合わされて形成された画像の
ぼけ方がほぼ一様となるように、各被写体に対する露光
量を設定するものであることを特徴とする画像入出力装
置。
【請求項２】各被写体面に焦点の合った複数の画像を、
設定された露光量で入力すると同時に加え合わせる手段
を備えたことを特徴とする請求項１に記載の画像入出力
装置。
【請求項３】焦点を合わせるべき被写体を、離散的に設
定するか連続的に設定するかを選択する手段を備えたこ
とを特徴とする請求項１に記載の画像入出力装置。