JP2004201007A

JP2004201007A - 撮像装置

Info

Publication number: JP2004201007A
Application number: JP2002366850A
Authority: JP
Inventors: Tomoaki Kawai; 智明河合; Takashi Oya; 崇大矢
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-12-18
Filing date: 2002-12-18
Publication date: 2004-07-15
Anticipated expiration: 2022-12-18
Also published as: JP4217473B2

Abstract

【課題】撮影した画像の一部分を拡大表示する場合に、その拡大する部分に焦点の合った画像を表示できるようにすること。
【解決手段】撮影した画像を操作表示端末（２）に送信可能な画像通信装置（１）であって、被写体を撮像する画像撮像部（１１）と、複数の焦点位置で被写体を撮影するように画像撮像部を制御するカメラ制御部（１４）及び焦点制御部（１０）と、操作表示端末に被写体の画像の部分画像を送信する場合に、複数の焦点位置で撮影した画像の内、部分画像に最も焦点が合っている画像を選択する画像分割焦点管理部（１６）と、選択された画像の部分画像を送信する通信制御部（１５）とを有する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラから画像を取り込み、配信する技術に関するものである。
【０００２】
【従来の技術】
従来、遠隔地に配置されたカメラの画像をネットワーク経由で見ることができる機能を有するカメラが開示されている（例えば、特許文献１参照）。
【０００３】
一方、画像の解像度が高かったり、画像圧縮率が低い場合など、画像のデータ量が大きい場合に、こうしたシステムでは、ネットワーク経由での画像送信時間が問題となる。これに対し、画像を分割して、画像の重要度に応じて送信順序を変えて送るという方法が開示されている（例えば、特許文献２参照）。
【０００４】
近年はデジタルカメラをはじめとする撮像装置における、高解像度化が進んでいる。また、近年の携帯電話や携帯端末の広まりにより、携帯装置から遠隔カメラの画像を気軽に閲覧したいという要求が高まりつつある。
【０００５】
【特許文献１】
特開平１０−０４２２７８号公報
【特許文献２】
特開平１１−１４６２２４号公報
【０００６】
【発明が解決しようとする課題】
デジタルカメラ等の高解像度のカメラ画像を携帯端末等の低解像度の表示装置に表示する場合、携帯端末の表示低解像度はデジタルカメラの解像度よりも大幅に低いため、撮影時の高解像度から低い解像度に解像度を落として表示する必要がある。また、画像のある部分をよりよく確認しようとする場合には、必要な画像の部分を切り出して、解像度を落とさず転送して表示する必要がある。
【０００７】
しかしながら、解像度が高い場合、切り出した部分の焦点が合ってない可能性がある。特に、複数の興味のある対象が同じ距離にない場合や、暗くて被写界深度が浅く撮影されたような場合などでは、画面の中心付近で焦点が合っていても、良く確認をしようとして切り出す部分が中心付近の画像ではない場合に、焦点が合っていない可能性が高くなる。この問題は解像度が高ければ高いほど起こり易く、切り出した部分に焦点が合っていなければ、その部分を高い解像度で送る意味が無くなってしまう。
【０００８】
本発明は上記問題点を鑑みてなされたものであり、撮影した画像の一部分を拡大表示する場合に、その拡大する部分に焦点の合った画像を表示できるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、撮影した画像を外部装置に送信可能な本発明の撮像装置は、被写体を撮像する撮像手段と、複数の焦点位置で前記被写体を撮影するように前記撮像手段を制御する制御手段と、前記外部装置に前記被写体の画像の部分画像を送信する場合に、前記複数の焦点位置で撮影した画像の内、前記部分画像に最も焦点が合っている画像を選択する選択手段と、前記選択手段により選択された画像の部分画像を送信する送信手段とを有する。
【００１０】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１１】
＜第１の実施形態＞
本第１の実施形態では、操作端末からの操作に応じて、デジタルカメラで焦点位置を変えながら複数枚の画像を撮影し、操作端末で撮影画像を閲覧する際に、画像の一部分を表示するような場合であっても、その画像部分に焦点の合った適切な画像を選択し、必要な解像度変換を施した後、送信する画像通信装置について説明する。
【００１２】
図１は本第１の実施形態における画像通信システムの概略構成を示すブロック図である。画像通信装置１、操作表示端末２、WWWサーバ３、ネットワーク４から構成される。
【００１３】
操作表示端末２は、ネットワーク４を経由して画像通信装置１に接続し、画像通信装置１は、操作表示端末２からの要求に応じて、必要な画像を撮影・生成し、操作表示端末２及びWWWサーバ３に送信する。なお、図１では、画像通信装置１、操作表示端末２、WWWサーバ３は説明の便宜上、ネットワーク４にそれぞれ１台ずつ接続されている場合を図示しているが、接続時に適切な相手と接続できればよく、それぞれ複数あっても構わない。
【００１４】
ネットワーク４に関しては、操作表示端末２からの要求および、画像通信装置１からの画像を通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればなんでもよい。
【００１５】
なお、ここではネットワークプロトコルとしてTCP/IP(UDP/IP)プロトコルを仮定し、以下アドレスといった場合にはIPアドレスを指すこととする。また、画像通信装置１、操作表示端末２、WWWサーバ３には、それぞれIPアドレスが割り当てられているものとする。また、操作表示端末２としては、たとえばパーソナルコンピュータや、携帯電話、PDA(Personal Digital Assistant)などが考えられる。従って、ネットワーク４への物理的な接続形態は、有線だけではなく無線の場合もあるため、プロトコル的に接続されていれば、物理的な形態にこだわるものではない。
【００１６】
また、図１に示すように、画像通信装置１は、後述するカメラ制御部１４の制御の基づいて、画像撮像部１１の焦点調節を行う焦点制御部１０、画像を撮影し、デジタル信号に変換して取り込む画像撮像部１１、画像撮像部１１により取り込んだ画像をJPEG等のフォーマットで圧縮する画像圧縮部１２、圧縮された画像を一時保存する画像記憶部１３、画像撮影部１１の焦点や露出、ストロボ発光などを制御しつつ、複数焦点での画像の連続撮影の制御および後述の画像分割焦点管理部１６の制御を行うカメラ制御部１４、操作表示端末２からの要求を解釈し、カメラ制御部１４に要求を出して制御すると共に、後述の処理を施した撮影画像を解像度変換して適切な操作表示端末２またはWWWサーバ３に送信する通信制御部１５、複数焦点で撮影され、画像記憶部１３に記録された各画像を複数領域に分割して、分割領域ごとに焦点の合っている画像を探し、管理する画像分割焦点管理部１６からなる。
【００１７】
なお、本第１の実施形態では、画像圧縮部１２は画像をJPEG圧縮するものとするが、必ずしもJPEG圧縮形式にこだわるものでは無く、他の圧縮方法であってもよいし、また以下に説明する各処理を行うための時間に間に合うのであれば、非圧縮であっても良い。
【００１８】
次に、図２及び図３を参照して、複数の焦点距離で撮影された複数の画像（以下、「多焦点位置画像系列」と呼ぶ。）と、画像分割焦点管理部１６におけるその管理方法とについて説明する。
【００１９】
図２（ａ）において、３０１、３０２、…、３１６は、焦点制御部１０の制御により画像撮像部１１で焦点距離を変えながらＮ回（この例では、Ｎ＝１６）連続撮影され、画像記憶部１３に保存されている多焦点位置画像系列である。これらは一連の系列の画像として、まとめて扱われることになる。なお、図２（ａ）では、画像系列が１６枚の異なる焦点距離で撮影された画像を含む場合を示しているが、本発明は１６枚に限るものではなく、任意に設定することができる。撮影した各画像には、それぞれ焦点インデックス番号ｉとして０、１、２、…、１５をつける。図２（ａ）では、各画像の右上の括弧内に示している。ここでは、焦点インデックス番号が小さいほど近い焦点で撮影した画像を示すものとする。
【００２０】
図２（ｂ）は焦点インデックス表であり、多焦点位置画像系列における各画像を複数の二次元領域に分割し（図２（ａ）で点線により示す。）、各領域毎に最も焦点が合っていると判断した焦点位置の画像（以下、「合焦画像」と呼ぶ。）を表す焦点インデックス番号ｉを保持する。分割領域のサイズは、例えば、画像を送信する先の操作表示端末２の解像度に応じて決定する。一例として、各画像のサイズが2048×1536画素、操作表示端末２の表示サイズが256×192画素とすると、2048÷256＝8、1536÷192＝8で、焦点インデックス表は８×８のエントリを持つことになる。図２（ｂ）の表中の数字が各分割領域の合焦位置を示す焦点インデックス番号ｉであり、値の例を記載してある。
【００２１】
なお、最小分割単位が操作表示端末２の表示画面のサイズと一致していた方が、処理し易い。しかしながら、必ずしも分割領域のサイズと操作表示端末２の表示サイズが一致していなくても良く、必要に応じたサイズに設定すればよい。ただし、分割画像サイズが小さいほど、焦点インデックス表が大きくなり、焦点位置もより正確になるが、最終分割画像サイズを極端に操作表示端末２の表示サイズよりも低くしても、その分割画像を操作表示端末２で拡大表示したときの解像度が上がるわけではないので、あまり意味が無い。
【００２２】
図３は、焦点インデックス表の作成処理を示すフローチャートである。ここでは画像記憶部１３に記憶されている多焦点位置画像系列を用いて実行される。なお、同図において、Pmax、Qmaxは焦点インデックス表の縦横のサイズ、Ｎは多焦点位置画像系列の焦点距離数であって多焦点位置画像系列の画像枚数である。
【００２３】
焦点インデックス表の作成処理開始後、焦点インデックス表の行数ｐ、列数ｑ、焦点インデックス番号ｉを０にそれぞれ初期化する（ステップＳ１１、Ｓ１２、Ｓ１３）。焦点インデックス表の各エントリは図２（ａ）に示すように各分割領域に対応するため、エントリに対応する位置の分割領域をここでは行数ｐ、列数ｑを用いてＩｄ（ｐ，ｑ）と示す。
【００２４】
次に、ステップＳ１４において、画像記憶部１３から焦点インデックス番号ｉの画像を読み込み、ステップＳ１５において、読み出した焦点インデックス番号ｉの画像から、焦点インデックス表（ｐ、ｑ）に対応する分割領域Ｉｄ（ｐ、ｑ）の画像を抽出する。そしてステップＳ１６に進んで、抽出した分割領域（ｐ、ｑ）の合焦度FVを算出する。
【００２５】
合焦度FVは、画像分割焦点管理部１６が計算する。焦点位置の決定方法として、例えば分割画像中心付近の周波数成分すなわちJPEG圧縮におけるDCT係数のうち高周波成分が最も多い画像を合焦画像（焦点の合っている画像）として採用する方法があり、ここでも合焦度FVとして、この高周波成分の量を用いることができる。
【００２６】
この手法は、DCT係数で合焦の有無を判断することを除き、カメラのオートフォーカスにおける方式として各種検討されているものと同様であり、本第１の実施形態では、合焦方法そのものにこだわるものではないのでこれ以上の説明は省略する。なお、画像がJPEG圧縮以外であれば再度DCT計算をするなど、別の手法で合焦を求めるなどすればよい。いずれにせよ、値が大きいほど焦点が合っていることを示すパラメータFVを、何らかのアルゴリズムにより計算できればよい。
【００２７】
次に、ステップＳ１６で算出した合焦度FVを、それまでの最大合焦度FVmaxと比較し、FV≦FVmaxであれば（ステップＳ１７でＹＥＳ）そのままステップＳ１９に進み、FV＞FVmaxであれば（ステップＳ１７でＮＯ）ステップＳ１８に進んで最大合焦度FVmaxをFVに更新すると共に、この時の焦点インデックス番号ｉを保存してから、ステップＳ１９に進む。
【００２８】
ステップＳ１９では、焦点インデックスｉを１増やし、画像の枚数Ｎと比較する。Ｎよりも少なければ（ｉ＜Ｎ）、分割領域（ｐ、ｑ）の合焦度を比較していない画像が存在するのでステップＳ１４に戻り、以下、ｉ≧Ｎとなるまで、ステップＳ１４〜Ｓ１９の処理を繰り返す。
【００２９】
一方、ｉ≧Ｎであれば、ステップＳ２０に進んで焦点インデックス表の行数ｐを１増やし、処理対象の分割領域をシフトする。そして、ｐ＞Pmaxとなるまで上記説明したステップＳ１３〜Ｓ２０の処理を繰り返す。１列分の分割領域の処理が済むと、ステップＳ２１に進んで焦点インデックス表の列数ｑを１増やし、処理対象の分割領域をシフトする。そして、ｑ＞Qmaxとなるまで（即ち、全ての分割領域について処理が終了するまで）ステップＳ１２〜Ｓ２１の処理を繰り返す。
【００３０】
上記処理により、各分割領域について最大合焦度を有する焦点インデックス番号が、図２（ｂ）に示すような焦点インデックス表として記憶される。
【００３１】
次に、全体の処理の流れを、図４と操作表示端末２の操作画面例を示す図５とを主に用いて説明する。図４は、本第１の実施形態における画像通信装置１の処理動作を説明するフローチャートである。
【００３２】
操作表示端末２は、図５（ａ）に示す操作画面を表示し、画像通信装置１のIPアドレスと認証パスワードを指定して、接続要求を送信する。画像通信装置１は接続要求を受信すると（ステップＳ３１でＹＥＳ）、ステップＳ３２においてパスワードによる認証処理を行った後、セッションを開始する（ステップＳ３３）。操作表示端末２では、接続が認証されたことを知ると、図５（ｂ）に示す操作画面を表示し、レンズのズーム倍率、露出、ストロボ設定、画像解像度、画像圧縮率など撮影に必要なパラメータ設定を行う。
【００３３】
画像通信装置１は操作表示端末２から受け取ったパラメータを用いてカメラを設定し（ステップＳ３４）、焦点インデックス番号ｉを０に初期化する（ステップＳ３５）。そして次のステップＳ３６では、焦点インデックス番号ｉに対応する焦点位置ｉを設定し、被写体の撮影を行う。各焦点位置で撮影された画像は画像記憶部１３に記憶される（ステップＳ３７）。次に、ステップＳ３８でｉを１増やすと共に、ｉを多焦点位置画像系列の焦点位置数または画像数Ｎと比較する。ｉ＜ＮであればステップＳ３６に戻り、次の焦点位置ｉを設定し（ステップＳ３６）、撮影及び記憶を行う（ステップＳ３７）。このようにして、焦点位置を変えながらＮ枚（図２（ａ）の例ではＮ＝１６）の画像撮影をする。
【００３４】
なお、撮影時の焦点位置は、画面中の最も距離の近い点から最も距離の遠い点の間を、近くから遠くに向かって、ある間隔で焦点位置をＮ点設定する。なお、焦点位置の間隔は、距離に比例するのではなく、Ｎ回撮影した際に、なるべく広い被写界深度をカバーできるように、近くのものほど間隔は狭く、遠くのものほど間隔は広くとるようにする。つまり、近くのものほど被写界深度が浅く、遠くのものほど被写界深度が深くなるので、この点を考慮して、どの画像もなるべく広い範囲で焦点が合った状態になるように撮影に用いる焦点位置を設定する。なお、最も距離の近い点と最も距離の遠い点のそれぞれの距離を得る手段が無い場合には、あらかじめ設定した近距離点と遠距離点の間を適切に分割するようにする。
【００３５】
Ｎ枚の撮影が終了すると（ステップＳ３８でＮＯ）、ステップＳ３９において図３のフローチャートを参照して上述した焦点インデックス表の作成処理を行う。
【００３６】
次にステップＳ４０において、画像記憶部１３に記憶された多焦点位置画像系列の中から、ステップＳ３９で作成した焦点インデックス表を利用して１枚の全体画像を選択して読み出し、通信制御部１５は、操作表示端末２の表示サイズに合わせて解像度を下げる縮小処理を行い、この縮小画像を操作表示端末２に送信する。なお、ここで送信する全体画像の選択方法については詳細に後述する。
【００３７】
操作表示端末２では、全体画像の送信を受けて、図５（ｃ）に示すような操作画面の表示窓５０に、送信されてきた全体画像の縮小画像を表示する。ここで、より詳しく拡大して見たい部分がある場合には、分割領域５１〜５４のいずれかを選択して、「拡大表示」ボタン５５を押す。
【００３８】
画像通信装置１では、ステップＳ４０で縮小画像送信後、ステップＳ４１操作表示装置２からの指示を待ち、指示を受け取ると、ステップＳ４２において受け取った指示が拡大・縮小指示であるかどうかを判断する。
【００３９】
ここでは拡大指示であるため、ステップＳ４０に戻り、拡大指示を受けた部分画像について、焦点インデックス表を用いて多焦点位置画像系列の中から最も焦点の合った画像を選んで部分画像を切り出し、これを操作表示端末２の表示サイズに合わせて解像度変換を行った後、送信し、ステップＳ４１で再び指示待ち状態に入る。なお、ここで行う焦点インデックス表を用いる選択処理については詳細に後述する。
【００４０】
操作表示端末２では送信された部分画像を受け取って、図５（ｃ）の表示窓５０全体に表示する。これにより、先に表示窓５０の領域５１に表示されていた部分画像が、表示窓５０全体に４倍の大きさで表示される。同様に、領域５１〜５４のいずれかの選択及び「拡大表示」ボタン５５の押下により、更に拡大された画像を表示することができる。
【００４１】
画像の分割領域の切り出し動作を図６を参照して説明する。図６（ａ）は全体画像を示し、８×８に分割された矩形一つ一つが最小分割領域、つまり焦点インデックス表の１エントリに対応する部分画像に相当する。図６（ｂ）は、例えば図５（ｃ）の操作画面で領域５１が選択されている場合に、最初の拡大表示要求に応じて送信する部分画像を表す図であり、太枠で示している。図６（ｃ）は、例えば図５（ｃ）の操作画面で領域５２が選択されている場合に、２度目の拡大表示要求に応じて送信する部分画像を表す図であり、太枠で示している。図６（ｄ）は、例えば図５（ｃ）の操作画面で領域５３が選択されている場合に、３度目の拡大表示要求に応じて送信する部分画像を表す図であり、太枠で示している。この結果、図６（ｅ）に示すように、これより小さい画像サイズでは操作表示端末２での表示サイズと同じになるので、これが最小分割単位になる。
【００４２】
逆に、「縮小表示」ボタン５６を押すと、その指示を受けて（ステップＳ４１，Ｓ４２）画像通信装置１は１段階広い分割領域の合焦画像を選択してサイズ変換を行って送信し（ステップＳ４０）、操作表示端末２では受信した画像を同様に表示する。このように、「拡大表示」ボタン５５及び「縮小表示」ボタン５６の押下により、画像のそれぞれの部分を焦点の合った状態で詳細に閲覧することができる。
【００４３】
次に、ステップＳ４０で行われる、焦点インデックス表を用いて多解像度画像の中から画像を選択する方法について説明する。画像の決定方法として、本第１の実施形態では以下２つの方法のどちらかをとるものとするが、状況によって、よりよい方法があればそちらを採用しても構わない。１つの部分画像は、最も拡大表示した場合を除き、複数の分割領域を含むため、焦点インデックス表の複数分のエントリの領域に対応する。部分画像のサイズと表示サイズが等しくなるまで拡大している場合には、焦点インデックス表のエントリは１つだけになるので、そのエントリの値に示されている焦点インデックス番号の画像から部分画像を切り出して用いればよい。
【００４４】
〔方法１〕
操作表示端末２に送信する画像に含まれる分割領域に対応する焦点インデックス表のエントリにおいて、中央付近のエントリに示される焦点インデックス番号の画像を選択する。送信する画像に含まれる分割領域の縦及び横方向の数が共に奇数であれば、図７（ａ）に示す中央のエントリに示される焦点インデックス番号の画像を選択する。また、縦ないし横方向の数が偶数の場合、例えば図７（ｂ）に示すように、中央付近の２×２（あるいは２×１、１×２の場合もある）のエントリに示される焦点インデックス番号を抽出し、抽出した複数の焦点インデックス番号から最も値の小さい焦点インデックス、つまり距離が近い焦点インデックスを用いる。
【００４５】
具体的には焦点インデックス表のエントリが図２（ｂ）に示すような場合であって、図５（ｃ）に示す操作表示端末２の表示窓５０に全体画像が表示され、領域５１の拡大表示が指示されている場合、図６（ｆ）の太線で囲むエントリ６１の焦点インデックス番号、１３、１３、１３、９を抽出する。このうち最も距離が近い焦点インデックス番号は９であるため、焦点インデックス番号９の画像から部分画像を切り出すことになる。
【００４６】
この方法１は、画像において、近景と遠景の重要性が同等であるような状況に適している。
【００４７】
〔方法２〕
操作表示端末２に送信する画像に含まれる分割領域に対応する焦点インデックス表のエントリに示される焦点インデックス番号の内、最も近い焦点距離を示す焦点インデックス番号の画像を選択する。つまり対応するエントリに示される焦点インデックス番号の内、最も小さい焦点インデックス番号の画像を選択する。
【００４８】
具体的には焦点インデックス表のエントリが図２（ｂ）に示すような場合であって、図５（ｃ）に示す操作表示端末２の表示窓５０に全体画像が表示され、領域５１の拡大表示が指示されている場合、図６（ｆ）の左上１／４の１６個のエントリから最も小さい値である８が選ばれる。そして、焦点インデックス番号８の画像から部分画像が切り出されることなる。
【００４９】
この方法２は、近景がより重要であるような状況に適する。
【００５０】
方法１を採るか方法２を採るかは、図５（ｃ）に示す「中央」ボタン５７、「近距離」ボタン５８により選択してから、「拡大表示」ボタン５５を押すことで設定可能である。
【００５１】
以上の処理により、画像中の見たい領域を段階的に選択し、焦点の合った状態で詳細に閲覧することができる。
【００５２】
また、図５（ｃ）の操作画面において、転送先URLを指定して「保存」ボタン５９を押すと、画像通信装置１は図４のステップＳ４１において操作表示装置２から指示を受け取り、受け取った指示が保存指示であると判断すると（ステップＳ４３でＹＥＳ）、ステップＳ４４に進む。ステップＳ４４では、画像通信装置１は、図２に示すような多焦点位置画像系列と焦点インデックス表の組をWWWサーバ３に送信し、WWWサーバ３にも保存されることになる。WWWサーバ３に対して、画像通信装置１と同様の手続きで処理し、アクセスすることで、同様に保存画像を、全体も詳細も焦点の合った形でみることができる。
【００５３】
また、図５の操作画面において「終了」ボタンが押下されると（ステップＳ４５でＹＥＳ）、ステップＳ４６でセッション終了の処理を行って、処理を終了する。
【００５４】
なお、本第１の実施形態では、操作表示端末２の画面では、部分画像の指定は、図５（ｃ）に示すように、２×２の４分割した部分画像のうちの一つを選択するようになっていたが、本発明はこれに限るものではなく、例えばこれば３×３の９分割や、４×４の１６分割のうちの一つを選択するようになっていても良く、操作画面上での部分画像指定のための分割数は任意に設定すればよい。
【００５５】
上記の通り、本第１の実施形態によれば、多焦点の画像を撮影し、画像を分割して分割領域ごとに焦点位置を管理し、必要に応じて焦点の合った部分画像をサイズ変換して送信することで、表示サイズの小さい表示装置でも、観察位置を変えながら拡大し、焦点のあった画像を閲覧することができる。
【００５６】
また、撮影した多焦点位置画像系列および対応する焦点インデックス表をWWWサーバに保存するため、後から見ることもできる。
【００５７】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
【００５８】
第１の実施形態では、拡大する部分画像領域の指定は、図５（ｃ）のような操作画面から段階的に設定するようにしていたが、本第２の実施形態では、図８（ａ）に示すような操作画面を用いて、部分領域を自由に選択できるようにしたものである。以下、第１の実施形態と異なる動作について説明し、同様な構成及び動作については説明を省略する。
【００５９】
図８（ａ）は、操作表示端末２の画像表示部分であり、図５（ｃ）の表示窓５０に相当する。
【００６０】
まず、部分画像指定のため、領域指定操作のための選択矩形８１を表示する。この選択矩形８１はサイズ変更カーソル８２を用いて変更することができる。また、上下移動カーソル８３を用いて、選択矩形８１の位置を移動させることができる。これらのカーソル８２及び８３を操作して、選択矩形８１が所望の部分画像を包含するように設定する。この状態で、操作表示端末２が拡大指示を画像通信装置１に送信すると、画像通信装置１は、選択矩形８１により設定された部分画像に含まれる分割領域に対応する焦点インデックス表に基づいて、適切なインデックス番号の画像が選択され、第１の実施形態で説明したようにして選択された画像の部分画像が操作表示端末２に送信される。
【００６１】
図８（ｂ）は焦点インデックス表の例を示す。図８（ｂ）において、８５は、図８（ａ）の選択矩形８１の領域に対応する焦点インデックス表上の領域を示す。画像通信装置１では、第１の実施形態で述べた方法１または方法２を選択し、この矩形８５に含まれるエントリから合焦状態にある画像の焦点インデックス番号を選択する。更に、選択した画像から部分画像を切り出し、解像度変換して操作表示端末２に画像を送信する。
【００６２】
なお、選択矩形８１は、焦点インデックス表のサイズ、即ち、分割領域サイズでしか、サイズや位置を変えることはできない。このため、図８（ａ）の操作画面での選択矩形８１の移動、サイズ変更は、焦点インデックス表に対応するステップ幅を単位として行われる。つまり、最小分割単位が選択矩形８１の移動ステップ幅となる。
【００６３】
しかしながら、本発明は上記サイズ変更方法及び位置移動方法に限るものではなく、選択矩形８１が任意にサイズ変更及び移動できるように構成してもよい。その場合、拡大範囲や位置が決定した後、図８（ｂ）に示す矩形８５の位置にマッピングするときに、焦点インデックス表の単位（最小分割単位）となるようにサイズおよび位置を丸めるようにすればよい。
【００６４】
上記の通り、本発明の第２の実施形態によれば、任意の大きさの矩形により直接範囲指定することで、焦点の合った所望のサイズの画像を見ることができる。
【００６５】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
【００６６】
第３の実施形態は、最も焦点の合った部分画像を選択して送るのではなく、全体的に焦点のあった画像を合成して送信・保存できるようにするものである。
【００６７】
合成は、送信時にその都度行っても良いが、ここでは、あらかじめ合成しておく方法を説明する。以下、第１の実施形態と異なる動作について説明し、同様な構成及び動作については説明を省略する。
【００６８】
本第３の実施形態では、第１の実施形態で説明した図４のステップＳ３９の処理において図３を参照して説明したようにして、焦点インデックス表を作成した後、ステップＳ４０の処理に移行する前に、作成した焦点インデックス表を用いて、合成画像を生成する。この合成画像生成処理は画像分割焦点管理部１６により実行される。以下、図９のフローチャートを参照して説明する。なお、図９におけるｐ、ｑ、ｉ、Pmax、Qmaxは、図３と同様であるため説明を省略する。
【００６９】
まずステップＳ５１及びＳ５２において、ｑ、ｐをそれぞれ０に初期化する。次にステップＳ５３において、焦点インデックス表からエントリ（ｐ、ｑ）に保持されている焦点インデックス番号を読み出す。続いてステップＳ５４では、読み出した焦点インデックス番号の画像の分割領域（ｐ、ｑ）を画像記憶部１３から読み出し、これを合成画像の画像部分（ｐ、ｑ）として記憶する（ステップＳ５５）。
【００７０】
ステップＳ５６ではｐを１増やしてからPmaxと比較し、Pmax以下であればステップＳ５３に戻って、ステップＳ５３〜Ｓ５５の処理を繰り返す。
【００７１】
ステップＳ５６でｐ＞Pmaxになると、ステップＳ５７に進んでｑを１増やしてからQmaxと比較する。以下、ステップＳ５２〜Ｓ５７の処理を、ｑ＞Qmaxとなるまで繰り返す。上記処理により、分割領域全てに焦点が合った合成画像を生成することができる。
【００７２】
本第３の実施形態では、図４のステップＳ４０の処理においては、操作表示端末２から要求のあった画像部分をこの合成画像から切り出し、解像度変換して返送すればよい。
【００７３】
また、操作表示端末２から保存指示があった場合、WWWサーバ３にはこの合成画像を保存する。
【００７４】
なお、究極的には、各分割領域のサイズを１×１画素として焦点インデックス表を作成し、画像を撮影する際の焦点インデックス数を無限（制御可能な最小ステップ毎の全ての焦点位置で撮影させる）とすれば、画像のすべての領域において焦点の合った画像を合成することが可能となるが、焦点位置のステップ量は、撮像装置の性能に依存する部分である。
【００７５】
上記の通り、本第３の実施形態によれば、全領域で焦点のあった画像を予め合成しておくことにより、表示サイズの小さい表示装置でも、より迅速に観察位置を変えながら拡大し、焦点のあった画像を閲覧することができる。
【００７６】
またWWWサーバ３に保存する画像枚数が１枚で済むため、記憶容量を節約することができる。
【００７７】
【他の実施形態】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【００７８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７９】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図３および図４、更に、場合によっては図９に示すフローチャートに対応するプログラムコードが格納されることになる。
【００８０】
【発明の効果】
上記の通り本発明によれば、撮影した画像の一部分を拡大表示する場合に、その拡大する部分に焦点の合った画像を表示できるようにすることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における画像通信システムの概略構成を示すブロック図である。
【図２】本発明の実施の形態における多焦点位置画像系列と、焦点インデックス表の一例を示す図である。
【図３】本発明の実施の形態における焦点インデックス表の作成処理を示すフローチャートである。
【図４】本発明の第１の実施形態における画像通信装置における処理を示すフローチャートである。
【図５】本発明の第１の実施形態における操作表示端末の操作画面の一例を示す図である。
【図６】本発明の第１の実施形態における部分画像及び焦点インデックス表の具体的な利用方法を説明する図である。
【図７】本発明の実施の形態における中央付近の分割領域の選択方法を説明する図である。
【図８】本発明の第２の実施形態における操作表示端末の操作画面の一例を示す図である。
【図９】本発明の第３の実施形態における合成画像の精製処理を示すフローチャートである。
【符号の説明】
１画像通信装置
２操作表示端末
３ WWWサーバ
４ネットワーク
１０焦点制御部
１１画像撮像部
１２画像圧縮部
１３画像記憶部
１４カメラ制御部
１５通信制御部
１６画像分割焦点管理部

Claims

撮影した画像を外部装置に送信可能な撮像装置であって、
被写体を撮像する撮像手段と、
複数の焦点位置で前記被写体を撮影するように前記撮像手段を制御する制御手段と、
前記外部装置に前記被写体の画像の部分画像を送信する場合に、前記複数の焦点位置で撮影した画像の内、前記部分画像に最も焦点が合っている画像を選択する選択手段と、
前記選択手段により選択された画像の部分画像を送信する送信手段と
を有することを特徴とする撮像装置。