JP2011055246A

JP2011055246A - 望遠撮像装置

Info

Publication number: JP2011055246A
Application number: JP2009202205A
Authority: JP
Inventors: Hitomaro Togo; 仁麿東郷
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2009-09-02
Filing date: 2009-09-02
Publication date: 2011-03-17

Abstract

【課題】従来の光学ズームレンズを用いた望遠ズーム機能付き撮像装置は、レンズ系の移動用モータなどを必要とすることから、薄型の携帯端末装置への適用が困難であった。また、従来の複数の焦点距離をもつ撮像装置の画像を指定倍率に応じて切り換える望遠ズーム機能は、近距離の拡大画像がぼやけてしまうという課題があった。
【解決手段】広角レンズを有する撮像モジュールと望遠レンズを有する撮像モジュールと被写体までの距離を測定する測距手段を有し、被写体の距離に応じて広角画像と望遠画像の合成を行うことにより、薄型で広ダイナミックレンジの望遠倍率からなる望遠撮像装置を有する携帯端末装置が実現できる。
【選択図】図１

Description

本発明は、撮像装置を含む携帯電話や携帯端末装置に関するものである。

デジタルカメラや携帯電話などの携帯端末装置の撮像装置（カメラ）の高機能化が進んでおり、望遠ズーム機能の要望も高まっている。
従来の望遠ズーム付き撮像装置は、複数のレンズからなる多群レンズ系を有する光学ズームレンズと撮像素子（ＣＣＤ）を有していて、レンズ系の相対位置をモーターなどを用いて機械的に移動させることにより倍率を変化させることができる。多群レンズは光軸方向のサイズが大きくなることから、小型化するためにプリズムを利用して長さを短縮する方法などが考案されている。（例えば特許文献１）
また、複数の光学系とその光学系に結合された複数の撮像素子の画像を切り換えまたは合成することで広角から望遠までの拡大倍率の広ダイナミックレンジを実現することができる。（例えば特許文献２、３）
また、自動調整の光学ズームレンズはモータ駆動などが必要なため小型化が困難であることから、複数の焦点距離をもつカメラと電子（デジタル）ズームを組合せることで小型な望遠ズーム付きカメラを実現する方法がある。（例えば特許文献４）

特許第３５７０２５３号公報特許第４０６８８６９号公報特開２００５−１０１８７４号公報特開平２−１７９０７８号公報

望遠機能を実現するためには、長い焦点距離のレンズや望遠レンズ系が必要であり、最も外側にあるレンズと撮像素子の間に、ある程度の距離が必要である。

一方、広角を実現するには、短い焦点距離のレンズを用いて、撮像素子と最端部にあるレンズの距離に対するレンズ径を大きくすることが必要である。

従来の光学ズームレンズは、上記の望遠と広角を１つの光学系で実現するため２〜４群の複数のレンズ系を縦に並べた構造であり、カメラの光軸方向の長さ及びカメラの横幅が大きく、小型化が困難であった。特に、薄型化が要求される携帯端末装置への適用が困難であった。

上記特許文献２、３、４は、複数の焦点距離が異なるレンズ、すなわち異なる固定倍率のレンズからなる複数の撮像モジュールを用いてズーム機能を実現している。ユーザが設定した各倍率に応じて上記撮像モジュールの画像を切り換えている。

例えば、広角レンズ付き撮像モジュールと望遠レンズ付き撮像モジュールの２つのモジュールで構成される場合には、被写体が短距離にある場合には焦点距離が短い広角レンズの撮像モジュールの画像に切り換え、長距離にある場合は望遠レンズ付き撮像モジュールの画像に切り換える。小さい倍率の変化は、撮影画像からの切出し領域を変化させる電子ズームにより実現する。これにより、光学ズームに必要な多群レンズやモータが不要となる。

しかし、上記２つの固定倍率の撮像モジュールからなるズーム方法の課題として以下のようなものがある。

各撮像モジュールは、近距離から長距離にあるそれぞれの被写体にレンズの焦点を合わせるための焦点調整機能が必要であった。焦点調整は、光学ズームの倍率の変化に必要なレンズ移動量に比べると小さいが、フォーカスレンズをモータやアクチュエータなどで移動させる必要があり、光学レンズ系を大きくする要因となる。

なお、焦点調整機能がない場合には、異なる距離におかれた被写体に焦点が合うように調整された２個以上の撮像モジュールを用いる必要がある。被写体までの距離に応じて多くの撮像モジュールの画像を細かく切り換える必要があり、小型化が困難であるとともに、被写体までの距離に合った撮像モジュールがない場合には、画像がぼけてしまう。

焦点距離が長い望遠用撮像モジュールは、被写体が近くにあるときよりも遠くにあるときに画質が改善するように設計されていることが多い。すなわち、焦点距離が長い望遠用撮像モジュールは、焦点距離が短い広角用撮像モジュールに比べて、近距離においてピントが甘くなる。

従って、ユーザが高倍率を設定したときには広角用から望遠用撮像モジュールに切り替わるが、このとき被写体が近くにあると、望遠用撮像モジュールの画像のため画質が劣化してしまう。

特に、望遠レンズの倍率を大きくし過ぎると、近距離画像が益々劣化するため、望遠用撮像モジュールは被写体が近距離でも焦点調整を行って画質が劣化しないように、望遠倍率を小さくする必要があった。そのため、望遠倍率が大きいズーム機能が実現できなかった。

また、望遠レンズの倍率を大きくすると望遠用撮像モジュールが長くなり、焦点距離の移動量も大きくなることから小型化できなかった。そこで望遠倍率を大きくすることができなかった。

被写体が近距離にある場合、被写体からの距離が変わると、広角用撮像モジュールと望遠用撮像モジュール画像の中心位置が変化するため、例えば特許文献３に記載されているように、距離に応じた中心位置の補正が必要になっていた。

次に、上記の課題を解決するための手段について述べる。

本発明の携帯端末装置は、広角レンズ系と第一撮像素子と自動焦点手段を有する第一撮像モジュールと、前記第一撮像モジュールと平行な光軸をもち、遠方で焦点が合っている望遠レンズ系と第二撮像素子からなる第二撮像モジュールと、画像制御手段と、表示装置と、キー手段を有する撮像装置において、前記キー手段を介してユーザが設定した設定倍率Ｘが、所定倍率Ａよりも小さいときは、前記第一撮像素子の撮影画像から前記設定倍率Ｘに相当する画像を切り出して前記表示装置に拡大表示し、被撮影物と前記携帯端末装置との撮影距離Ｙを推定する撮影距離推定手段を有し、前記撮影距離Ｙが所定距離Ｂより大きく、かつ、前記設定倍率Ｘが前記所定倍率Ａよりも大きい場合には、前記第一撮像素子の撮影画像のほぼ中央部に前記第二撮像素子の撮影画像を貼り付けて合成した合成画像を生成したのち、前記設定倍率Ｘに相当する画像を前記合成画像から切り出して前記表示装置に拡大表示し、前記撮影距離Ｙが前記所定距離Ｂ以下の場合には、前記設定倍率Ｘに相当する画像を前記第一撮像素子の撮影画像から切り出して前記表示装置に拡大表示する携帯端末装置である。

また、本発明の携帯端末装置は、前記自動焦点手段の出力信号、または前記自動焦点手段を制御する制御信号から被撮影物と前記携帯端末装置との撮影距離Ｙを推定する。

本発明によれば、光学ズームレンズや望遠レンズの焦点調整機能を必要とせず、薄型で望遠倍率の大きい携帯端末装置用撮像装置が実現できる。

本発明の実施の形態１の携帯端末装置のブロック構成図本発明の実施の形態１の第一撮像モジュールの構造図本発明の実施の形態１の第二撮像モジュールの構造図本発明の実施の形態１の携帯端末装置の撮像装置の断面図本発明の実施の形態１の拡大画像の生成方法を示す図本発明の実施の形態１の拡大画像の生成方法を示す図本発明の実施の形態１の撮像モジュールと被写体との位置関係を示す図

以下、本発明の実施の形態について、図面を用いて説明する。
（実施の形態１）
図１は、本発明の携帯端末装置のブロック構成図である。

第一撮像モジュール１は、広角画像用の撮像モジュールであり、広角レンズ系７とＣＣＤカメラなどの第一の撮像素子８と自動焦点調整（オートフォーカス）手段９からなる。

広角レンズ系７は焦点距離が一定、すなわち固定倍率レンズ系であり、変倍機能すなわちズーム機能はないことから光学ズームレンズに比べてレンズが少なく小型である。自動焦点調整手段９により、例えば数十センチメートルから数メートルの距離離れた被写体の画像を撮影できる。自動焦点調整手段９は広角レンズ系の中の焦点レンズを光軸方向に移動させる構造を有し、前記被写体までの距離に応じて第一撮像素子８への結像のピント調整を行う。前記焦点レンズと第一撮像素子８の距離を変化する方法として、例えば印加電圧に対して移動量が変化するピエゾ素子を用いたアクチュエータなどを利用することができる。

図２に広角レンズを含む第一撮像モジュール構造の一例を示す。第一撮像素子に固定されたアクチュエータ１３の厚さを変化させることで焦点レンズ（広角レンズ）と第一撮像素子８の距離を調整することができる。

第二撮像モジュール２は、望遠画像用の撮像モジュールであり、望遠レンズ系１０とＣＣＤカメラなどの第二の撮像素子１１からなる。

望遠レンズ系１０は、上記広角レンズよりも倍率が高く、拡大倍率が一定の固定倍率レンズ系であり、ズーム機能はない。

図３は望遠レンズ系の一例であり、焦点距離の異なる２つのレンズ１５で構成されている。広角レンズ系よりも光軸方向のサイズが大きくなる。しかし、従来のズーム機能を含む多群レンズからなる望遠レンズ系に比べるとレンズ数も少なく小型である。

図３のようにレンズ１５の近くにミラー１６またはプリズムを挿入することで光軸を９０度変更することができる。

また、望遠用撮像モジュール２は、例えば数十メートル以上の遠距離の被写体のみを撮影するものであることから、望遠レンズ系と第二撮像素子１１の距離を微調整する必要がなく、望遠レンズ系から撮像素子への結像のピント調整機能は不要となる。従って、ピント調整用のアクチュエータが不要で小型化に適している。

第一撮像モジュール１と第二撮像モジュール２からの画像データを画像制御手段４に入力する。

測距手段３は携帯端末装置と被写体との撮像距離（Ｙとする）を測定する手段であり、例えば、前記第一撮像モジュール１の自動焦点調整手段９のアクチュエータ制御電圧から距離（Ｙ）を以下のように推定する。

オートフォーカス後のアクチュエータ制御電圧は焦点レンズと撮像素子の距離に関連した信号である。従って、この制御電圧から焦点レンズと撮像素子の距離が推定できる。さらに、焦点レンズと撮像素子の距離が近いほど被写体までの距離が遠いという関係があることから、アクチュエータ制御電圧から被写体までのおよその距離（Ｙ）を推定することができる。

測距情報（Ｙ）を画像制御手段４に入力する。なお、測距情報（Ｙ）は後述するように画像制御の判断材料として利用するものであり、正確な距離である必要はない。

上記の測距手段は自動焦点調整手段から距離Ｙを推定する方法であるが、代わりに、超音波や赤外線を用いて被写体までの距離を測定する測距手段などを用いても構わない。但し、この場合は測距のための部品（超音波発生手段や検出手段など）を新たに追加する必要がある。

ユーザは撮影する被写体の画像の設定倍率（Ｘとする）をキー手段６を介して設定し、その設定倍率Ｘは画像制御手段４に入力する。

画像制御手段４は、第一撮像モジュール１からの画像と第二撮像モジュール２からの画像と測距情報（Ｙ）と設定倍率（Ｘ）を元に画像処理したのち、表示装置５に表示する。

図４（１）と（２）は携帯端末装置１７に第一撮像モジュール１と第二撮像モジュール２を組み込んだときの断面概略図を示す。第一撮像モジュール１と第二撮像モジュール２の光軸は平行であり、光軸の距離ができるだけ近くなるように配置する。

図４に示すように第一撮像モジュールの光学系の光軸方向のサイズと、第二撮像モジュールの光学系の光軸に垂直方向のサイズが、従来の光学ズーム機能つきレンズに比べて小さいことから、従来よりも薄型の携帯端末装置への実装が可能である。

図４（１）の第二撮像モジュールは、望遠光学系の最端のレンズの直前にミラーまたはプリズムを挿入し、光航路を９０度変更した構造を有している。これにより、携帯端末装置の薄い筐体面に対して垂直方向にカメラの光軸を設定できる。なお、ミラーの位置は望遠光学系の光軸上にあればどこでも構わない。

一方、図４（２）の第二撮像モジュールは、ミラーはなく携帯端末装置の薄い筐体面に対して平行方向にカメラの光軸を設定できる。

次に、画像制御手段４における画像処理方法について詳しく述べる。

図５（１）から（４）に各倍率における拡大画像の生成方法を示す。

なお、図５は携帯端末装置と被写体の撮像距離（Ｙ）が数十メートル以上の長い場合とする。すなわち、所定距離Ｂを数十メートルの長さと定義し、撮像距離ＹがＢよりも長い場合を想定する。

２０は第一撮像モジュールからの広角画像、２１は第二撮像モジュールからの望遠画像を示す。

図５（１）は最低倍率Ｘ＝１の場合の画像である。自動焦点調整後の第一撮像モジュール１からの画像全体を表示する。

図５（２）は、設定倍率Ｘが約１．５の場合の拡大画像である。第一撮像モジュールの画像中心を中心として所定の大きさの画像を切出して拡大表示し、いわゆるデジタルズームを行う。設定倍率Ｘが例えば１〜４倍程度の小さい場合には、広角画像２０のデジタルズームにより拡大画像の表示を行う。

図５（３）は、設定倍率Ｘが約４倍の場合の拡大画像であり、広角画像２０から切出したデジタルズーム画像のほぼ中心位置に望遠画像２０を合成したものである。ここで、第二撮像モジュールの望遠レンズの倍率（Ｃ）は約５倍とする。

広角画像と望遠画像の合成をするときの判断基準は、設定倍率Ｘが特定の所定倍率Ａよりも大きく、かつ、撮像距離Ｙが所定長さＢより大きい場合とする。

なお、所定倍率Ａは広角画像の切り出し画像の画質が望遠画像の画質よりも劣化するときの倍率とする。上記では例えばＡは約４倍とする。なお、望遠倍率Ｃが５倍よりも大きいときはＡの値はさらに大きくする必要がある。この倍率Ａは、望遠画像の倍率Ｃや望遠画像と広角画像の画質の差から実験的に決めることができる。なお、前記の画質は使用するレンズ系の性能などに依存するため理論的に厳密に導出することは困難である。

上記はＡ＝約４、Ｃ＝約５として説明したが、Ａ、Ｃともにこれよりも大きくしても構わない。

図４に示すように第一撮像モジュールと第二撮像モジュールは近接（数ｍｍ〜数十ｍｍ）していて光軸が平行であることから、被写体までの撮像距離（Ｙ）が長い（数十ｍ）ときには、広角画像１７と望遠画像の中心位置はほぼ等しい。従って、特許文献３のように広角画像と望遠画像の中心位置の補正機能は不要である。

次に、図６（１）から（４）には、携帯端末装置と被写体の撮像距離（Ｙ）が数十メートル以下の場合、すなわち、撮像距離Ｙが所定距離Ｂ以下の場合を想定したときの、画像制御手段４における拡大画像生成方法を示す。

図６（１）から（４）の設定倍率は、図５における（１）から（４）にほぼ対応している。図５においては、高倍率（３）、（４）の場合には望遠画像を合成していたのに対して、図６では望遠画像の合成は行わず、全て広角画像２０の切出し画像（デジタルズーム）により拡大画像を生成する。

次に、撮像距離ＹがＢ以下の場合に望遠画像の合成しない理由について説明する。

図７は携帯端末装置の撮像モジュールと被写体との位置関係を示す。

第二撮像モジュールは被写体までの撮像距離が長いときにピントが合うように焦点調整が行われているため、被写体までの撮像距離が短い（図の（Ａ））場合は、望遠画像２３はぼやけていると考えられる。

従って、近距離（Ａ）の場合は望遠画像２３よりも広角画像の切出し画像２２のほうが画質がよい。

従って、近距離の望遠において望遠画像を合成せず、広角画像の切出し画像（デジタルズーム画像）を使用した方がよい。以上が、撮像距離ＹがＢ以下の場合に望遠画像の合成しない理由である。

上記の画像制御手段４の拡大画像生成方法を以下にまとめる。

設定倍率Ｘ＜Ａのとき、設定倍率Ｘに応じた広角画像のデジタルズーム画像を生成する。

設定倍率Ｘ≧Ａで、かつ、撮像距離Ｙ≦Ｂのとき、設定倍率Ｘに応じた広角画像のデジタルズーム画像を生成する。

設定倍率Ｘ≧Ａで、かつ、撮像距離Ｙ＞Ｂのとき、広角画像の中心部に望遠画像を貼り付けた貼り付け画像のち、設定倍率Ｘに応じて前記貼り付け画像のデジタルズーム画像を生成する。

このように、従来の広角撮像モジュールと望遠撮像モジュールからなる撮像装置は、単に設定倍率Ｘだけで広角画像と望遠画像の切り換えを行っていたため、近距離の高倍率画像が劣化していたが、上述の本発明の撮像装置では、近距離の高倍率画像の劣化を抑制することができる。

また、従来の撮像素子は近距離の高倍率画像の劣化を抑制するため、望遠撮像モジュールに焦点調整機能が必要であることから、アクチュエータなどが必要で大型化する、また、望遠撮像モジュールの倍率のダイナミックレンジを大きくすることが困難であった。

なお、所定距離Ｂは、広角画像の切り出し画像２２の画質が望遠画像２３の画質よりも劣化するときのおよその撮像距離とする。例えば上記の例ではＢは数十メートルとすればよい。望遠倍率Ｃが大きくなるとＢの値も大きくする必要がある。なお、この倍率Ｂは、望遠画像の倍率Ｃや望遠画像と広角画像の画質の差から実験的に決めることができる。なお、前記の画質は使用するレンズ系の性能などに依存するため理論的に厳密に導出することは困難である。

次に、図７の長距離（Ｂ）における広角画像２０の拡大画像２２と望遠画像２１の画質を比較する。

第一撮像素子の画素密度をＮ１、第二撮像素子の画素密度をＮ２とする。広角画像２０を望遠倍率Ｃ倍で拡大した画像２２の画素密度は、Ｎ１／Ｃ^２となる。

従ってＮ１／Ｃ^２＜Ｎ２を満たすと、広角画像２０の拡大画像２２よりも望遠画像２１の画素密度が大きくなる（画質がよくなる）ので、望遠画像の合成または切り換えが有効となる。逆に、Ｎ１／Ｃ^２＜Ｎ２であるなら、第二撮像モジュールが存在する意味がない。

望遠倍率Ｃが１より大きい場合には、Ｎ２を小さくしても、Ｎ１／Ｎ２＜Ｃ^２の不等式が成り立つ。従って、望遠画像２１の画質を劣化させることなく、第二撮像素子の画素密度Ｎ２をＮ１より小さくすることができ、第二撮像モジュールの価格を低減することができる。

また、第一撮像素子の総画素数と第二撮像素子の総画素数の比は、Ｎ１×Ｃ^２：Ｎ２であるので、望遠倍率Ｃが１より十分大きい場合には、Ｎ１≒Ｎ２とすると、第二撮像素子の画素数は第一撮像素子の画素数に比べて、約１／Ｃ^２倍まで小さくすることができる。従って、第一撮像素子に比べて第二撮像素子のサイズを非常に小さくすることで第二撮像モジュールの価格を低減することができる。

以上により、第一撮像モジュールと第二撮像モジュールの組合わせ構造及び画像拡大と合成方法により、望遠ズーム機能を有する撮像装置を含む薄型の携帯端末装置が実現できる。

本発明は高倍率の望遠カメラを内蔵した薄型の携帯端末装置として有用であり、携帯電話、携帯ゲーム、携帯ＴＶ、ＰＤＡ、等々の様々な電子機器に利用可能である。

１第一撮像モジュール
２第二撮像モジュール
３測距手段
４画像制御手段
５表示装置
６キー手段
７広角レンズ系
８第一の撮像素子
９自動焦点調整手段
１０望遠レンズ系
１１第二の撮像素子
１２広角レンズ
１３アクチュエータ
１４広角レンズと第二撮像素子の距離
１５レンズ
１６ミラー
１７携帯端末装置筐体
１８第一撮像モジュールの光軸
１９第二撮像モジュールの光軸
２０広角画像
２１望遠画像
２２広角画像の切出し画像
２３近距離の望遠画像
２４撮像距離Ｙ

Claims

広角レンズ系と第一撮像素子と自動焦点手段を有する第一撮像モジュールと、前記第一撮像モジュールと平行な光軸をもち、遠方で焦点が合っている望遠レンズ系と第二撮像素子からなる第二撮像モジュールと、画像制御手段と、表示装置と、キー手段を有する撮像装置において、
前記画像制御手段は、前記キー手段を介してユーザが設定した設定倍率Ｘが、所定倍率Ａよりも小さいときは、前記第一撮像素子の撮影画像から前記設定倍率Ｘに相当する画像を切り出して前記表示装置に拡大表示し、
被撮影物と前記携帯端末装置との撮影距離Ｙを推定する撮影距離推定手段を有し、
前記画像制御手段は、前記撮影距離Ｙが所定距離Ｂより大きく、かつ、前記設定倍率Ｘが前記所定倍率Ａ以上の場合には、前記第一撮像素子の撮影画像のほぼ中央部に前記第二撮像素子の撮影画像を貼り付けて合成した合成画像を生成したのち、前記設定倍率Ｘに相当する画像を前記合成画像から切り出して前記表示装置に拡大表示し、
前記撮影距離Ｙが前記所定距離Ｂ以下の場合には、前記設定倍率Ｘに相当する画像を前記第一撮像素子の撮影画像から切り出して前記表示装置に拡大表示することを特徴とする撮像装置または、前記撮像装置を含む携帯端末装置。
前記自動焦点手段の出力信号、または前記自動焦点手段を制御する制御信号から被撮影物と前記携帯端末装置との撮影距離Ｙを推定することを特徴とする請求項１記載の撮像装置または、前記撮像装置を含む携帯端末装置。
前記第一撮像素子の画素密度Ｎ１と、前記第二の撮像素子の画素密度Ｎ２と、前記第一撮像素子に対する前記第二撮像素子の望遠倍率Ｃの関係が次の条件を満たすことを特徴とする、請求項１記載の撮像装置または、前記撮像装置を含む携帯端末装置。
Ｎ１＜Ｎ２・Ｃ^２
前記第二撮像素子の大きさが前記第一撮像素子よりも小さいことを特徴とする請求項３記載の撮像装置または、前記撮像装置を含む携帯端末装置。
前記第二撮像モジュールの前記望遠レンズ系の光路に９０度変更するミラーまたはプリズムを１個以上有することを特徴とする、請求項１記載の撮像装置または、前記撮像装置を含む携帯端末装置。