JP2018157531A

JP2018157531A - マルチレンズ光学装置

Info

Publication number: JP2018157531A
Application number: JP2017097825A
Authority: JP
Inventors: パイニエン−フア; Nien-Hua Pai
Original assignee: Primax Electronics Ltd
Current assignee: Primax Electronics Ltd
Priority date: 2017-03-15
Filing date: 2017-05-17
Publication date: 2018-10-04
Also published as: US20180270414A1; TW201835860A; EP3376753A1; CN108632504A

Abstract

【課題】マルチレンズ光学装置を提供する。
【解決手段】本発明のマルチレンズ光学装置は、電子装置に接続され、且つマルチレンズ光学装置は複数の光学モジュール及び画素補正表を有する記憶素子を備える。複数の光学モジュールはそれぞれ撮影を行うことで複数の画像を獲得させ、マルチレンズ光学装置は複数の画像及び画素補正表を電子装置に伝送させ、電子装置は画素補正表及び複数の画像に基づいてパノラマ画像を生成させる。つまり、マルチレンズ光学装置は一部の画像を撮影し、簡単な伝送作業を行うのみであり、画像処理作業は電子装置により行われる。これによりマルチレンズ光学装置のコストを低下させる。
【選択図】図１

Description

本発明は、光学装置に関し、より詳しくは、パノラマ撮影機能を有する光学装置機能に関する。

近年、科学技術が進歩するにつれて、電子装置も薄くて軽い外形を呈して携帯しやすいように設計されるようになり、使用者が何時でも何処でも電子装置をｍコマースやエンタテインメント等に利用できるようになっている。画像キャプチャ装置を例にすると、画像キャプチャ装置は近年様々な分野に応用され、例えばスマートフォン、タブレット端末、ウェアラブル端末等の様々な携帯型電子装置に応用されている。体積が小さくて携帯に便利であり、使用者が何時でも何処でも画像をキャプチャし、撮影された画像を保存できるようになっている。

最近では、パノラマ（Panoramic）画像撮影機能を有する携帯型電子装置が市場に出回っており、例えばＲＩＣＯＨではパノラマ光学装置を販売している。これは薄くて軽い外形を呈し、携帯に便利であり、パノラマ光学装置の前後の２つの表面には同じ規格のフロントカメラモジュール及びバックカメラモジュールがそれぞれ設置され、フロントカメラモジュールは１８０〜２００度の前方画像を撮影でき、バックカメラモジュールは別角度の１８０〜２００度の後方画像を撮影可能である。また、パノラマ光学装置の内部の画像処理プログラムにより前方画像及び後方画像が結合されて３６０度の景色が写った１枚のパノラマ画像が生成される。

また、携帯型電子装置において、薄くて軽い外形を有するスマートフォンはパノラマ撮影機能を有し、スマートフォンがフロントカメラモジュール及びバックカメラモジュールを具備するが、フロントカメラモジュール及びバックカメラモジュールの規格が異なり、且つフロントカメラモジュール及びバックカメラモジュールの視角（Field of View、FOV）は１８０度に達しないため、スマートフォンでは上述のＲＩＣＯＨのパノラマ光学装置方式によるパノラマ画像の撮影が行えなかった。スマートフォンではバックカメラモジュールを利用して連続撮影を行い、同時に使用者がスマートフォンを手に持って水平方向に沿って回転させて、局所的な角度の複数枚の画像を撮影し、且つ同様に内部の画像処理プログラムを使用して複数枚の局所的な角度の画像を結合させて１枚のパノラマ画像を生成させる。しかしながら、使用者にとっては同じ速度で水平方向に沿って回転させるのは難しいため、撮影されたパノラマ画像の部分的な幅が不均一になることがある。

しかしながら、前述した従来の光学装置では、すなわち、どのパノラマ光学装置でも内部に画像処理プログラムがインストールされ、且つ画像処理プログラムにより複数枚の局所的な画像に対してそれぞれ補正が行われ、複数枚の局所的な画像を１枚のパノラマ画像として結合させる。パノラマ画像の結合品質を上げるには、画像処理プログラムが実行する補正作業及び結合作業の精度を高める必要があり、よってパノラマ光学装置内の画像処理プログラムは高度な規格を採用してパノラマ画像の生成を行う必要がある。このため、パノラマ光学装置のコストが高騰するという問題があった。

そこで、本発明者は上記の高価の欠点が改善可能と考え、鋭意検討を重ねた結果、合理的設計で上記の課題を効果的に改善する本発明の提案に到った。

かかる従来の実情に鑑みて、本発明は、パノラマ撮影機能を有する低コストのマルチレンズ光学装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係るマルチレンズ光学装置は、電子装置に接続され、前記マルチレンズ光学装置は本体と、第一光学モジュールと、第二光学モジュールと、記憶素子と、制御ユニットとを備える。前記第一光学モジュールは前記本体の一端に設置され、対象物に対する撮影を行って第一画像を獲得させる。前記第二光学モジュールは前記本体の他端に設置され、撮影を行って第二画像を獲得させる。前記記憶素子は前記本体に内設され、且つ画素補正表が保存される。前記制御ユニットは前記本体に内設されると共に前記記憶素子に接続され、前記マルチレンズ光学装置が前記第一画像、前記第二画像及び前記画素補正表を前記電子装置に伝送させるように制御される。前記電子装置は前記第一画像、前記第二画像及び前記補正パラメータに基づいてパノラマ画像を生成させることを特徴とする。

換言すれば、本発明に係るマルチレンズ光学装置には複数の光学モジュール、記憶素子及び制御ユニットのみが設置され、且つ画素補正表が記憶素子に保存される。マルチレンズ光学装置は主に局所的な画像の撮影及び簡単な伝送作業を担い、煩雑な画像処理作業は電子装置内の画像処理モジュールによって行われる。使用者が携帯する現代のスマートフォン等の電子装置は、画像処理モジュールが関連する作業を実行するのに十分な演算能力を有する。

本発明のマルチレンズ光学装置によれば、パノラマ撮影機能を提供し、コストを大幅に低下させる。

本発明の第１好ましい実施形態によるマルチレンズ光学装置及び電子装置を示すブロック図である。本発明の第１好ましい実施形態によるマルチレンズ光学装置の構造を示す側面図である。本発明の第１好ましい実施形態によるマルチレンズ光学装置が複数の位置でテスト物に対して撮影を行うブロック図である。本発明の第１好ましい実施形態によるマルチレンズ光学装置により撮られた第一画像及び第二画像を示す概略図である。本発明の第１好ましい実施形態によるマルチレンズ光学装置により接続される電子装置が補正を行って、獲得される第一補正画像及び第二補正画像を示す概略図である。本発明の第１好ましい実施形態によるマルチレンズ光学装置により接続される電子装置が結合によるパノラマ画像を示す概略図である。本発明の第２好ましい実施形態によるマルチレンズ光学装置及び電子装置を示すブロック図である。

本発明における好適な実施の形態について、添付図面を参照して説明する。尚、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を限定するものではない。また、以下に説明される構成の全てが、本発明の必須要件であるとは限らない。
[実施形態]

（第１実施形態）
まず、図１〜６を参照しながら、本発明の実施形態をさらに詳しく説明する。図１は本発明の第１好ましい実施形態によるマルチレンズ光学装置及び電子装置を示すブロック図であり、図２は本発明の第１好ましい実施形態によるマルチレンズ光学装置の構造を示す側面図である。図１はマルチレンズ光学装置１１及び電子装置１２を図示し、マルチレンズ光学装置１１は電子装置１２にワイヤレス方式で接続され、マルチレンズ光学装置１１は本体１１１と、第一光学モジュール１１２と、第二光学モジュール１１３と、記憶素子１１４と、制御ユニット１１５と、無線伝送モジュール１１６とを備える。第一光学モジュール１１２は本体１１１の一端に設置され、対象物Ｔ１に対する撮影を行って第一画像Ｉ１を獲得させる機能を有する。第一光学モジュール１１２と同様に、第二光学モジュール１１３は本体１１１の他端に設置され、撮影を行って第二画像Ｉ２を獲得させる機能を有する。記憶素子１１４は本体１１１に内設され、且つ第一光学モジュール１１２、第二光学モジュール１１３、制御ユニット１１５及び無線伝送モジュール１１６にそれぞれ接続され、第一画像Ｉ１、第二画像Ｉ２及び画素補正表Ｘを保存させる。画素補正表Ｘはマルチレンズ光学装置１１の特性に応じて記憶素子１１４に予め設定される。この好ましい実施形態において、記憶素子１１３はメモリー等の記憶装置である。

制御ユニット１１５は本体１１１に内設されると共に記憶素子１１４及び無線伝送モジュール１１６に接続され、マルチレンズ光学装置１１が第一画像Ｉ１、第二画像Ｉ２及び画素補正表Ｘを電子装置１２に伝送させるように制御される。無線伝送モジュール１１６は記憶素子１１４及び制御ユニット１１５に接続され、電子装置１２にワイヤレス方式で接続され、マルチレンズ光学装置１１と電子装置１２との間のワイヤレス接続に使用される。この好ましい実施形態において、制御ユニット１１５はマイクロプロセッサやマイクロチップであり、無線伝送モジュール１１６はＷｉ-Ｆｉ伝送モジュールである。

一方、電子装置１２は画像処理モジュール１２１を有し、画像処理モジュール１２１は受信した第一画像Ｉ１、第二画像Ｉ２及び画素補正表Ｘに基づいて第一画像Ｉ１及び第二画像Ｉ２をそれぞれ補正させるために用いられ、第一補正画像Ｉ３及び第二補正画像Ｉ４をそれぞれ生成させ、且つ第一補正画像Ｉ３及び第二補正画像Ｉ４を結合させてパノラマ画像Ｉｐを生成させる。この好ましい実施形態において、電子装置１２はパソコン、スマートフォン、またはタブレット端末等の電子装置であり、画像処理モジュール１２１は電子装置１２内にインストールされる画像処理プログラムである。

図２によると、第一光学モジュール１１２は第一光学レンズ１１２１及び第一光学感知素子１１２２を備え、第一光学レンズ１１２１は本体１１１に固定されると共に本体１１１の外に部分的に露出され、外界の光を透過させて第一光学モジュール１１２内に進入させる。第一光学感知素子１１２２は本体１１１に内設されると共に第一光学レンズ１１２１の一側に位置され、第一光学レンズ１１２１を透過させた外界の光を集光させて第一画像Ｉ１を獲得させる。第二光学モジュール１１３の構造は第一光学モジュール１１２と同様であるため再述はしない。この好ましい実施形態において、第一光学レンズ１１２１及び第一光学感知素子１１２２はアクティブアライメント（active alignment）方式で装設される。

次に、画素補正表Ｘの構成過程について説明する。図３は本発明の第１好ましい実施形態によるマルチレンズ光学装置がテスト物を複数の位置で撮影するブロック図である。マルチレンズ光学装置１１の製造が完成した後、製造メーカーはマルチレンズ光学装置１１に対するテストを行う。すなわち、マルチレンズ光学装置１１が複数の位置Ｐ１〜Ｐ３に設置され、且つ第一光学モジュール１１２が複数の位置Ｐ１〜Ｐ３でテスト物Ｔ２に対して撮影を行うように制御される。同時に、第二光学モジュール１１３も複数の位置Ｐ１〜Ｐ３で撮影を行うように制御される。こうして、第一光学モジュール１１２が撮影を行って複数の第一テスト画像Ｉ５を獲得させ、且つ第二光学モジュール１１３が撮影を行って複数の第二テスト画像Ｉ６を獲得させる。好ましい方法において、マルチレンズ光学装置１１は複数の位置Ｐ１〜Ｐ３で、第一光学モジュール１１２及び第二光学モジュール１１３がそれぞれ異なる角度で撮影を行うように制御され、様々な距離及び角度による複数の第一テスト画像Ｉ５及び複数の第二テスト画像Ｉ６を獲得させる。

複数の第一テスト画像Ｉ５及び複数の第二テスト画像Ｉ６が獲得された後、マルチレンズ光学装置１１及び補正表構成モジュール１３が接続され、複数の第一テスト画像Ｉ５及び複数の第二テスト画像Ｉ６が補正表構成モジュール１３に伝送される。補正表によりモジュール１３を構成して他の電子装置１４に設置される。次いで、補正表によりモジュール１３を構成して複数の第一テスト画像Ｉ５及び複数の第二テスト画像Ｉ６の比較及び分析を行い、第一光学モジュール１１２及び第二光学モジュール１１３の撮影により生成された画像の変形値及び製造の誤差で発生した製造誤差値の分析を行う。このほか、補正表によりモジュール１３を構成して複数の第一テスト画像Ｉ５及び複数の第二テスト画像Ｉ６に基づいて第一光学モジュール１１２及び第二光学モジュール１１３の空間における相対関係を算出し、以上の各数値を総合して、補正表により構成されるモジュール１３によりマルチレンズ光学装置１１に適用される画素補正表Ｘが生成され、且つ画素補正表Ｘがマルチレンズ光学装置１１の記憶素子１１４に保存される。

ちなみに、まず、画素補正表Ｘは画像の変形値、製造誤差値及び第一光学モジュール１１２と第二光学モジュール１１３の空間の相対関係に応じて決定され、よって異なるマルチレンズ光学装置により生成されるそれぞれの画素補正表は相違する。次は、好ましい本実施形態のマルチレンズ光学装置１１が第一光学モジュール１１２及び第二光学モジュール１１３のみで構成される例について説明する。これは例示に用いるのみであり、本発明のマルチレンズ光学装置を２つの光学モジュールが設置されるものに制限するわけではない。事実上、本発明に係るマルチレンズ光学装置の光学モジュールの数量は需要に応じて増減させることができ、光学モジュールの数量が多くなれば、光学モジュールに対する視角の要求は低くなる。例えば、マルチレンズ光学装置に４つの光学モジュールが設置される場合、各光学モジュールの視角は９０〜１００度となる。

次いで、マルチレンズ光学装置１１で撮影を行ってパノラマ画像が生成される作動状況について説明する。図１を参照し、使用者が対象物Ｔ１を含むパノラマ画像を撮影する場合、マルチレンズ光学装置１１を使用して対象物Ｔ１に対する撮影を行う、第一光学モジュール１１２が対象物Ｔ１に対する撮影を行って第一画像Ｉ１を獲得させ、本体１１１の他端に位置される第二光学モジュール１１３も撮影を行って第二画像Ｉ２を獲得させ、第一画像Ｉ１及び第二画像Ｉ２は図４に示す。第一画像Ｉ１及び第二画像Ｉ２が獲得された後、制御ユニット１１５により無線伝送モジュール１１６が電子装置１２にワイヤレス接続されるように制御され、且つ制御ユニット１１５によりマルチレンズ光学装置１１が電子装置１２に初めて接続されたと判断される。制御ユニット１１５は電子装置１２の識別情報ＩＤが保存されたか否かによって電子装置１２に初めて接続されたかどうか判断させる。制御ユニット１１５によりマルチレンズ光学装置１１が電子装置１２に初めて接続されたと判断されると、無線伝送モジュール１１６が画素補正表Ｘ、第一画像Ｉ１及び第二画像Ｉ２を電子装置１２に伝送させるように制御される。反対に、制御ユニット１１５によりマルチレンズ光学装置１１が電子装置１２に初めて接続されたのではないと判断されると、電子装置１２内に画素補正表Ｘが保存されたかどうかの判断を行う。

制御ユニット１１５により電子装置１２内に画素補正表Ｘが保存されていないと判断されると、無線伝送モジュール１１６が画素補正表Ｘ、第一画像Ｉ１及び第二画像Ｉ２を電子装置１２に伝送させるように制御される。反対に、制御ユニット１１５により電子装置１２内に画素補正表Ｘが保存されていると判断されると、無線伝送モジュール１１６が第一画像Ｉ１及び第二画像Ｉ２のみを電子装置１２に伝送させるように制御される。無線伝送モジュール１１６と電子装置１２との間でコミュニケーションを行って、制御ユニット１１５が関連データを獲得させ、上述の判断を下す。無線装置の間のコミュニケーション過程は本技術分野に習熟する者にとって既知のものであるため再述しない。

一方、電子装置１２が画素補正表Ｘ、第一画像Ｉ１及び第二画像Ｉ２を受信させた後、画像処理モジュール１２１は画素補正表Ｘ中の補正パラメータＸ１に基づいて第一画像Ｉ１及び第二画像Ｉ２に対してそれぞれ樽形歪（Barrel distortion）補正及び透視（Perspective）歪み補正の内の少なくとも１つを実行し、第一補正画像Ｉ３及び第二補正画像Ｉ４をそれぞれ生成させ、第一補正画像Ｉ３及び第二補正画像Ｉ４は図５に示す。最後に、画像処理モジュール１２１が第一補正画像Ｉ３及び第二補正画像Ｉ４に対してそれぞれ特徴点検出及び特徴点マッチングを行い、第一補正画像Ｉ３及び第二補正画像Ｉ４中から同じ局所的な画像に対応させる画素をそれぞれ検出させる。図６に示すように、画素に基づいて第一補正画像Ｉ３及び第二補正画像Ｉ４を結合させ、パノラマ画像Ｉｐを生成させる。

（第２実施形態）
図７は本発明の第２好ましい実施形態によるマルチレンズ光学装置及び電子装置を示すブロック図である。図７はマルチレンズ光学装置２１及び電子装置２２を図示し、マルチレンズ光学装置２１は電子装置２２に接続され、且つマルチレンズ光学装置２１は本体２１１と、第一光学モジュール２１２と、第二光学モジュール２１３と、記憶素子２１４と、制御ユニット２１５と、伝送線２１６とを備え、電子装置２２は画像処理モジュール２２１を有する。マルチレンズ光学装置２１の各部材の構造及び機能は前述の好ましい実施形態によるマルチレンズ光学装置１１とほぼ同じであるため、同じ点については再述を省き、前述の両者の異なる点のみを説明すると、マルチレンズ光学装置２１は伝送線２１６を介して電子装置２１に有線接続される。マルチレンズ光学装置２１の作動は、前述の好ましい実施形態と同様であるため、再述しない。

上述のように、本発明に係るマルチレンズ光学装置には複数の光学モジュール、記憶素子及び制御ユニットのみが設置され、且つ画素補正表が記憶素子に保存される。マルチレンズ光学装置は主に局所的な画像の撮影及び簡単な伝送作業を担い、煩雑な画像処理作業は電子装置内の画像処理モジュールによって行われる。使用者が携帯する現代のスマートフォン等の電子装置は、画像処理モジュールが関連する作業を処理するのに十分な演算能力を有する。このため、本発明に係るマルチレンズ光学装置はパノラマ撮影機能を提供し、且つコストも大幅に低下させ、従来の技術的問題を解決させる。

従って、本明細書に開示された実施例は、本発明を限定するものではなく、説明するためのものであり、このような実施例によって本発明の思想と範囲が限定されるものではない。本発明の範囲は特許請求の範囲により解釈すべきであり、それと同等の範囲内にある全ての技術は、本発明の権利範囲に含まれるものと解釈すべきである。

１１マルチレンズ光学装置
２１マルチレンズ光学装置
１２電子装置
２２電子装置
１１１本体
２１１本体
１１２第一光学モジュール
２１２第一光学モジュール
１１３第二光学モジュール
２１３第二光学モジュール
１１４記憶素子
２１４記憶素子
１１５制御ユニット
２１５制御ユニット
１１６無線伝送モジュール
１２１画像処理モジュール
２２１画像処理モジュール
２１６伝送線
Ｉ１第一画像
Ｉ２第二画像
Ｉ３第一補正画像
Ｉ４第二補正画像
Ｉ５第一テスト画像
Ｉ６第二テスト画像
ＩＤ識別情報
Ｉｐパノラマ画像
Ｐ１位置
Ｐ２位置
Ｐ３位置
Ｔ１対象物
Ｔ２テスト物
Ｘ画素補正表

Claims

電子装置に接続されるマルチレンズ光学装置であって、
本体と、
前記本体の一端に設置され、対象物に対する撮影を行って第一画像を獲得させるための第一光学モジュールと、
前記本体の他端に設置され、撮影を行って第二画像を獲得させるための第二光学モジュールと、
前記本体に内設され、且つ画素補正表が保存される記憶素子と、
前記本体に内設されると共に前記記憶素子に接続され、前記マルチレンズ光学装置による前記電子装置への前記第一画像、前記第二画像及び前記画素補正表の伝送の制御に用いられる制御ユニットとを備え、
ここでは、前記電子装置は前記第一画像、前記第二画像及び前記補正パラメータに基づいてパノラマ画像を生成させることを特徴とするマルチレンズ光学装置。
前記制御ユニットにより前記マルチレンズ光学装置が前記電子装置に初めて接続されたと判断されると、前記電子装置の識別情報が記録され、且つ前記マルチレンズ光学装置が前記第一画像、前記第二画像及び前記画素補正表を前記電子装置に伝送させるように制御され、前記制御ユニットにより前記マルチレンズ光学装置が前記電子装置に初めて接続されたのではないと判断されると、前記電子装置内に前記画素補正表が保存されているかどうかが判断されることを特徴とする、請求項１に記載のマルチレンズ光学装置。
前記制御ユニットにより前記電子装置内に前記画素補正表が保存されていないと判断されると、前記マルチレンズ光学装置が前記第一画像、前記第二画像及び前記画素補正表を前記電子装置に伝送させるように制御され、前記制御ユニットにより前記電子装置内に前記画素補正表が保存されていると判断されると、前記マルチレンズ光学装置が前記第一画像及び前記第二画像のみを前記電子装置に伝送させるように制御されることを特徴とする、請求項２に記載のマルチレンズ光学装置。
前記記憶素子及び前記制御ユニットに接続され、前記電子装置にワイヤレス方式で接続され、前記マルチレンズ光学装置及び前記電子装置をワイヤレス接続させるための無線伝送モジュールを更に備えることを特徴とする、請求項１に記載のマルチレンズ光学装置。
前記記憶素子及び前記制御ユニットに接続され、前記電子装置に有線方式で接続され、前記マルチレンズ光学装置及び前記電子装置を接続させるための伝送線を更に備えることを特徴とする、請求項１に記載のマルチレンズ光学装置。
前記補正パラメータは、補正表によりモジュールを構成して複数の第一テスト画像及び複数の第二テスト画像の比較及び分析を行うことにより生成され、前記複数の第一テスト画像は前記第一光学モジュールが複数の位置でテスト物に対して撮影を行うことにより獲得され、前記複数の第二テスト画像は前記第二光学モジュールが前記複数の位置で撮影を行うことで獲得されることを特徴とする、請求項１に記載のマルチレンズ光学装置。
前記第一光学モジュールは、
前記本体に固定されると共に前記本体の外に部分的に露出され、外界の光を透過させるための第一光学レンズと、
前記本体に内設されると共に前記第一光学レンズの一側に位置され、前記第一光学レンズを透過させた前記外界の光を受光することにより前記第一画像を獲得させる第一光学感知素子とを備えることを特徴とする、請求項１に記載のマルチレンズ光学装置。
前記第一光学レンズ及び前記第一光学感知素子は能動的に標準を合わせる方式で装設されることを特徴とする、請求項７に記載のマルチレンズ光学装置。
前記電子装置は画像処理モジュールを有し、前記画像処理モジュールは前記第一画像、前記第二画像及び前記画素補正表に基づいて前記第一画像及び前記第二画像の補正をそれぞれ行い、第一補正画像及び一第二補正画像をそれぞれ生成させ、且つ前記第一補正画像及び前記第二補正画像を結合させて前記パノラマ画像を生成させることを特徴とする、請求項１に記載のマルチレンズ光学装置。
前記画像処理モジュールは前記画素補正表中の補正パラメータに基づいて前記第一画像及び前記第二画像に対してバレル歪み補正及び透視歪み補正の内の少なくとも１つをそれぞれ行い、前記第一補正画像及び前記第二補正画像をそれぞれ生成させ、前記画像処理モジュールは前記第一補正画像及び前記第二補正画像に対して特徴点検出及び特徴点マッチングをそれぞれ行い、前記第一補正画像及び前記第二補正画像を結合させ、前記パノラマ画像を生成させることを特徴とする、請求項９に記載のマルチレンズ光学装置。