JP2009044403A - 撮像装置 - Google Patents

Abstract

【課題】被写体の表示領域を確保しつつ、残りの表示領域で被写体周辺をより広く表示することができる撮像装置を提供する。
【解決手段】撮像素子１０７は、被写体を撮像した主画像の画像信号を出力する。撮像素子１０９は、主画像の撮像時よりも画角を広角にして被写体を撮像した副画像の画像信号を出力する。画像変形回路１１４は、副画像の画像信号に対して、副画像の表示倍率を変更する処理を行う。画像合成部１１５は、主画像の画像信号と副画像の画像信号を合成することによって、中央部が主画像で構成され周辺部が副画像で構成される合成画像を形成する合成画像信号を生成する。表示部１１７は合成画像信号に基づいて合成画像を表示する。合成画像において、主画像と副画像の境界部における被写体表示倍率は、副画像の周縁部における被写体表示倍率よりも大きい。
【選択図】図１

Description

本発明は、２種類の画像を撮像し、それらの画像を合成する撮像装置に関する。

撮影者が被写体周辺を確認し、被写体を追跡することを容易にするため、２種類の画像を撮像し、それらの画像を合成して表示する撮像装置が開示されている。例えば特許文献１には、主受光部を介して光像を電気信号に変換し主画像データを生成すると共に、副受光部を介して光像を電気信号に変換し副画像データを生成し、被写体を拡大した主画像と、被写体およびその周辺を含む副画像とを同一の液晶ディスプレイに表示する撮像装置が記載されている。
特開２００７−４３５０２号公報

しかし、従来の撮像装置では、主画像の表示領域を大きくすると副画像の表示領域が小さくなり、被写体周辺の状況を把握することが困難となる。逆に、副画像の表示領域を大きくすると主画像の表示領域が小さくなり、被写体の状況を把握することが困難となる。

本発明は、上述した課題に鑑みてなされたものであって、被写体の表示領域を確保しつつ、残りの表示領域で被写体周辺をより広く表示することができる撮像装置を提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、被写体を撮像し、第１の画像信号を出力する第１の撮像部（図１の撮像レンズ１０１、撮像素子１０７に対応）と、前記第１の撮像部よりも広角な画角で前記被写体を撮像し、第２の画像信号を出力する第２の撮像部（図１の魚眼レンズ１０２、撮像素子１０９に対応）と、前記第１の画像信号と前記第２の画像信号を合成することによって、中央部が前記第１の画像信号に基づく第１の画像で構成され、周辺部が前記第２の画像信号に基づく第２の画像で構成される合成画像を形成する合成画像信号を生成する画像合成部（図１の画像変形回路１１４、画像合成回路１１５に対応）と、前記合成画像信号に基づいて前記合成画像を表示する表示部（図１の表示部１１７に対応）とを備え、前記合成画像において、前記第１の画像と前記第２の画像の境界部における被写体表示倍率が、前記第２の画像の周縁部における被写体表示倍率よりも大きいことを特徴とする撮像装置である。

また、本発明の撮像装置では、前記境界部において、前記第１の画像と前記第２の画像の被写体表示倍率が略同一であることを特徴とする。

また、本発明の撮像装置では、前記第２の画像の被写体表示倍率が前記周縁部に向かって徐々に小さくなることを特徴とする。

また、本発明の撮像装置では、前記第１の撮像部はズームレンズを有し、前記第１の画像の被写体表示倍率の変化に応じて前記第２の画像の被写体表示倍率が変化することを特徴とする。

また、本発明の撮像装置では、前記第２の画像において、前記境界部を含む一定領域の被写体表示倍率が一定であり、前記一定領域よりも外側の領域において、前記第２の画像の被写体表示倍率が前記周縁部に向かって徐々に小さくなることを特徴とする。

また、本発明の撮像装置では、前記表示部は、前記境界部に枠を表示することを特徴とする。

上記において、括弧で括った部分の記述は、後述する本発明の実施形態と本発明の構成要素とを便宜的に対応付けるためのものであり、この記述によって本発明の内容が限定されるわけではない。

本発明によれば、第１の画像と第２の画像の境界部における被写体表示倍率が、第２の画像の周縁部における被写体表示倍率よりも大きいため、被写体を表示する第１の画像の表示領域を確保しつつ、残りの表示領域で第２の画像によって被写体周辺を広く表示することができるという効果が得られる。

以下、図面を参照し、本発明の実施形態を説明する。まず、本実施形態の技術思想を説明する。本実施形態では、被写体を撮像して主画像（第１の画像）を生成すると共に、主画像の撮像時よりも画角を広角にして被写体を撮像して副画像（第２の画像）を生成する。図５は、主画像と副画像を合成した合成画像における主画像と副画像の位置関係を示している。合成画像５００の中央部は主画像５１０で構成され、中央部の周辺に位置する周辺部は副画像５２０で構成される。図６は主画像と副画像の撮像画角の関係を示している。図６では主画像と副画像の撮像時の視差は考慮していない。撮像装置６００が被写体６１０を撮像する場合に、副画像の撮像系に例えば魚眼レンズを用いることにより、副画像の撮像画角６３０を主画像の撮像画角６２０よりも大きくして撮像が行われ、主画像と副画像が生成される。

本実施形態では、主画像と副画像の被写体表示倍率が一定ではなく、主画像内では被写体表示倍率が一定であるが、副画像内では副画像の周縁部（副画像の最も外側に位置する画素を含む部分領域）に向かって被写体表示倍率が徐々に小さくなる。被写体表示倍率が徐々に小さくなるということは、必ずしも被写体表示倍率が周縁部に向かって単調に減少することだけを意味するのではなく、被写体表示倍率が一定となる領域が副画像の一部に含まれていてもよい。あくまで、副画像を大域的に捉えた場合に、被写体表示倍率が周縁部に向かって小さくなるように変化しているということである。

図７は、主画像と副画像を合成した合成画像における被写体表示倍率の一例を示している。図７（ａ）は合成画像７００を示しており、図７（ｂ）は合成画像７００のＸ−Ｘ’線上の被写体表示倍率を示している。図７（ｂ）では、２種類の被写体表示倍率の変化を示すグラフ７３０，７４０が描かれている。グラフ７３０では、主画像７１０の被写体表示倍率は一定値Ｍであり、主画像７１０と副画像７２０の境界７１５から副画像７２０の周縁へ向かって被写体表示倍率が直線的に減少する。また、グラフ７４０では、主画像７１０の被写体表示倍率は一定値Ｍであり、副画像７２０において、主画像７１０の周辺の領域７２０ａでも被写体表示倍率は一定値Ｍであるが、領域７２０ａよりも外側では副画像７２０の周縁へ向かって被写体表示倍率が直線的に減少する。副画像の周縁部方向に見た被写体表示倍率の減少割合は一定でなくてもよい。すなわち、副画像の周縁部に向かって被写体表示倍率が直線的に変化するようにしてもよいし、被写体倍率が曲線的に変化するようにしてもよい。

次に、図８および図９を参照し、上記の画像表示方法の効果を説明する。図８は、主画像と副画像の被写体表示倍率を同一とした場合の合成画像を示している。図８（ａ）は合成画像の被写体表示倍率を模式的に示しており、図８（ｂ）は実際の合成画像の様子を示している。合成画像８００の中央部は主画像８１０で構成され、中央部の周辺に位置する周辺部は副画像８２０で構成される。主画像８１０と副画像８２０は境界８１５を介して接している。

図８（ａ）の合成画像８００に描かれた格子状の模様は被写体表示倍率を示している。例えば、格子状に並んだ１つの領域８３０において、領域８３０の縦方向（垂直方向）の長さは、領域８３０の位置における縦方向（垂直方向）の被写体表示倍率を示している。また、領域８３０の横方向（水平方向）の長さは、領域８３０の位置における横方向（水平方向）の被写体表示倍率を示している。

図９は、副画像の周縁部に向かって被写体表示倍率が小さくなるように副画像の被写体倍率を変化させた場合の合成画像を示している。図９（ａ）は合成画像の被写体表示倍率を模式的に示しており、図９（ｂ）は実際の合成画像の様子を示している。合成画像９００の中央部は主画像９１０で構成され、中央部の周辺に位置する周辺部は副画像９２０で構成される。主画像８１０と副画像８２０は境界８１５を介して接している。

図９（ａ）の合成画像９００に描かれた格子状の模様は被写体表示倍率を示している。図９（ａ）が示すように、主画像９１０の被写体表示倍率は一定であるが、副画像９２０の被写体表示倍率は、縦方向（垂直方向）および横方向（水平方向）共に、副画像９２０の周縁部に向かって小さくなるように変化している。また、主画像９１０と副画像９２０の境界部（主画像９１０と副画像９２０の境界９１５を含む領域）に含まれる領域９１０ａと領域９２０ａにおける被写体表示倍率は同一であり、主画像９１０と副画像９２０の境界における画像の見え方の違和感（画像の不連続）をなくしている。

主画像８１０と主画像９１０の画角は等しく、副画像８２０と副画像９２０の画角は等しい。したがって、合成画像８００では主画像８１０の表示領域が小さくなり、解像度が低くなってしまう場合でも、合成画像９００では主画像９１０の表示領域を大きくし、解像度を高くすることができるため、合成画像９００の方が合成画像８００よりも被写体の状況が把握しやすい。また、合成画像９００では副画像９２０の被写体表示倍率が周縁部に向かって小さくなるので、副画像８２０よりも小さい表示領域に対して、副画像８２０と同一の画角で撮像した副画像９２０を表示することができ、被写体周辺の状況も把握しやすい。したがって、合成画像９００を表示することによって、被写体を表示する主画像９１０の表示領域を確保しつつ、残りの表示領域で副画像９２０によって被写体周辺を広く表示することができる。

次に、本実施形態による撮像装置の構成を説明する。図２は撮像装置を上面から見た状態を示している。撮像装置１は、主画像を撮像する撮像レンズ１０１と、副画像を撮像する魚眼レンズ１０２とを備えている。魚眼レンズ１０２の撮像画角２１０は撮像レンズ１０１の撮像画角２００よりも大きい。撮像レンズ１０１と魚眼レンズ１０２の位置は間隔Ｄだけ離れており、この間隔Ｄに基づく視差が主画像と副画像に発生するが、画像処理によって視差は補正される。

図１は撮像装置１の機能構成を示している。被写体Ａからの光は撮像レンズ１０１および魚眼レンズ１０２に入射する。撮像レンズ１０１は主画像を得るための光学系であり、撮影倍率を調節するズームレンズ１０１ａと、フォーカスを調節するフォーカスレンズ１０１ｂとを備えている。カメラシステムとして必要なシャッタや絞り等は図示していない。ズームレンズ１０１ａはズームモータ１０３によって駆動される。ズーム制御部１０４は、カメラシステム制御部１１８からの駆動指示に基づくズームレンズ１０１ａの目標位置と実際の位置とを比較して、実際の位置が目標位置となるようにズームモータ１０３をフィードバック制御することによって、ズーム動作を制御する。

フォーカスレンズ１０１ｂはフォーカスモータ１０５によって駆動される。フォーカス制御部１０６は、カメラシステム制御部１１８からの駆動指示に基づくフォーカスレンズ１０１ｂの目標位置と実際の位置とを比較して、実際の位置が目標位置となるようにフォーカスモータ１０５をフィードバック制御することによって、オートフォーカス動作を制御する。本実施形態のオートフォーカス方式として、一般的な位相差方式やコントラスト方式等を適用することが可能である。ズーム動作やオートフォーカス動作を指示するためのインターフェース（シャッタボタン、ズームコントロールボタン等）は図示していない。

撮像素子１０７は、撮像レンズ１０１により集光された光を光電変換により電気信号に変換し、アナログ画像信号として出力する。撮影回路１０８は、撮像素子１０７を電気的に駆動すると共に、撮像素子１０７から出力されたアナログ画像信号を、カメラシステム内部での使用に適したデジタル画像信号に変換するＡ／Ｄ変換等を行う。

魚眼レンズ１０２は副画像を得るための光学系であり、主画像よりも広い画角（例えば１２０度）の副画像を得ることができる。また、魚眼レンズ１０２は単焦点（ズーム機能無し）、パンフォーカス（フォーカス動作不要）で構成されている。撮像素子１０９は、魚眼レンズ１０２により集光された光を光電変換により電気信号に変換し、アナログ画像信号として出力する。撮影回路１１０は、撮像素子１０９を電気的に駆動すると共に、撮像素子１０９から出力されたアナログ画像信号を、カメラシステム内部での使用に適したデジタル画像信号に変換するＡ／Ｄ変換等を行う。

歪補正回路１１１は、撮影回路１１０から出力された画像信号に含まれる、魚眼レンズ１０２による光学的な歪みを補正する。視差補正回路１１２は、歪補正回路１１１から出力された画像信号に含まれる視差を補正する。この視差は、前述したように撮像装置１における撮像レンズ１０１と魚眼レンズ１０２の配置位置の違いに基づくものである。領域切り出し回路１１３は、視差補正回路１１２から出力された画像信号に基づく副画像において、最終的に表示する領域を切り出し、その領域の画像に対応する信号を抽出する。最終的に表示される副画像も、主画像よりも広い撮影視野の画像である。

画像変形回路１１４は、領域切り出し回路１１３から出力された画像信号に対して、副画像の表示倍率を変更する処理を行う。画像合成回路１１５は、撮影回路１０８から出力された主画像の画像信号と、画像変形回路１１４から出力された副画像の画像信号とを合成することによって、中央部が主画像で構成され周辺部が副画像で構成される合成画像を形成する合成画像信号を生成する。

表示制御回路１１６は、画像合成回路１１５から出力された合成画像信号に対して、合成画像のサイズを表示サイズに合わせる処理を行って合成画像信号を表示部１１７へ出力すると共に、表示部１１７による画像表示を制御する。表示部１１７は、合成画像信号に基づいた合成画像を表示する。この際に表示部１１７は主画像と副画像の境界部に枠を表示する。カメラシステム制御部１１８は撮像装置１内の各部の動作を制御する。図示していないシャッタボタン操作による撮影動作が行なわれた場合、撮像レンズ１０１を介して撮像した主画像が撮影画像として記録される。撮影画像を記録するための記録装置は図示していない。

次に、画像変形回路１１４による表示倍率の変更処理の詳細を説明する。図３は、画像変形回路１１４による表示倍率の変更処理の内容を模式的に示している。図３（ａ）は処理前の副画像３００を示している。また、図３（ｂ）は処理後の副画像３１０を示している。各画像に描かれた格子状の模様は被写体表示倍率を示している。また、枠３２０は、合成画像における主画像と副画像の境界に対応している。この枠３２０内に主画像が合成される。

図３（ａ）に示されるように、処理前の副画像３００の被写体表示倍率は均一である。一方、図３（ｂ）に示されるように、処理後の副画像３１０の被写体表示倍率は縦方向（垂直方向）および横方向（水平方向）共に、副画像３１０の周縁部に向かって小さくなるように変化している。また、主画像が合成される領域３３０と、領域３３０に接する領域３４０とにおける被写体表示倍率は同一となっている。領域３４０における被写体表示倍率は、ズーム制御部１０４から画像変形回路１１４へ出力される光学倍率情報に基づいて決定される。また、枠３２０が示す主画像の表示領域のサイズは、撮像レンズ１０１の光学倍率によらず変化しない。

以下、撮像レンズ１０１の光学倍率（言い換えると主画像の被写体表示倍率）に応じて副画像の被写体表示倍率を変更する処理の具体例を説明する。撮像レンズ１０１のズームレンズ１０１ａの光学倍率は１倍から３倍まで変更可能であるものとする。また、主画像の表示領域と副画像の表示領域のサイズは撮像レンズ１０１の光学倍率によらず変化しないものとする。また、領域切り出し回路１１３によって切り出される副画像の部分領域のサイズは一定であるものとする。また、主画像と副画像の境界部における被写体表示倍率は主画像の被写体表示倍率と同一であるものとする。また、副画像の周縁部における被写体表示倍率は一定（例えば０．１倍）であるものとする。

図４は、主画像と副画像を合成した合成画像における被写体表示倍率を示している。図４（ａ）は、撮像レンズ１０１の光学倍率が１倍の状態で撮像された主画像を副画像に合成した合成画像４００を示している。図４（ｂ）は、撮像レンズ１０１の光学倍率が３倍の状態で撮像された主画像を副画像に合成した合成画像４１０を示している。

主画像が表示される表示領域４２０，４３０のサイズは同一である。合成画像４００において、主画像との境界部から副画像の周縁部に向かって徐々に画像が縮小しながら表示されるように、副画像の被写体表示倍率は１倍から０．１倍に設定される。また、合成画像４１０においては、副画像の被写体表示倍率は３倍から０．１倍に設定される。図示していないズームコントロールボタンの操作により、撮像レンズ１０１の光学倍率が設定されると、その光学倍率を示す光学倍率情報がズーム制御部１０４から画像変形回路１１４へ出力される。画像変形回路１１４は、主画像との境界部における副画像の被写体表示倍率が光学倍率情報に基づく主画像の被写体表示倍率と同一となるように、かつ副画像の周縁部に向かって被写体表示倍率が徐々に小さくなり、副画像の周縁部で被写体表示倍率が０．１倍となるように副画像の画像信号を処理する。

上述したように、本実施形態によれば、主画像と副画像の境界部における被写体表示倍率が、少なくとも副画像の周縁部における被写体表示倍率よりも大きくなるように合成画像の被写体表示倍率を設定することによって、被写体の表示領域を確保しつつ、残りの表示領域で被写体周辺を広く表示することができる。したがって、被写体およびその周辺の両方の状況を把握するのに適した合成画像を表示することができる。また、主画像と副画像の境界部において、主画像と副画像の被写体表示倍率は略同一であることが望ましく、これによって、表示された合成画像内の主画像と副画像の境界で画像が不連続となることを防止することができる。

また、副画像の被写体表示倍率を周縁部に向かって徐々に小さく（副画像の被写体表示倍率を主画像との境界部に向かって徐々に大きく）することによって、副画像の周縁部に向かうほど、表示される情報量は少なくなるが、被写体周辺をより広く表示することができる。また、主画像との境界部に向かうほど、表示される情報量が多くなるので、被写体周辺の状況を把握しやすくなる。

また、主画像の被写体表示倍率の変化に応じて副画像の被写体表示倍率を変化させ、特に、主画像と副画像の境界部における副画像の被写体表示倍率を主画像の被写体表示倍率と一致させたまま副画像全体の被写体表示倍率を変化させることによって、撮像レンズ１０１の光学倍率が変化しても、その変化に応じて合成画像に不連続な部分が生じることを防止することができる。

また、合成画像を表示するときに、主画像と副画像の境界部に枠を表示することによって、主画像として撮像される領域が分かるので、移動する被写体を撮像するときに、撮影者が撮像のタイミングを決定しやすくなる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の一実施形態による撮像装置の構成を示すブロック図である。 本発明の一実施形態による撮像装置を上面から見た状態を示す上面図である。 本発明の一実施形態による撮像装置が備える画像変形回路による表示倍率の変更処理の内容を示す参考図である。 本発明の一実施形態による撮像装置が処理する合成画像における被写体表示倍率を示す参考図である。 本発明の一実施形態による撮像装置が処理する合成画像における主画像と副画像の位置関係を示す参考図である。 本発明の一実施形態による撮像装置が処理する主画像と副画像の撮像画角の関係を示す参考図である。 本発明の一実施形態による撮像装置が処理する合成画像における被写体表示倍率を示す参考図である。 本発明の一実施形態の効果を説明するための参考図である。 本発明の一実施形態の効果を説明するための参考図である。

符号の説明

１・・・撮像装置、１０１・・・撮像レンズ、１０１ａ・・・ズームレンズ、１０１ｂ・・・フォーカスレンズ、１０２・・・魚眼レンズ、１０３・・・ズームモータ、１０４・・・ズーム制御部、１０５・・・フォーカスモータ、１０６・・・フォーカス制御部、１０７，１０９・・・撮像素子、１０８，１１０・・・撮影回路、１１１・・・歪補正回路、１１２・・・視差補正回路、１１３・・・領域切り出し回路、１１４・・・画像変形回路、１１５・・・画像合成回路、１１６・・・表示制御回路、１１７・・・表示部、１１８・・・カメラシステム制御部

Claims (6)

1. 被写体を撮像し、第１の画像信号を出力する第１の撮像部と、
   前記第１の撮像部よりも広角な画角で前記被写体を撮像し、第２の画像信号を出力する第２の撮像部と、
   前記第１の画像信号と前記第２の画像信号を合成することによって、中央部が前記第１の画像信号に基づく第１の画像で構成され、周辺部が前記第２の画像信号に基づく第２の画像で構成される合成画像を形成する合成画像信号を生成する画像合成部と、
   前記合成画像信号に基づいて前記合成画像を表示する表示部と、
   を備え、前記合成画像において、前記第１の画像と前記第２の画像の境界部における被写体表示倍率が、前記第２の画像の周縁部における被写体表示倍率よりも大きい
   ことを特徴とする撮像装置。
2. 前記境界部において、前記第１の画像と前記第２の画像の被写体表示倍率が略同一であることを特徴とする請求項１に記載の撮像装置。
3. 前記第２の画像の被写体表示倍率が前記周縁部に向かって徐々に小さくなることを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記第１の撮像部はズームレンズを有し、前記第１の画像の被写体表示倍率の変化に応じて前記第２の画像の被写体表示倍率が変化することを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
5. 前記第２の画像において、前記境界部を含む一定領域の被写体表示倍率が一定であり、前記一定領域よりも外側の領域において、前記第２の画像の被写体表示倍率が前記周縁部に向かって徐々に小さくなることを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
6. 前記表示部は、前記境界部に枠を表示することを特徴とする請求項１〜請求項５のいずれかに記載の撮像装置。

Images