JP2009080619A - 撮像装置、画像合成装置及びそのプログラム - Google Patents

Abstract

【課題】主画像と副画像を効果的に合成可能な撮像装置、画像合成装置を提供する。
【解決手段】撮像装置１は、被写体を撮像して撮影画像を取得する撮像部３と、前記撮影画像を第１の画像として取得する第１の画像取得手段と、第２の画像を取得する第２の画像取得手段と、前記第１の画像平面上の方形である第１の四角領域を取得する第１の領域取得手段と、前記第２の画像平面上の第２の四角領域を取得する第２の領域取得手段と、前記第１の四角領域内の第１の画像を、前記第２の四角領域と対応付けて変換して変換画像を取得する変換手段と、前記第２の画像中の第２の四角領域に、前記変換画像を合成する合成手段とを備える。
【選択図】図１

Description

本発明は、撮像装置、画像合成装置及びそのプログラムに関し、詳しくは、主画像中の指定領域内に、副画像中の指定領域画像を填め込み合成する撮像装置、画像合成装置及びそのプログラムに関する。

パーソナルコンピュータやワークステーション、あるいは、デジタルカメラ等の画像処理の分野においては、ディスプレイやモニタ画面上での画像合成が広く行われている。たとえば、下記の特許文献１には、フレームメモリに保持されている主画像中の指定領域内に、画像メモリに格納された副画像中の指定領域画像の縮小又は拡大画像を填め込み合成する技術（以下、従来技術という。）が記載されている。

ところで、この従来技術における“指定領域”は正方形又は長方形といった「矩形」であるが、画像合成によっては、矩形以外の形状、たとえば、左右辺の長さが異なる「横台形」の領域に、「矩形」である副画像の填め込みが求められることがあるものの、上記の従来技術は、この要求に応えることができない。

特開平５−１１４０２６号公報

つまり、上記技術にあっては、主画像と副画像を合成するとしても、その自由度が低いため、所望の画像を得ることが難しく、特に、画像の撮影に際してこのような合成画像を簡易に得ることが課題となっていた。

そこで、本発明の目的は、主画像と副画像を効果的に合成可能な撮像装置、画像合成装置及びそのプログラムを提供することにある。

請求項１記載の発明は、被写体を撮像して撮影画像を取得する撮像手段と、前記撮影画像を第１の画像として取得する第１の画像取得手段と、第２の画像を取得する第２の画像取得手段と、前記第１の画像平面上の方形である第１の四角領域を取得する第１の領域取得手段と、前記第２の画像平面上の第２の四角領域を取得する第２の領域取得手段と、前記第１の四角領域内の第１の画像を、前記第２の四角領域の形状に基づきあてはまるように形状変換して変換画像を取得する変換手段と、前記第２の画像中の第２の四角領域内の画像と、前記変換画像を合成する合成手段と、を備えることを特徴とする撮像装置である。
請求項２記載の発明は、被写体を撮像して撮影画像を取得する撮像手段と、前記撮影画像を第１の画像として取得する第１の画像取得手段と、第２の画像を取得する第２の画像取得手段と、前記第１の画像平面上の方形である第１の四角領域を取得する第１の領域取得手段と、前記第２の画像平面上の第２の四角領域を取得する第２の領域取得手段と、前記第２の四角領域内の第２の画像を、前記第１の四角領域の形状に基づきあてはまるように形状変換して変換画像を取得する変換手段と、前記第１の画像中の第１の四角領域内の画像と、前記変換画像を合成する合成手段と、を備えることを特徴とする撮像装置である。
請求項３記載の発明は、前記第１の四角領域内の第１の画像は、前記第１の画像全体であることを特徴とする請求項１記載の撮像装置である。
請求項４記載の発明は、前記第２の四角領域内の第２の画像は、前記第２の画像全体であることを特徴とする請求項２記載の撮像装置である。
請求項５記載の発明は、前記第２の画像は、前記撮像手段による撮影画像であることを特徴とする請求項１又は２記載の撮像装置である。
請求項６記載の発明は、合成用画像を記憶する記憶手段を備え、前記第２の画像は、前記合成用画像であることを特徴とする請求項１又は２記載の撮像装置である。
請求項７記載の発明は、前記第１の画像は、前記撮像手段から出力されるスルー画像であることを特徴とする請求項１又は２記載の撮像装置である。
請求項８記載の発明は、前記第１の画像は、前記撮像手段による撮影済み画像であることを特徴とする請求項１又は２記載の撮像装置である。
請求項９記載の発明は、前記第１の領域取得手段は、前記第１の画像平面上に方形である領域が複数存在する場合に、その内の一つをユーザ操作に応答して選択することを特徴とする請求項１又は２記載の撮像装置である。
請求項１０記載の発明は、前記第２の領域取得手段は、前記第２の画像平面上に方形である領域が複数存在する場合に、その内の一つをユーザ操作に応答して選択することを特徴とする請求項１又は２記載の撮像装置である。
請求項１１記載の発明は、前記合成手段は、前記第２の画像中の第２の四角領域に、前記変換画像を合成する際に、前記変換画像が入りきらない形状の場合は、当該変換画像の中心を基準にして切り出した後、その切り出し画像を前記第２の画像中の第２の四角領域に合成することを特徴とする請求項１記載の撮像装置である。
請求項１２記載の発明は、前記合成手段は、前記第２の画像中の第２の四角領域に、前記変換画像を合成する際に、前記変換画像が入りきらない形状の場合は、当該変換画像の縦又は横寸法を縮小し、その縮小画像を前記第２の画像中の第２の四角領域に合成することを特徴とする請求項１記載の撮像装置である。
請求項１３記載の発明は、前記第１の領域取得手段が取得する第１の四角領域は矩形の領域であり、前記変換手段は、矩形の領域である前記第１の四角領域内の第１の画像を、前記第２の四角領域の形状に基づき形状変換して変換画像を取得することを特徴とする請求項１に記載の撮像装置である。
請求項１４記載の発明は、前記変換手段は、この変換手段で生成している前記変換画像を台形補正した場合に得られる画像が、前記第１の画像の一部分を切り出した画像のうちの一つと相似の関係にあるように画像の変換を行うことを特徴とする請求項１３に記載の撮像装置である。
請求項１５記載の発明は、前記第２の領域取得手段が取得する第２の四角領域は矩形の領域であり、前記変換手段は、矩形の領域である前記第２の四角領域内の第２の画像を、前記第１の四角領域の形状に基づき形状変換して変換画像を取得することを特徴とする請求項２に記載の撮像装置である。
請求項１６記載の発明は、前記変換手段は、この変換手段で生成している前記変換画像を台形補正した場合に得られる画像が、前記第２の画像の一部分を切り出した画像のうちの一つと相似の関係にあるように画像の変換を行うことを特徴とする請求項１５に記載の撮像装置である。
請求項１７記載の発明は、第３の画像平面上の方形である第３の四角領域を取得する第３の領域取得手段と、第３の画像平面上であって前記第３の四角領域を含み、形状がこの第３の四角領域と相似である第４の四角領域を取得する第４の領域取得手段と、前記第４の領域取得手段で取得した前記第４の領域内の前記第３の画像を台形補正した第４の画像を取得する第３の画像取得手段と、を備え、前記第１の画像をこの第４の画像として、前記第１の領域を前記第４の画像内であって前記台形補正後の前記第３の領域とすることを特徴とする請求項１記載の撮像装置である。
請求項１８記載の発明は、第３の画像平面上の方形である第３の四角領域を取得する第３の領域取得手段と、第３の画像平面上であって前記第３の四角領域を含み、形状がこの第３の四角領域と相似である第４の四角領域を取得する第４の領域取得手段と、前記第４の領域取得手段で取得した前記第４の領域内の前記第３の画像を台形補正した第４の画像を取得する第３の画像取得手段と、を備え、前記第２の画像をこの第４の画像として、前記第２の領域を前記第４の画像内であって前記台形補正後の前記第３の領域とすることを特徴とする請求項２記載の撮像装置である。
請求項１９記載の発明は、第１の画像を取得する第１の画像取得手段と、第２の画像を取得する第２の画像取得手段と、前記第１の画像平面上の方形である第１の四角領域を取得する第１の領域取得手段と、前記第２の画像平面上の第２の四角領域を取得する第２の領域取得手段と、前記第１の四角領域内の第１の画像を、前記第２の四角領域の形状に基づきあてはまるように形状変換して変換画像を取得する変換手段と、前記第２の画像中の第２の四角領域内の画像と、前記変換画像を合成する合成手段と、を備えることを特徴とする画像処理装置である。
請求項２０記載の発明は、被写体を撮像して撮影画像を取得する撮像手段を備える撮像装置に、前記撮影画像を第１の画像として取得する第１の画像取得機能と、第２の画像を取得する第２の画像取得機能と、前記第１の画像平面上の方形である第１の四角領域を取得する第１の領域取得機能と、前記第２の画像平面上の第２の四角領域を取得する第２の領域取得機能と、前記第１の四角領域内の第１の画像を、前記第２の四角領域の形状に基づきあてはまるように形状変換して変換画像を取得する変換機能と、前記第２の画像中の第２の四角領域内の画像と、前記変換画像を合成する合成機能と、を実現させることを特徴とするプログラムである。
請求項２１記載の発明は、被写体を撮像して撮影画像を取得する撮像手段を備える撮像装置に、前記撮影画像を第１の画像として取得する第１の画像取得機能と、第２の画像を取得する第２の画像取得機能と、前記第１の画像平面上の方形である第１の四角領域を取得する第１の領域取得機能と、前記第２の画像平面上の第２の四角領域を取得する第２の領域取得機能と、前記第２の四角領域内の第２の画像を、前記第１の四角領域の形状に基づきあてはまるように形状変換して変換画像を取得する変換機能と、前記第１の画像中の第１の四角領域内の画像と、前記変換画像を合成する合成機能と、を実現させることを特徴とするプログラムである。
請求項２２記載の発明は、画像処理装置に、第１の画像を取得する第１の画像取得機能と、第２の画像を取得する第２の画像取得機能と、前記第１の画像平面上の方形である第１の四角領域を取得する第１の領域取得機能と、前記第２の画像平面上の第２の四角領域を取得する第２の領域取得機能と、前記第１の四角領域内の第１の画像を、前記第２の四角領域の形状に基づきあてはまるように形状変換して変換画像を取得する変換機能と、前記第２の画像中の第２の四角領域内の画像と、前記変換画像を合成する合成機能と、を実現させることを特徴とするプログラムである。

本発明によれば、主画像と副画像を効果的に合成することができる。

以下、本発明の実施形態を、デジタルカメラ等の撮像装置への適用を例にして、図面を参照しながら説明する。

図１は、本発明の実施形態に係る撮像装置の概念構成図である。この図において、撮像装置１は、不図示の被写体の像を光学系２を介して取り込み、その像を電気信号に変換し、画像信号として出力するＣＣＤやＣＭＯＳ等の撮像部３と、撮像部３からの撮像信号に対してガンマ補正等の所要の画像処理を施す画像処理部４と、画像処理済みの画像信号を構図確認用のスルー画像として表示したり撮影済みの画像を再生表示したり必要に応じて各種設定用のメニューを表示したりする液晶ディスプレイパネルからなる表示部５と、撮影済み画像を記憶する記憶部６と、シャッタボタン７やモードボタン８などの様々な操作ボタン類を有する操作部９と、バッテリを含む電源部１０と、外部機器（パソコン等）との間で画像データなどをやり取りする入出力部１１と、撮像装置１の動作を統括制御する制御部１２とを備える。なお、これ以外にも、ストロボ発光部などを備えるが、図面の煩雑化を避けるためにここでは割愛している。

制御部１２は、たとえば、ＣＰＵ１３やＲＡＭ１４及びＲＯＭ１５などを含んで構成されており、ＣＰＵ１３は、ＲＯＭ１５に格納されている制御プログラムや制御データをＲＡＭ１４に読み出して実行することにより、撮像装置１に必要な各種機能（撮影機能や再生機能等）を実現するものである。

図２は、制御部１２のＣＰＵ１３で実行される制御プログラムの簡略フローを示す図である。このプログラムは、撮像装置１の電源をオンにしたときに実行される。このプログラムを開始すると、まず、撮像装置１の動作モード（撮影モード／再生モード）を判定する（ステップＳ１）。この動作モードは、ユーザ（撮影者）の所望に応じて、操作部９のモードボタン８により任意に変更できるようになっている。

ステップＳ１で撮影モードを判定した場合は、撮影処理を実行し（ステップＳ２）、再生モードを判定した場合は、再生処理を実行する（ステップＳ３）。

図３は、撮影処理の簡略フローを示す図である。この図において、撮影処理を開始すると、まず、スルー画像を表示し（ステップＳ１１）、画像合成モードであるか否かを判定する（ステップＳ１２）。そして、画像合成モードでなければ、通常の撮影モードであると判断して、操作部９のシャッタボタン７の押し下げ操作（以下、シャッタレリーズという。）を判定し（ステップＳ１３）、シャッタレリーズを判定すると、画像処理部４から出力された撮像部３の撮影画像を取り込み（ステップＳ１４）、その撮影画像を記憶部６に記憶保存する（ステップＳ１５）。

一方、ステップＳ１２で画像合成モードが判定されたときは、シャッタレリーズを判定し（ステップＳ１６）、シャッタレリーズを判定すると、画像処理部４から出力された撮像部３の撮影画像を「第１の画像」として取り込む（ステップＳ１７）と共に、記憶部６に保存されている所定の画像（たとえば、テンプレート画像）を「第２の画像」として取り込み（ステップＳ１８）、これらの第１の画像と第２の画像に対して後述の合成処理を実行し（ステップＳ１９）、その合成画像を記憶部６に記憶保存する（ステップＳ１５）。
なお、ここでは撮影画像である「第１の画像」の取り込み後に、所定の画像である「第２の画像」を取り込むように構成しているが、状況に応じて順番を逆にしても構わない。

図４は、再生処理の簡略フローを示す図である。この図において、再生処理を開始すると、まず、画像合成モードであるか否かを判定する（ステップＳ２１）。そして、画像合成モードでなければ、通常の再生モードであると判断して、記憶部６に保存されている撮影済み画像のサムネイルリストを表示部５に表示し（ステップＳ２２）、ユーザによる再生画像の選択操作（ステップＳ２３）に応答して、その選択画像を表示部５に表示する（ステップＳ２４）。

一方、ステップＳ２１で画像合成モードが判定されたときは、記憶部６に保存されている撮影済み画像のサムネイルリストを表示部５に表示し（ステップＳ２５）、ユーザによる「第１の画像」の選択操作（ステップＳ２６）と「第２の画像」の選択操作（ステップＳ２７）とに応答して、それらの選択画像（第１の画像と第２の画像）に対して後述の合成処理を実行し（ステップＳ２８）、その合成画像を表示部５に表示（ステップＳ２９）した後、又は、表示と並行して、その合成画像を記憶部６に記憶保存する（ステップＳ３０）。

図５は、撮影処理と再生処理に共通の合成処理（図３のステップＳ１９及び図４のステップＳ２９）の簡略フローを示す図、図６は、その合成処理の概念図である。これらの図において、合成処理を開始すると、まず、第１の画像２１の中の矩形状指定領域２２に含まれる画像（以下、被合成画像２３という。）を抽出する（ステップＳ３１及び図６の（ａ））。ここでは、被合成画像２３は、説明の便宜上、アルファベットの“Ａ”の文字が写っているものとする。

次いで、第２の画像２４の中に合成領域２５を設定する（ステップＳ３２及び図６の（ｂ））。この合成領域２５の形状は任意であり、ここでは、たとえば、左右辺の長さが異なる横台形状であるものとする。

次いで、合成領域２５の形に対応させて、被合成画像２３の形を変形する（ステップＳ３３及び図６の（ｃ））。ここでは、合成領域２５の形に対応させる一つの例として、合成領域２５の形に合わせて被合成画像２３の形を横台形画像２６に変形している。この変形には、公知のアファイン変換を用いることが好ましい。

次いで、変換後の被合成画像２３（つまり、この例の場合は横台形画像２６）を、第２の画像２４の中の合成領域２５に填め込み合成して、最終的な合成画像２７を得る（ステップＳ３４及び図６の（ｄ））。

以上のとおり、本実施形態によれば、第２の画像２４の合成領域２５に、第１の画像２１の矩形状指定領域２２に含まれる画像（被合成画像２３）を嵌め込む際に、第２の画像２４の合成領域２５の形状を考慮して、被合成画像２３の形を適切に変更した上で上記填め込みを簡易に行うことができるという、冒頭で説明した従来技術にない格別な効果を得ることができる。

なお、本発明は以上の実施形態に限定されることなく、その思想の範囲内において、様々な発展例や変形例を含むことはもちろんであり、たとえば、以下のようにしてもよい。

前記の実施形態においては、撮影モード時の画像合成を行う際に、第２の画像２４の合成領域２５に、第１の画像２１の矩形状指定領域２２に含まれる画像（被合成画像２３）を嵌め込むようにしているが、この逆であってもよい。つまり、図示はしないが、第１の画像２１の合成領域に、第２の画像２４の矩形状指定領域に含まれる画像（被合成画像２３）を嵌め込むようにしてもよい。

また、前記の実施形態においては、撮影モード時の画像合成を行う際の第１の画像２１は撮像部３によって撮影された撮影画像であり、第２の画像２４は記憶部６に保存されている所定の画像（たとえば、合成用画像であるテンプレート画像）であるが、これを逆にしてもよい。つまり、第１の画像２１を記憶部６に保存されている所定の画像（たとえば、テンプレート画像）とし、第２の画像２４を撮像部３によって撮影された撮影画像としてもよい。あるいは、記憶部６に保存されている所定の画像（たとえば、テンプレート画像）の代わりに他の画像、たとえば、スルー画像を用いてもよい。

たとえば、合成用画像である第１の画像を選択しておき、この第１の画像の所望の領域に、スルー画像である第２の画像を表示するようにしてもよい。

この時、スルー画像は、上記した合成処理により、合成領域に対応させて画像の形状を変形させた上で表示されていることが望ましい。つまり、合成用画像である第１の画像の中の所望の領域に、スルー画像である第２の画像を、上記合成処理により変形させた上で表示しているこの状態で、シャッターキーを押下することで、上記したスルー画像を、撮影画像と置き換えるようにして合成画像を生成するようにすることが望ましい。

これにより、画像合成後の状態をスルー画像として確認しながら所望の合成画像を撮影して合成することができるというメリットがある。従来は、合成後の画像のでき具合を考慮しながら画像合成用の撮影を行なうことはできなかったので、このように構成することは特にメリットがある。

このことについて、具体例を挙げて説明する。今、第１の画像として、たとえば、額縁のようなもの（以下、説明の便宜上、額縁とする。）が写った画像を想定し、その第１の画像の額縁内にスルー画像（第２の画像）を表示することを考える。この場合、撮影者は、表示部５に表示されているモニター画像（第１の画像の額縁内のスルー画像）を見ながら、構図を調整し、所望の構図が得られた時点で撮影を行う（シャッタレリーズする）ことになるが、撮影された画像は、あたかも額縁内に被写体が嵌め込まれたものとなり、結局、いわゆる「プリクラ」のような遊び心に溢れた合成画像を得ることができる。

ここで、額縁内にスルー画像を嵌め込む際には、元のスルー画像の大きさを額縁の大きさに合わせて縮小することになる。また、額縁の形が矩形以外の形状になっている場合は、上記の縮小と共に、元のスルー画像の形状を額縁の形に合わせて変形する。

また、合成領域２５の形に対応させて被合成画像２３の形を変形する（ステップＳ３３及び図６の（ｃ））とは、前記の例示のとおりに、合成領域２５の形が横台形状である場合に、それに合わせて被合成画像２３の形を横台形画像２６に変形することだけでなく、その他の態様も含むものである。すなわち、合成領域２５にぴったりと収まるように被合成画像２３の形を変形するのみならず、被合成画像２３が合成領域２５から若干はみ出す程度に変形する態様も含むものである。これにより、より自然な状態での合成画像とできることがある。

また、被合成画像２３は、第１の画像２１の全体であってもよい。
図７（ａ）は、第１の画像２１の全体を被合成画像２３とする場合の概念図である。この図において、被合成画像２３は、第１の画像２１の全体であり、このままでは大きすぎて第２の画像２４の合成領域２５に収まらない。そこで、この場合には、被合成画像２３（＝第１の画像２１）の全体を縮小した上、その縮小画像２８を、合成領域２５の形に対応させて変形する。

また、主要被写体が合成領域２５に入りきらない程度に大き過ぎる被合成画像２３の場合には、その被合成画像２３の主要被写体の要部を切り出すようにしてもよい。
図７（ｂ）は、主要被写体が大き過ぎる被合成画像２３の対策を示す概念図である。この図において、第１の画像２１の中の矩形状指定領域２２から抽出された被合成画像２３は、第２の画像２４の合成領域２５に対して相当に大きく、このままでは、合成領域２５の形に対応させて被合成画像２３の形を変形しても、合成領域２５に収まらない。そこで、このような場合には、被合成画像２３の面積中心点Ｐａを基準にして適切な範囲を切り出し、その切り出し画像２９を合成領域２５の形に対応させて変形した上、第２の画像２４の合成領域２５に填め込み合成すればよい。

あるいは、次のようにしてもよい。
図７（ｃ）は、主要被写体が大き過ぎる被合成画像２３の他の対策を示す概念図である。この図においても、第１の画像２１の中の矩形状指定領域２２から抽出された被合成画像２３は、第２の画像２４の合成領域２５に対して相当に大きく、このままでは、合成領域２５の形に対応させて被合成画像２３の形を変形しても、合成領域２５に収まらない。そこで、このような場合には、被合成画像２３の縦又は横寸法（ここでは縦寸法）を縮小し、その縮小画像３０を合成領域２５の形に対応させて変形した上、第２の画像２４の合成領域２５に填め込み合成すればよい。

または、前記の実施形態では、第１の画像２１の中の矩形状指定領域２２に含まれる画像（以下、被合成画像２３という。）を抽出する（ステップＳ３１及び図６の（ａ））とされており、この抽出には、たとえば、画像の輪郭抽出の技術を応用できるものの、画像の内容によっては、複数の矩形領域が抽出されてしまうことがあり、この場合、前記被合成画像２３の抽出に不都合を来してしまう。

図８は、複数の矩形領域が抽出されてしまった場合の対策を示す概念図である。この図において、表示部５のモニタ画面上には、第１の画像２１の中から抽出された複数の矩形領域３１〜３４が“枠取り”されて表示されている。ユーザは、それらの矩形領域３１〜３４から所望の領域を選択する。たとえば、太枠で示されている左下の矩形領域３３が選択されたとすると、この矩形領域３３が前述の矩形状指定領域２２となり、以降、この矩形状指定領域２２に含まれる画像が被合成画像２３として抽出される。

または、以下のようにしてもよい。
図９は、アスペクト比の調整概念図である。まず、図示の例は、画像１１０の台形状の領域１０１に、画像１０３の全体を嵌め込むことを想定したものである。ここで、画像１０３は、画像１２０の中の所定の領域を矩形に切り出したものであるものとする。

その場合の処理の一例を下記に示す。
先ず、領域１０１の台形補正を行い、矩形状の領域１０２を作成する。
このとき、台形補正を行った際のアフィンパラメータＡを、ＲＡＭ１４に記憶しておく。

そして、領域１０２と画像１０３のアスペクト比を比較し、領域１０２のアスペクト比になるように、画像１０３を加工する。具体的には、領域１０２の横寸法をａとすると共に縦寸法をｂとし、画像１０３の横寸法をａ´とすると共に縦寸法をｂ´としたとき、ａ／ａ´＜＝ｂ／ｂ´のときは、領域１０２のアスペクト比に対して、画像１０３のアスペクト比は横に幅広いので、領域１０２のアスペクト比からはみ出る部分を左右均等に切り取ると共に、切り取った画像をｂ／ｂ´倍することで、領域１０２にちょうど適合する画像１０５を生成し、この画像１０５を画像１０４とする。

また、ａ／ａ´＞ｂ／ｂ´のときは、領域１０２のアスペクト比に対して、画像１０３のアスペクト比は縦に幅広いので、領域１０２のアスペクト比からはみ出る部分を上下均等に切り取ると共に、切り取った画像をａ／ａ´倍することで、領域１０２にちょうど適合する画像１０６を生成し、この画像１０６を画像１０４とする。

つまり、画像１０４とは、画像１０３と相似にある画像１０４´の所定部分を切り取り、領域１０２に当てはまるようにしたものと同等である。

ここでは、画像の切り取り後に変倍を行っているが、変倍後に画像の切り取りを行うように構成しても構わない。

なお、上記においては、左右または上下の領域を均等に切り取るように構成したが、このようではなくともよく、主要被写体を検出して、その主要被写体の位置に基づいて、画像を切り取り領域を変化させてもよい。例えば、主要被写体の中心位置を算出して、計算した中心位置から、左右又は上下均等に画像を残して領域１０２と同等のアスペクト比部分を形成し、残りの部分を削除する構成としても構わない。

上記のようにして作成した画像１０４を、今度は、領域１０１を領域１０２に変換したときのアフィンパラメータであるアフィンパラメータＡを用いて、台形補正の逆変換を行い、画像１０４の形状を、画像１０７の形状になるように変形する。つまり、画像１０７は、領域１０１に丁度等しい形状となる。

このようにして、画像１１０の領域１０１部分に画像１０７を合成した画像１１０´を合成することができる。

これにより、画像１０３が矩形であるがために、下記のメリットを得ることができる。画像１１０から選択された領域である領域１０１が、例えば、直方体の表示領域を持つテレビを斜めから撮影したときのテレビの画面枠となる領域であるような場合、上記の変換方法を用いることにより、画像１０７は、画像１１０の中で、もしもこのテレビを正面から見たなら、画像１０４のようにみえるかのように表現される。

つまり、画像１１０の中で、画像１０７は、あたかもそのテレビの中で、自然に表示されている画像であるかのように表現される。

このように、上記の画像合成方法においては、領域１０１が画像１１０の中で、もともと矩形である領域を斜めから撮影したために、画像１１０の中では矩形として表現されていない領域であるような場合に、矩形である所望の画像（例えば画像１０３）を、もし領域１０１を正面から撮影した場合に、正しい縦横比で表示されるように、適切に画像１０３を加工して、画像１１０に合成することを可能にする。

したがって、画像１０４と、画像１０３の部分画像のうちの一つが相似の関係になっているので、領域１０１が、ある方向から撮影した場合に矩形となる場合において、画像１１０の中で、画像１０３を、より自然に、領域１０１にはめこむことが可能になる。

なお、上記図９に係る実施形態においては、画像１１０中の領域１０１は台形状であるとしたが、これに限らず、以下のようなものであってもよい。

図１０は、他の画像変形概念図である。この図において、画像１１０中であって、領域１０１を含み、形状がこの領域１０１と相似である領域１０１´を設定して、この領域１０１´内部の画像１１０を切り取って台形補正を行った台形補正画像１３０を取得し、その台形補正画像１３０内の、前記領域１０１に相当する領域である領域１３１（領域１０１´の台形補正に伴い、領域１０１自体も同時に台形補正されている。つまり領域１３１は矩形である。）を取得するようにして、ここで求めた台形補正画像１３０を画像１１０として、領域１３１を領域１０１として再設定した上で、図９に係る画像変換を行なうようにしても構わない。

また、同様にして、図６に係る実施形態においても、本なおがきは適用可能である。

図１１は、さらに他の画像変形概念図である。この図において、図６に係る実施形態においては、画像２４中の領域２５は台形状であるとしたが、画像２４中であって、領域２５を含み、形状がこの領域２５と相似である領域２５´を設定して、この領域２５´内部の画像２４を切り取って台形補正を行った台形補正画像１４０を取得し、その台形補正画像１４０内の、前記領域２５に相当する領域である領域１４１（領域２５´の台形補正に伴い、領域２５自体も同時に台形補正されている。つまり領域１４１は矩形である。）を取得するようにして、ここで求めた台形補正画像１４０を画像２４として、領域１４１を領域２５として再設定した上で、図６に係る画像変換を行なうようにしても構わない。

これにより、また異なった風合いの画像を取得することが可能となる。

また、これにより、例えば領域１０１から領域１０２への台形補正と、これに伴う画像１０４から画像１０７への逆台形補正を行う必要が無くなり、処理の簡略化を図ることができる。

本発明の実施形態に係る撮像装置の概念構成図である。 制御部１２のＣＰＵ１３で実行される制御プログラムの簡略フローを示す図である。 撮影処理の簡略フローを示す図である。 再生処理の簡略フローを示す図である。 撮影処理と再生処理に共通の合成処理の簡略フローを示す図である。 合成処理の概念図である。 実施形態の変形例を示す図である。 複数の矩形領域が抽出されてしまった場合の対策を示す概念図である。 アスペクト比の調整概念図である。 他の画像変形概念図である。 さらに他の画像変形概念図である。

符号の説明

１ 撮像装置
３ 撮像部（撮像手段）
６ 記憶部（記憶手段）
１２ 制御部（第１の画像取得手段、第２の画像取得手段、第３の画像取得手段、第１の領域取得手段、第２の領域取得手段、第３の領域取得手段、第４の領域取得手段、変換手段、合成手段）
２１ 第１の画像
２２ 矩形状指定領域（第１の四角領域）
２４ 第２の画像
２５ 合成領域（第２の四角領域）
２６ 横台形画像（変換画像）
２９ 切り出し画像
３０ 縮小画像

Claims (22)

1. 被写体を撮像して撮影画像を取得する撮像手段と、
   前記撮影画像を第１の画像として取得する第１の画像取得手段と、
   第２の画像を取得する第２の画像取得手段と、
   前記第１の画像平面上の方形である第１の四角領域を取得する第１の領域取得手段と、
   前記第２の画像平面上の第２の四角領域を取得する第２の領域取得手段と、
   前記第１の四角領域内の第１の画像を、前記第２の四角領域の形状に基づきあてはまるように形状変換して変換画像を取得する変換手段と、
   前記第２の画像中の第２の四角領域内の画像と、前記変換画像を合成する合成手段と、
   を備えることを特徴とする撮像装置。
2. 被写体を撮像して撮影画像を取得する撮像手段と、
   前記撮影画像を第１の画像として取得する第１の画像取得手段と、
   第２の画像を取得する第２の画像取得手段と、
   前記第１の画像平面上の方形である第１の四角領域を取得する第１の領域取得手段と、
   前記第２の画像平面上の第２の四角領域を取得する第２の領域取得手段と、
   前記第２の四角領域内の第２の画像を、前記第１の四角領域の形状に基づきあてはまるように形状変換して変換画像を取得する変換手段と、
   前記第１の画像中の第１の四角領域内の画像と、前記変換画像を合成する合成手段と、
   を備えることを特徴とする撮像装置。
3. 前記第１の四角領域内の第１の画像は、前記第１の画像全体であることを特徴とする請求項１記載の撮像装置。
4. 前記第２の四角領域内の第２の画像は、前記第２の画像全体であることを特徴とする請求項２記載の撮像装置。
5. 前記第２の画像は、前記撮像手段による撮影画像であることを特徴とする請求項１又は２記載の撮像装置。
6. 合成用画像を記憶する記憶手段を備え、
   前記第２の画像は、前記合成用画像であることを特徴とする請求項１又は２記載の撮像装置。
7. 前記第１の画像は、前記撮像手段から出力されるスルー画像であることを特徴とする請求項１又は２記載の撮像装置。
8. 前記第１の画像は、前記撮像手段による撮影済み画像であることを特徴とする請求項１又は２記載の撮像装置。
9. 前記第１の領域取得手段は、前記第１の画像平面上に方形である領域が複数存在する場合に、その内の一つをユーザ操作に応答して選択することを特徴とする請求項１又は２記載の撮像装置。
10. 前記第２の領域取得手段は、前記第２の画像平面上に方形である領域が複数存在する場合に、その内の一つをユーザ操作に応答して選択することを特徴とする請求項１又は２記載の撮像装置。
11. 前記合成手段は、前記第２の画像中の第２の四角領域に、前記変換画像を合成する際に、前記変換画像が入りきらない形状の場合は、当該変換画像の中心を基準にして切り出した後、その切り出し画像を前記第２の画像中の第２の四角領域に合成することを特徴とする請求項１記載の撮像装置。
12. 前記合成手段は、前記第２の画像中の第２の四角領域に、前記変換画像を合成する際に、前記変換画像が入りきらない形状の場合は、当該変換画像の縦又は横寸法を縮小し、その縮小画像を前記第２の画像中の第２の四角領域に合成することを特徴とする請求項１記載の撮像装置。
13. 前記第１の領域取得手段が取得する第１の四角領域は矩形の領域であり、
    前記変換手段は、矩形の領域である前記第１の四角領域内の第１の画像を、前記第２の四角領域の形状に基づき形状変換して変換画像を取得する
    ことを特徴とする請求項１に記載の撮像装置。
14. 前記変換手段は、この変換手段で生成している前記変換画像を台形補正した場合に得られる画像が、前記第１の画像の一部分を切り出した画像のうちの一つと相似の関係にあるように画像の変換を行う
    ことを特徴とする請求項１３に記載の撮像装置。
15. 前記第２の領域取得手段が取得する第２の四角領域は矩形の領域であり、
    前記変換手段は、矩形の領域である前記第２の四角領域内の第２の画像を、前記第１の四角領域の形状に基づき形状変換して変換画像を取得する
    ことを特徴とする請求項２に記載の撮像装置。
16. 前記変換手段は、この変換手段で生成している前記変換画像を台形補正した場合に得られる画像が、前記第２の画像の一部分を切り出した画像のうちの一つと相似の関係にあるように画像の変換を行う
    ことを特徴とする請求項１５に記載の撮像装置。
17. 第３の画像平面上の方形である第３の四角領域を取得する第３の領域取得手段と、
    第３の画像平面上であって前記第３の四角領域を含み、形状がこの第３の四角領域と相似である第４の四角領域を取得する第４の領域取得手段と、
    前記第４の領域取得手段で取得した前記第４の領域内の前記第３の画像を台形補正した第４の画像を取得する第３の画像取得手段と、
    を備え、
    前記第１の画像をこの第４の画像として、前記第１の領域を前記第４の画像内であって前記台形補正後の前記第３の領域とする
    ことを特徴とする請求項１記載の撮像装置。
18. 第３の画像平面上の方形である第３の四角領域を取得する第３の領域取得手段と、
    第３の画像平面上であって前記第３の四角領域を含み、形状がこの第３の四角領域と相似である第４の四角領域を取得する第４の領域取得手段と、
    前記第４の領域取得手段で取得した前記第４の領域内の前記第３の画像を台形補正した第４の画像を取得する第３の画像取得手段と、
    を備え、
    前記第２の画像をこの第４の画像として、前記第２の領域を前記第４の画像内であって前記台形補正後の前記第３の領域とする
    ことを特徴とする請求項２記載の撮像装置。
19. 第１の画像を取得する第１の画像取得手段と、
    第２の画像を取得する第２の画像取得手段と、
    前記第１の画像平面上の方形である第１の四角領域を取得する第１の領域取得手段と、
    前記第２の画像平面上の第２の四角領域を取得する第２の領域取得手段と、
    前記第１の四角領域内の第１の画像を、前記第２の四角領域の形状に基づきあてはまるように形状変換して変換画像を取得する変換手段と、
    前記第２の画像中の第２の四角領域内の画像と、前記変換画像を合成する合成手段と、
    を備えることを特徴とする画像処理装置。
20. 被写体を撮像して撮影画像を取得する撮像手段を備える撮像装置に、
    前記撮影画像を第１の画像として取得する第１の画像取得機能と、
    第２の画像を取得する第２の画像取得機能と、
    前記第１の画像平面上の方形である第１の四角領域を取得する第１の領域取得機能と、
    前記第２の画像平面上の第２の四角領域を取得する第２の領域取得機能と、
    前記第１の四角領域内の第１の画像を、前記第２の四角領域の形状に基づきあてはまるように形状変換して変換画像を取得する変換機能と、
    前記第２の画像中の第２の四角領域内の画像と、前記変換画像を合成する合成機能と、
    を実現させることを特徴とするプログラム。
21. 被写体を撮像して撮影画像を取得する撮像手段を備える撮像装置に、
    前記撮影画像を第１の画像として取得する第１の画像取得機能と、
    第２の画像を取得する第２の画像取得機能と、
    前記第１の画像平面上の方形である第１の四角領域を取得する第１の領域取得機能と、
    前記第２の画像平面上の第２の四角領域を取得する第２の領域取得機能と、
    前記第２の四角領域内の第２の画像を、前記第１の四角領域の形状に基づきあてはまるように形状変換して変換画像を取得する変換機能と、
    前記第１の画像中の第１の四角領域内の画像と、前記変換画像を合成する合成機能と、
    を実現させることを特徴とするプログラム。
22. 画像処理装置に、
    第１の画像を取得する第１の画像取得機能と、
    第２の画像を取得する第２の画像取得機能と、
    前記第１の画像平面上の方形である第１の四角領域を取得する第１の領域取得機能と、
    前記第２の画像平面上の第２の四角領域を取得する第２の領域取得機能と、
    前記第１の四角領域内の第１の画像を、前記第２の四角領域の形状に基づきあてはまるように形状変換して変換画像を取得する変換機能と、
    前記第２の画像中の第２の四角領域内の画像と、前記変換画像を合成する合成機能と、
    を実現させることを特徴とするプログラム。

Images