JP2013186691A

JP2013186691A - 画像処理装置及び画像処理方法並びにプログラム

Info

Publication number: JP2013186691A
Application number: JP2012051219A
Authority: JP
Inventors: Atsuhide Takahashi; 敦英高橋
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2012-03-08
Filing date: 2012-03-08
Publication date: 2013-09-19
Also published as: CN103312971A; CN103312971B; US20130235078A1; US9007400B2

Abstract

【課題】拡張現実マーカを撮影した画像内に仮想オブジェクトを重畳表示する場合、ユーザの所望する向きに仮想オブジェクトを容易に表示できるようにする。
【解決手段】ＣＰＵ１は、撮像素子１７Ｂに映っている実画像の中からＡＲマーカの向きを撮影方向として特定し、ＡＲマーカに対して予め決められている基準方向（例えば、正面）に仮想オブジェクトの正面が向いている状態を基準として、撮影方向に仮想オブジェクトの正面が向くように仮想オブジェクトを回転させてタッチ入力表示部１６に重畳表示させる。
【選択図】図１

Description

本発明は、撮影された実画像内の拡張現実マーカを認識して仮想オブジェクトを合成表示する画像処理装置及び画像処理方法並びにプログラムに関する。

一般に、スマートフォンなどの携帯端末装置にあっては、その多機能化が進み、カメラ機能（撮像機能）のほかに、ＡＲ（Augmented
Reality：拡張現実）という画像処理機能などが搭載されており、カメラ機能により撮影された画像内の所定の位置に３次元の仮想オブジェクト（例えば、キャラクタ画像など）を重畳して表示するようにしている。すなわち、被写体の位置又はその付近に印刷物としての拡張現実マーカ（ＡＲマーカ：正方形の黒枠内に白パターンを描いたマーカ）が配置されている状態において、その被写体が撮像機能によって撮影されると、携帯端末装置は、その撮影画像を解析することによりその中に含まれているＡＲマーカを認識し、このＡＲマーカの位置に仮想オブジェクトを重畳合成して表示するようにしている。このようにＡＲマーカの位置に仮想オブジェクトを重畳表示する技術として従来においては、ＡＲマーカのパターンの大きさや傾きに基づいてマーカが置かれている３次元の位置及び方向を検出して、撮影された画像上の表示位置及び表示方向を決定するようにした技術が開示されている（特許文献１参照）。

特開平７−５７０８０号公報

ところで、撮影画像内のＡＲマーカを認識する場合には、ＡＲマーカを構成する黒枠内の白パターンに応じてＡＲマーカの所定方向（例えば、正面）を判別し、そのＡＲマーカの正面に仮想オブジェクトの表示方向を決定するようにしている。図６は、拡張現実マーカ（ＡＲマーカ）の正面に仮想オブジェクト（キャラクタ）の正面（顔）が向くように表示させた場合を例示した図である。この例においてＡＲマーカは、正方形の黒枠内に任意形状の白領域のパターンを配置した構成で、黒の領域と白の領域とは所定の割合となっている。

携帯端末装置は、撮影された画像（実画像）を解析し、その中のＡＲマーカの黒枠部分に着目して、ＡＲマーカの領域（黒枠の領域）を検出した後、ＡＲマーカ内に描かれている白領域のパターンを特定することによりＡＲマーカを認識するようにしている。この場合、白領域のパターン形状に基づいてＡＲマーカの正面を判断し、その正面に仮想オブジェクトが向くように画像上のＡＲマーカの位置に３次元の仮想オブジェクトを重畳表示させるようにしている。なお、図示の例は、ＡＲマーカの正面に仮想オブジェクト（キャラクタ）の正面（顔）が向くように表示させた場合である。

しかしながら、上述のようにＡＲマーカの正面に３次元の仮想オブジェクトの正面が向くように仮想オブジェクトを回転制御して重畳表示させるために、例えば、撮影者の位置がＡＲマーカの正面から外れて、ＡＲマーカの背面方向から撮影を行う場合には、後ろ向きの仮想オブジェクトが表示され、また、ＡＲマーカの側面方向から撮影を行う場合には、横向きの仮想オブジェクトが表示されることになる。その結果、ＡＲマーカの正面方向からの撮影が困難な場合、ユーザは、後ろ向きの仮想オブジェクトあるいは横向きの仮想オブジェクトしか見ることができなくなる。

本発明の課題は、拡張現実マーカを撮影した画像内に仮想オブジェクトを重畳表示する場合、ユーザの所望する向きに仮想オブジェクトを容易に表示できるようにすることである。

上述した課題を解決するために本発明の画像処理装置は、
撮像素子を備える撮像手段と、
前記撮像素子に映っている実画像の中から拡張現実マーカを検出する検出手段と、
前記検出手段により検出された拡張現実マーカを認識する認識手段と、
前記マーカ認識手段により拡張現実マーカが認識された場合に撮影方向を特定する撮影方向特定手段と、
前記拡張現実マーカに対して予め決められている基準方向を基準として、前記撮影方向特定手段により特定された撮影方向に基づいて仮想オブジェクトが所定方向に向くように変更し重畳表示させる表示制御手段と、
を備えたことを特徴とする画像処理装置である。

上述した課題を解決するために本発明の画像処理方法は、
撮像素子に映っている実画像の中から拡張現実マーカを検出する検出ステップと、
前記検出された拡張現実マーカを認識する認識ステップと、
前記拡張現実マーカが認識された場合に撮影方向を特定する撮影方向特定ステップと、
前記拡張現実マーカに対して予め決められている基準方向を基準として、前記特定された撮影方向に基づいて仮想オブジェクトが所定方向に向くように変更し重畳表示させる表示制御ステップと、
を含むことを特徴とする画像処理方法である。

上述した課題を解決するために本発明のプログラムは、
コンピュータに対して、
撮像素子に映っている実画像の中から拡張現実マーカを検出する検出機能と、
前記検出された拡張現実マーカを認識する認識機能と、
前記拡張現実マーカが認識された場合に撮影方向を特定する撮影方向特定機能と、
前記拡張現実マーカに対して予め決められている基準方向を基準として、前記特定された撮影方向に基づいて仮想オブジェクトが所定方向に向くように変更し重畳表示させる表示制御機能と、
を実現させるためのプログラムである。

本発明によれば、拡張現実マーカを撮影した画像内に仮想オブジェクトを重畳表示する場合、ユーザの所望する向きに仮想オブジェクトを容易に表示することができ、ユーザにあっては撮影位置を変えることなく、所望する向きの仮想オブジェクトを見ることができる。

カメラ機能付き多機能型携帯電話機１と、植物の育成環境を観測する観測装置２とを示した図。画像処理装置として適用したカメラ機能付き多機能型携帯電話機１の基本的な構成要素を示したブロック図。（１）、（２）は、拡張現実マーカ（ＡＲマーカ）の向きと、ＡＲマーカに対する視点方向を説明するための図。（１）〜（３）は、仮想オブジェクト（キャラクタ画像）の表示例を示した図。拡張現実感撮影モードの切り換えに応じて実行開始される拡張現実感処理を説明するためのフローチャート。従来例を説明するための図で、拡張現実マーカ（ＡＲマーカ）の正面に仮想オブジェクト（キャラクタ）の正面（顔）が向くように表示させた場合を例示した図。

以下、図１〜図５を参照して本発明の実施形態を説明する。
本実施形態は、画像処理装置としてカメラ機能付き多機能型携帯電話機（スマートフォン）に適用した場合を例示したもので、図１は、カメラ機能付き多機能型携帯電話機１と、植物の育成環境を観測する観測装置２とを示した図である。
この多機能型携帯電話機１は、通話機能、電子メール機能、インターネット接続機能、カメラ機能の基本機能のほか、カメラ機能によって撮影された実画像内に所定の仮想オブジェクト（例えば、キャラクタ画像）を合成して表示する拡張現実感処理機能と、観測装置２との間で近距離通信によりデータの送受信が可能な近距離通信機能などを備えた構成となっている。

観測装置２は、植木や草花などの植物の生育環境（土壌の水分量、周囲温度など）を検出する各種のセンサを備えているほか、多機能型携帯電話機１との間で近距離通信によりデータの送受信が可能な近距離通信機能などを備え、その筺体全体は細長状の中空の棒体を成している。そして、この棒体全体は、先細り状に形成され、その下部を鉢３の土壌内に埋め込む（刺し込む）構成で、その下部側の表面には、通気・通水用として複数個の細孔２ａが形成され、また、上端面には、仮想オブジェクトを表示させるための拡張現実マーカ（ＡＲマーカ）２ｂが印刷配置されている。なお、ＡＲマーカは、観測装置２への直接印刷に限らず、ＡＲマーカが印刷されているシールを観測装置２の上端面に貼り付けるようにしてもよい。また、観測装置２の上端の一側部には弧状の取手２ｃを突出形成（一体成型）されている。

図２は、このカメラ機能付き多機能型携帯電話機１の基本的な構成要素を示したブロック図である。
ＣＰＵ１１は、二次電池（図示省略）を備えた電源部１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこの携帯電話機１の全体動作を制御する中央演算処理装置である。記憶部１３には、プログラムメモリＭ１、ワークメモリＭ２などが設けられている。プログラムメモリＭ１は、図５に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、それに必要とする情報などが記憶されている。ワークメモリＭ２は、携帯電話機１が動作するために必要となる各種の情報（例えば、撮影された画像、フラグ、タイマなど）を一時的に記憶するワーク領域である。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、また、その一部が図示しない所定の外部サーバの領域を含むものであってもよい。

無線通信部１４は、音声通話機能、電子メール機能、インターネット接続機能時に使用される広域通信部であり、通話機能の動作時には音声信号処理部１５を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声データを音声信号処理部５から取り込んでアンテナから発信出力させる。タッチ入力表示部１６は、表示部１６Ａとタッチ入力部１６Ｂを有する構成で、高精細な表示部１６Ａの前面にタッチ入力部１６Ｂを配置することによりソフトウェアキー（タッチキー）を割り当て配置してその機能名を表示したり、指などによるタッチ操作を感知してそのタッチ操作に応じたデータを入力したりするデバイスである。表示部１６Ａは、高精細液晶ディスプレイなどであり、カメラ機能の使用時には撮影された画像をライブビュー画像（モニタ画像）として表示するファインダ画面となる。

撮像部１７は、被写体を高精細に撮影可能なカメラ部を構成するもので、ズームレンズやフォーカスレンズ（図示省略）などを備えたレンズ部１７Ａと、ＣＣＤ又はＣＭＯＳなどの撮像素子１７Ｂと、照度計などの各種のセンサを備えたセンサ部１７Ｃを有するほか、更に撮像素子１７Ｂで光電変換された画像信号（アナログ値の信号）に対して、色分離やＲＧＢの色成分毎のゲイン調整などを行ってデジタル値のデータに変換するアナログ処理回路１７Ｄと、このアナログ処理回路１７Ｄによりデジタル変換された画像データに対して色補間処理（デモザイク処理）などを施すデジタル信号処理回路１７Ｅを有する構成となっている。また、本実施形態では、例えば、夜景撮影モード、夕焼け撮影モード、拡張現実感撮影モードなどの各種の撮影モードに切り換え可能となっている。この拡張現実感撮影モードは、拡張現実感処理機能を使用して撮影を行う撮影モードである。なお、ユーザは、拡張現実感処理機能の起動時に、観測装置２の上端面（ＡＲマーカ）を含めて撮像部１７により拡大撮影するようにしている。

図３は、拡張現実マーカ（ＡＲマーカ）の向きと、そのＡＲマーカに対する視点方向を説明するための図である。
図中、矢印方向は、ＡＲマーカをユーザが見ている視点方向（撮影方向）を示し、図３（１）は、ＡＲマーカを正面（予め決められている基準方向：デフォルトの向き）から見ている場合であり、図３（２）は、ＡＲマーカを背面から見ている場合である。本実施形態においては、撮像素子１７Ｂに映っている実画像の中からＡＲマーカを検出した後、ＡＲマーカを認識してそのＡＲマーカの位置、大きさ、姿勢を検出し、この位置、大きさ、姿勢に応じて仮想オブジェクトの表示サイズ、表示位置、表示方向（向き）を特定するようにしている。

そして、ＡＲマーカの正面に仮想オブジェクトの正面が向くように実画像内のＡＲマーカの位置にその仮想オブジェクトを重畳表示させるようにしている。この場合、二次元の実画像内に三次元の仮想オブジェクトを描画するようにしている。なお、上述のようにＡＲマーカの正面に仮想オブジェクトの正面が向くように仮想オブジェクトを表示するモードをデフォルト方向表示モードと称する。

図４（１）は、上述のデフォルト方向表示モードにおいて、図３（１）の方向、つまり、ＡＲマーカの正面（デフォルトの向き）から見た場合（撮影した場合）における仮想オブジェクトの表示例を示した図である。ここで、仮想オブジェクは、植物（球根）を人間化（キャラクタ化）したオブジェクトを例示したもので、上述のデフォルト方向表示モードでは、仮想オブジェクト（キャラクタ画像）の顔（正面）がＡＲマーカの正面に向くように表示されるため、その顔（正面）が撮影方向に向くようになる。図４（２）は、デフォルト方向表示モードにおいて、図３（２）の方向、ＡＲマーカの背面から見た場合（撮影した場合）における仮想オブジェクトの表示例を示した図である。ここで、仮想オブジェクトは、その顔（正面）がＡＲマーカの正面に向くように表示されるため、その後ろ姿（背面）が撮影方向に向くようになる。

本実施形態においては、上述のデフォルト方向表示モードから撮影方向表示モードに任意に切り換え可能となっている。この撮影方向表示モードでは、ＡＲマーカの姿勢（マーカの向きなど）から撮影者の位置方向（撮影方向）を特定し、ＡＲマーカの正面（デフォルトの向き）に仮想オブジェクトの正面が向いている状態を基準として、撮影方向に仮想オブジェクトの正面が向くように仮想オブジェクトを回転させて重畳表示させるモード（視点向き表示モード）である。すなわち、実画像と仮想オブジェクトとを幾何学的に整合させるためにユーザ（撮影者）の位置、姿勢を実画像内のＡＲマーカの位置、姿勢によって推測するが、デフォルト方向表示モードと撮影方向表示モードでは実画像と仮想オブジェクトとの整合の仕方を変えるようにしている。

その結果、撮影方向表示モードでは、撮像素子１７Ｂに映っている実画像内において、ＡＲマーカの正面（デフォルトの向き）がどの向きであるかに拘わらず、撮影者に対して仮想オブジェクトの正面が正対するようにその仮想オブジェクトを回転させるための回転角度を算出し（ＡＲマーカのデフォルトの向き（正面）から撮影方向までの角度を算出し）、この仮想オブジェクトをその角度分回転させた後に実画像内のＡＲマーカの位置に重畳して合成表示させるようにしている。

図４（３）は、撮影方向表示モードに切り替えた時点において、ＡＲマーカの背面から見た場合（撮影した場合）における仮想オブジェクトの表示例を示した図で、例えば、ＡＲマーカの背面から撮影した場合でも仮想オブジェクトの顔（正面）が撮影方向に向くようになる。同様に、ＡＲマーカの右側面や左側面などからＡＲマーカを見た場合（撮影した場合）でも仮想オブジェクトの顔（正面）が撮影方向に向くようになる。なお、撮影方向表示モードを解除して上述のデフォルト方向表示モードに切り替えられると、仮想オブジェクトは、その顔（正面）がＡＲマーカの正面に向くように表示される表示状態に戻る。

次に、本実施形態における多機能型携帯電話機の動作概念を図５に示すフローチャートを参照して説明する。ここで、このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。なお、図５は、多機能型携帯電話機の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図３のフローから抜けた際には、多機能型携帯電話機の全体動作を示すメインフロー（図示省略）に戻る。

図５は、拡張現実感撮影モードの切り換えに応じて実行開始される拡張現実感処理を説明するためのフローチャートである。
先ず、ＣＰＵ１１は、ユーザ操作などにより拡張現実感撮影モードに切り換えられると、拡張現実感撮影アプリケーション（拡張現実感処理機能）を起動（ステップＳ１）させた後、撮像素子１７Ｂに映っている画像（実画像）を取得し（ステップＳ２）、この取得した実画像をその明度に応じてグレースケール化する（ステップＳ３）。そして、このグレースケールの画像に対して二値化処理、例えば、適応型二値化法に従った二値化処理（ステップＳ４）を行った後、この二値化画像を基にＡＲマーカの領域を検出する処理を行う（ステップＳ５）。この場合、例えば、正方形の黒枠をＡＲマーカの領域として検出するようにしている。

このようにしてＡＲマーカの領域を検出した後は、ＡＲマーカを認識する処理を行う（ステップＳ６）。この場合、ＡＲマーカ内に描かれている白領域のパターンを特定して、その白領域の画像を複数の領域に分割した後、０〜２５５の数値でデータ化（パターンファイル化）する。そして、登録されているパターン（デフォルトのパターン）と比較するテンプレートマッチングを行ってＡＲマーカの認識を行う。その結果、ＡＲマーカを認識することができなければ（ステップＳ７でＮＯ）、上述のステップＳ２に戻って次のフレームの実画像を取得するが、ＡＲマーカを正常に認識することができたときには（ステップＳ７でＹＥＳ）、回転成分と並進成分からなる４行４列の行列（変換行列）を用いてマーカ座標系からカメラ座標系に変換する処理を行う（ステップＳ８）。

そして、表示切り換えボタン（図示省略）が操作されたかを調べる（ステップ９）。ここで、表示切り換えボタンは、ＡＲマーカの正面（デフォルトの向き）に仮想オブジェクトの正面が向くように仮想オブジェクトを表示させる表示モード（デフォルト方向表示モード）から表示切り換えボタンを操作された時点において、撮影方向に仮想オブジェクトの正面が向くように仮想オブジェクトを表示させる表示モード（撮影方向表示モード）への切り換えを指示するボタンである。表示切り換えボタンが操作されず、デフォルト方向表示モードのままであれば（ステップＳ９でＮＯ）、ＡＲマーカ内に描かれている白領域のパターンを特定して、そのパターン部分の位置、大きさ、姿勢を検出する（ステップＳ１０）。

次に、仮想オブジェクトの向きをＡＲマーカの正面（デフォルトの向き）として決定する（ステップＳ１１）。その後、ステップＳ１４に移り、上述のカメラ座標系に射影行列を適用して奥行き感を持たせるクリップ座標系に変換する。更にスクリーン座標系に変換して三次元の仮想オブジェクトを実画像内のＡＲマーカの位置に重畳して合成表示させる三次元描画処理を行う（ステップＳ１５）。この場合、描画された仮想オブジェクトは、上述のマーカパターンの大きさに比例したものとなり、仮想オブジェクトの正面がＡＲマーカの正面に向くようになる。

いま、ＡＲマーカの正面から撮影を行った場合には、図４（１）に示すように、仮想オブジェクトの顔（正面）が撮影方向に向くようになるが、ＡＲマーカの背面から撮影を行った場合には、図４（２）に示すように、仮想オブジェクトの背面が撮影方向に向くようになる。そして、拡張現実感処理の終了がユーザ操作により指示されたかを調べ（ステップＳ１６）、その終了が指示されたときには（ステップＳ１６でＹＥＳ）、図５のフローから抜けるが、拡張現実感処理の終了が指示されなければ（ステップＳ１６でＮＯ）、上述のステップＳ２に戻る。

一方、表示切り換えボタンが操作されたとき、つまり、デフォルト方向表示モードから撮影方向表示モードに切り換えられたときには（ステップＳ９でＹＥＳ）、ＡＲマーカ内に描かれている白領域のパターンを特定して、そのパターン部分の位置、大きさ、姿勢を検出する（ステップＳ１２）。この場合、拡張現実マーカの正面（デフォルトの向き）を基準として、撮像素子７Ｂに映っている実画像内のマーカの形状やその傾きに応じたマーカの向きが撮影者の位置方向（撮影方向）となる。

そして、ＡＲマーカの正面（デフォルトの向き）を基準に、ＡＲマーカのデフォルトの向き（正面）からマーカの現在の向き（撮影方向）までの回転角度を算出して仮想オブジェクトの向きを決定する（ステップＳ１３）。その後、上述のカメラ座標系に射影行列を適用して奥行き感を持たせるクリップ座標系に変換する（ステップＳ１４）。更にスクリーン座標系に変換して三次元の仮想オブジェクトを実画像内のＡＲマーカの位置に重畳して合成表示させる三次元描画処理を行う（ステップＳ１５）。このように撮影方向表示モードにおいて、ＡＲマーカの背面から撮影を行った場合には、図４（３）に示すように仮想オブジェクトの顔（正面）が撮影方向に向くようになる。そして、拡張現実感処理の終了が指示されたときには（ステップＳ１６でＹＥＳ）、図５のフローから抜けるが、その終了が指示されなければ（ステップＳ１６でＮＯ）、上述のステップＳ２に戻る。

以上のように、本実施形態において多機能型携帯電話機１は、ＡＲマーカに対して予め決められている基準方向（例えば、正面）に仮想オブジェクトの正面が向いている状態を基準として、撮影方向に仮想オブジェクトの正面が向くように仮想オブジェクトを回転させて重畳表示させるようにしたので、ユーザの所望する向きに仮想オブジェクトを容易に表示させることができ、ユーザにあっては撮影する位置（視点位置）を変えることなく、所望する向きの仮想オブジェクトを見ることが可能となる。

また、本実施形態においては、デフォルト方向表示モードから撮影方向表示モードへの切り換えを可能としたから、ＡＲマーカの正面に仮想オブジェクトの正面が向くように重畳表示させる状態から、撮影方向に仮想オブジェクトの正面が向くように仮想オブジェクトを回転させて重畳表示させる状態に切り換えることができる。このようにデフォルト方向表示モードと撮影方向表示モードでは実画像と仮想オブジェクトとの整合の仕方を変えることによりユーザの要望に応じた表示が可能となる。

ＡＲマーカの正面（デフォルトの向き）を基準に、ＡＲマーカのデフォルトの向き（正面）からマーカの現在の向き（撮影方向）までの回転角度を算出して仮想オブジェクトの向きを決定し、仮想オブジェクトをその角度分回転させて重畳表示させるようにしたので、ＡＲマーカの向きを基準に仮想オブジェクトの向きを制御することができる。

ＡＲマーカは、鉢内の植物の生育環境を観測する観測装置２に装着され、この観測装置２の装着されているＡＲマーカが撮影された際に、撮像素子１７Ｂに映っている実画像の中からＡＲマーカを検出するようにしたので、植物用の観測装置２に有効なものとなる。すなわち、観測装置２が鉢内の土壌に刺し込まれている状態においてＡＲマーカの向きを変えるために観測装置２を刺し変えたり、観測装置２を回してしまったりすると、土壌との接触状態が変化して生育環境が変わってしまうが、このような場合、ユーザにあっては観測装置２を動かさず（ＡＲマーカの向きを変えず）に、所望する向きの仮想オブジェクトを見ることができる。また、窓際などに鉢が設置されている場合（撮影方向が制限されている場合）、撮影する位置（視点位置）を変えることなく、所望する向きの仮想オブジェクトを見ることができる。

なお、上述した実施形態においては、ＡＲマーカの正面（デフォルトの向き）を基準に、ＡＲマーカのデフォルトの向き（正面）からマーカの現在の向き（撮影方向）までの回転角度を算出して仮想オブジェクトの向きを決定するようにしたが、に回転角度を算出する代わりに、例えば、方位計（電子コンパス）付きの加速度センサ（図示省略）を使用して、多機能型携帯電話機１の筺体（装置本体）の姿勢を検出し、この装置本体の姿勢に基づいて仮想オブジェクトの向きを決定するようにしてもよい。この場合、図５のフローのその一部を変更するだけで、基本的には同様の動作によって実現可能であり、図５のステップＳ１３の「回転角度を算出して仮想オブジェクトの向きを決定する」を「電子コンパス付き加速度センサの検出結果（装置本体の姿勢）に基づいて仮想オブジェクトの向きを決定する」に代えればよい。すなわち、登録されているデフォルトのパターンを電子コンパス付き加速度センサの検出結果（装置本体の姿勢）に基づいて回転することにより仮想オブジェクトの向きを変更すればよい。

このように電子コンパス付きの加速度センサの検出結果（装置本体の姿勢）に基づいて仮想オブジェクトの向きを決定するようにすれば、撮影された画像をパターンファイル化することなく、登録されているデフォルトのパターンファイルを電子コンパス付き加速度センサの検出結果（装置本体の姿勢）に基づいて三次元回転させるだけで仮想オブジェクトの向きを変更することができるので、撮影された画像のパターンファイル化が不要となり、ノイズが乗る可能性もなくなって、仮想オブジェクトの向きを正確に変更することが可能となる。

また、上述した実施形態においては、デフォルト方向表示モードにおいて、仮想オブジェクトの顔（正面）がＡＲマーカの正面に向くように表示するようにしたが、ＡＲマーカの背面に向くように表示するようにしてもよく、ＡＲマーカのデフォルトの向きは任意である。
また、上述した実施形態においては、撮影方向表示モードにおいて、仮想オブジェクトの顔（正面）を向くように表示したが、これに限らず左右のどちらかでもよく、また背面でもよい。更に角度によって設定するなど所定の向きでもよい。そして仮想オブジェクトの方向は、ユーザが指定してもよい。

また、上述した実施形態においては、ＡＲマーカを鉢内の植物の生育環境を観測する観測装置２の上面に装着するようにしたが、植物の根元や鉢の外側などに装着するようにしてもよく、勿論、植物に関するＡＲマーカにも限らない。

また、上述した実施形態においては、仮想オブジェクトは、植物（球根）をキャラクタ化したオブジェクトを例示したが、これに限らないことは勿論である。また、ＡＲマーカの種類に対応して複数種の仮想オブジェクトを記憶しておき、マーカ認識によって特定されたＡＲマーカに対応付けられている仮想オブジェクトを表示させるようにしてもよい。

また、上述した実施形態においては、カメラ機能付き多機能型携帯電話機（スマートフォン）に適用した場合を例示したが、これに限らず、カメラ機能付きパーソナルコンピュータ・ＰＤＡ（個人向け携帯型情報通信機器）・音楽プレイヤー・電子ゲーム機などであってもよく、勿論、デジタルカメラ自体であってもよい。

また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
撮像素子を備える撮像手段と、
前記撮像素子に映っている実画像の中から拡張現実マーカを検出する検出手段と、
前記検出手段により検出された拡張現実マーカを認識する認識手段と、
前記マーカ認識手段により拡張現実マーカが認識された場合に撮影方向を特定する撮影方向特定手段と、
前記拡張現実マーカに対して予め決められている基準方向を基準として、前記撮影方向特定手段により特定された撮影方向に基づいて仮想オブジェクトが所定方向に向くように変更し重畳表示させる表示制御手段と、
を備えたことを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記撮影方向特定手段は、前記認識手段により拡張現実マーカが認識された場合に前記拡張現実マーカの向きを撮影方向として特定する、
ようにしたことを特徴とする画像処理装置である。
（請求項３）
請求項３に記載の発明は、請求項１に記載の画像処理装置において、
前記認識手段により拡張現実マーカが認識された場合にその拡張現実マーカの正面に仮想オブジェクトの正面が向くように重畳表示させる状態と、前記撮影方向特定手段により特定された撮影方向に仮想オブジェクトの所定の方向が向くように仮想オブジェクトを回転させて重畳表示させる状態とを切り換える切換手段を更に備える、
ようにしたことを特徴とする請求項１あるいは請求項２に記載の画像処理装置である。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれかに記載の画像処理装置において、
前記表示制御手段は、前記拡張現実マーカに対して予め決められている基準方向から前記撮影方向特定手段により特定された撮影方向までの角度を算出し、仮想オブジェクトをその角度分回転させて重畳表示させる、
ようにしたことを特徴とする画像処理装置である。
（請求項５）
請求項５に記載の発明は、請求項１〜請求項３のいずれかに記載の画像処理装置において、
当該装置本体の姿勢を検出する姿勢検出手段を更に設け、
前記第２の表示手段は、前記姿勢検出手段により検出された姿勢に基づいて前記撮影方向特定手段により特定された撮影方向に仮想オブジェクトの正面が向くように仮想オブジェクトを回転させて重畳表示させる、
ようにしたことを特徴とする画像処理装置である。
（請求項６）
請求項６に記載の発明は、請求項１〜請求項５のいずれかに記載の画像処理装置において、
前記所定の方向は、ユーザが設定した方向である、
ことを特徴とする画像処理装置である。
（請求項７）
請求項７に記載の発明は、請求項１〜請求項６のいずれかに記載の画像処理装置において、
前記拡張現実マーカは、鉢内の植物の生育環境を観測する観測装置に装着され、
前記観測装置の装着されている拡張現実マーカが前記撮像手段により撮影された際に、前記検出手段は、前記撮像素子に映っている実画像の中から拡張現実マーカを検出する、
ようにしたことを特徴とする画像処理装置である。
（請求項８）
請求項８に記載の発明は、
撮像素子に映っている実画像の中から拡張現実マーカを検出する検出ステップと、
前記検出された拡張現実マーカを認識する認識ステップと、
前記拡張現実マーカが認識された場合に撮影方向を特定する撮影方向特定ステップと、
前記拡張現実マーカに対して予め決められている基準方向を基準として、前記特定された撮影方向に基づいて仮想オブジェクトが所定方向に向くように変更し重畳表示させる表示制御ステップと、
を含むことを特徴とする画像処理方法である。
（請求項９）
請求項９に記載の発明は、
コンピュータに対して、
撮像素子に映っている実画像の中から拡張現実マーカを検出する検出機能と、
前記検出された拡張現実マーカを認識する認識機能と、
前記拡張現実マーカが認識された場合に撮影方向を特定する撮影方向特定機能と、
前記拡張現実マーカに対して予め決められている基準方向を基準として、前記特定された撮影方向に基づいて仮想オブジェクトが所定方向に向くように変更し重畳表示させる表示制御機能と、
を実現させるためのプログラムである。

１多機能型携帯電話機
２観測装置
１１ＣＰＵ
１３記憶部
１６タッチ入力表示部
１７撮像部
１７Ａレンズ部
１７Ｂ撮像素子
１７Ｃセンサ部
１７Ｄアナログ処理回路
１７Ｅデジタル信号処理回路

Claims

撮像素子を備える撮像手段と、
前記撮像素子に映っている実画像の中から拡張現実マーカを検出する検出手段と、
前記検出手段により検出された拡張現実マーカを認識する認識手段と、
前記認識手段により拡張現実マーカが認識された場合に撮影方向を特定する撮影方向特定手段と、
前記拡張現実マーカに対して予め決められている基準方向を基準として、前記撮影方向特定手段により特定された撮影方向に基づいて仮想オブジェクトが所定の方向に向くように変更し重畳表示させる表示制御手段と、
を備えたことを特徴とする画像処理装置。
前記撮影方向特定手段は、前記認識手段により拡張現実マーカが認識された場合に前記拡張現実マーカの向きを撮影方向として特定する、
ようにしたことを特徴とする請求項１に記載の画像処理装置。
前記認識手段により拡張現実マーカが認識された場合にその拡張現実マーカの正面に仮想オブジェクトの正面が向くように重畳表示させる状態と、前記撮影方向特定手段により特定された撮影方向に仮想オブジェクトの所定の方向が向くように仮想オブジェクトを回転させて重畳表示させる状態とを切り換える切換手段を更に備える、
ようにしたことを特徴とする請求項１あるいは請求項２に記載の画像処理装置。
前記表示制御手段は、前記拡張現実マーカに対して予め決められている基準方向から前記撮影方向特定手段により特定された撮影方向までの角度を算出し、仮想オブジェクトをその角度分回転させて重畳表示させる、
ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
当該装置本体の姿勢を検出する姿勢検出手段を更に設け、
前記第２の表示手段は、前記姿勢検出手段により検出された姿勢に基づいて前記撮影方向特定手段により特定された撮影方向に仮想オブジェクトの正面が向くように仮想オブジェクトを回転させて重畳表示させる、
ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
前記所定の方向は、ユーザが設定した方向である、
ことを特徴とする請求項１〜請求項５のいずれかに記載の画像処理装置。
前記拡張現実マーカは、鉢内の植物の生育環境を観測する観測装置に装着され、
前記観測装置の装着されている拡張現実マーカが前記撮像手段により撮影された際に、前記検出手段は、前記撮像素子に映っている実画像の中から拡張現実マーカを検出する、
ようにしたことを特徴とする請求項１〜請求項６のいずれかに記載の画像処理装置。
撮像素子に映っている実画像の中から拡張現実マーカを検出する検出ステップと、
前記検出された拡張現実マーカを認識する認識ステップと、
前記拡張現実マーカが認識された場合に撮影方向を特定する撮影方向特定ステップと、
前記拡張現実マーカに対して予め決められている基準方向を基準として、前記特定された撮影方向に基づいて仮想オブジェクトが所定方向に向くように変更し重畳表示させる表示制御ステップと、
を含むことを特徴とする画像処理方法。
コンピュータに対して、
撮像素子に映っている実画像の中から拡張現実マーカを検出する検出機能と、
前記検出された拡張現実マーカを認識する認識機能と、
前記拡張現実マーカが認識された場合に撮影方向を特定する撮影方向特定機能と、
前記拡張現実マーカに対して予め決められている基準方向を基準として、前記特定された撮影方向に基づいて仮想オブジェクトが所定方向に向くように変更し重畳表示させる表示制御機能と、
を実現させるためのプログラム。