JP2011123748A - 携帯端末、描画システム及び描画方法 - Google Patents

Abstract

【課題】カメラ撮影した画像に対して、自由度の高い画像編集をすることができる携帯端末、描画システム及び描画方法を提供すること。
【解決手段】本発明にかかる携帯端末１は、撮像部１１、座標構成部１２、描画座標取得部１３、描画座標記憶部１４、表示部１５を備える。撮像部１１は、対象空間を撮像する。座標構成部１２は、撮像部１１により撮像された対象空間における特徴点を抽出し、特徴点に基づいて対象空間の３次元座標系を構成する。描画座標取得部１３は、描画手段を認識し、描画手段の座標情報を取得する。描画座標記憶部１４は、描画座標取得部が取得した描画手段の座標情報を格納する。表示部１５は、描画座標記憶部に格納された描画手段の座標情報に基づいて、描画手段の軌跡が対象空間の３次元座標系に表示された立体描画画像を表示する。
【選択図】図１

Description

本発明は携帯端末、描画システム及び描画方法に関し、特に、カメラ機能を備える携帯端末、描画システム及び描画方法に関する。

近年、携帯端末やメガネ型ディスプレイのＨＭＤ（Head Mounted Display）等を利用した仮想情報を扱う技術、すなわち、ＡＲ（Augmented Reality）技術が発展してきている。

その中でも、携帯電話機に搭載されたカメラ機能を利用したＡＲ技術においては、仮想空間にテキストを貼り付けることが可能である。この技術により、実際に見える空間に、コンピュータで加工処理した情報を重ねて表示させることができ、タグや広告などの様々な形態での利用が期待されている。

一方で、複数の撮像手段を用いる画像処理技術が知られている。例えば、複数のカメラにより対象物を撮像し、当該対象物の相対位置を特定する技術（例えば、特許文献１）や、２つのカメラを備える携帯端末装置を用いて顔面立体撮影画像を表示させる技術（例えば、特許文献２）等がある。

また、２つのカメラ用いて、利用者の指の動き等のジェスチャーを測定、認識する技術が知られている（例えば、特許文献３及び４）。さらに、撮像した画像中の手指の動きを認識して、当該画像中に２次元の仮想的な文字や図形を描くことができる技術も知られている（例えば、特許文献５）。

特開平４−３６７１８６号公報 特開２００６−３３８１２２号公報 特開２００９−９２８０号公報 特開２００９−２１１５６３号公報 特開２００２−４９４５５号公報

しかしながら、携帯端末における画像の作成、編集は、基本的に携帯端末に搭載されたキーによって行われる。そのため、利用者が自らの手によって直感的に絵を描くことや文字を書くことは困難であるという問題点があった。

また、特許文献５に開示された技術によれば、画像中の利用者の手指の動きを抽出して文字や図形が描かれた画像を表示することはできる。しかし、抽出する手指の動きは、２次元の動きに限られているため、仮想空間における描画の自由度が制限されているという問題点もあった。

本発明は、このような問題点を解決するためになされたものであり、カメラ撮影した画像に対して、自由度の高い画像編集をすることができる携帯端末、描画システム及び描画方法を提供することができる。

本発明にかかる携帯端末は、撮像手段と、前記撮像手段により撮像された対象空間における特徴点を抽出し、前記特徴点に基づいて前記対象空間の３次元座標系を構成する座標構成手段と、前記座標構成手段により構成された前記３次元座標系における描画手段を認識し、前記描画手段の座標情報を取得する描画座標取得手段と、前記描画座標取得手段が取得した前記描画手段の座標情報を格納する描画座標記憶手段と、前記描画座標記憶手段に格納された前記描画手段の座標情報に基づいて、前記描画手段の軌跡が前記対象空間の３次元座標系に表示された立体描画画像を表示する表示手段と、を備えるものである。

本発明にかかる描画システムは、前記携帯端末を複数台備え、それぞれの前記携帯端末は、同一の対象空間を異なる位置から撮像するものである。

本発明にかかる描画方法は、画像を撮像するステップと、前記撮像手段により撮像された対象空間における特徴点を抽出し、前記特徴点に基づいて前記対象空間の３次元座標を構成するステップと、構成された前記対象空間の３次元座標における描画手段の座標情報を取得するステップと、前記描画手段の座標情報を取得するステップにより取得した前記描画手段の座標情報を記憶するステップと、記憶された前記描画手段の座標情報に基づいて、前記描画手段の軌跡が前記対象空間の３次元座標系に表示された立体描画画像を表示するステップと、を備えるものである。

本発明により、カメラ撮影した画像に対して、自由度の高い画像編集をすることができる携帯端末、描画システム及び描画方法を提供することができる。

実施の形態１にかかる携帯端末の構成例を示す図である。 実施の形態２にかかる携帯端末の構成例を示す図である。 実施の形態２にかかる携帯端末の動作例を説明するためのフローチャートである。 実施の形態２にかかる携帯端末の動作例を説明するためのフローチャートである。 実施の形態２にかかる仮想キャンバスを説明するための図である。 実施の形態２にかかる仮想キャンバスを説明するための図である。 実施の形態２にかかる仮想キャンバスを説明するための図である。 実施の形態３にかかる携帯端末の構成例を示す図である。

実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。本発明にかかる携帯端末の構成例を図１に示す。図１の携帯端末１は、撮像部１１、座標構成部１２、描画座標取得部１３、描画座標記憶部１４、表示部１５を備える。携帯端末とは、例えば、携帯電話機や携帯オーディオプレーヤー等である。

撮像部１１は、動画像、すなわち所定時間間隔で連続的に複数の画像情報を取得するカメラ等である。また、撮像部１１は、描画の対象となる空間を撮像し、その画像情報を生成する。利用者は、描画を行いたい対象空間を撮像部１１により撮像する。本例にかかる撮像部１１は、複数のカメラにより構成され、３次元画像である立体画像を取得できる。

座標構成部１２は、撮像部１１により入力された画像情報に含まれる対象空間の画像から、当該対象空間の３次元座標系を構成する。当該３次元座標系を構成した対象空間の立体画像を以下では仮想キャンバスと称す。座標構成部１２は、撮像部１１によって異なる位置から撮像された複数の画像情報から複数の特徴点を抽出する。そして、それぞれの画像情報において対応する特徴点の座標の差から一般的な三角測量の原理によって対象空間の３次元座標を構成する。このとき、特徴点とは、撮像した画像中に存在する物体のエッジ等の輝度値の変化が大きい点のことである。

描画座標取得部１３は、撮像部１１により撮像された画像情報及び座標構成部１２により生成された仮想キャンバスに基づいて、描画手段が仮想キャンバスの３次元座標系のどこに位置しているのかを示す座標情報を取得する。ここで、描画手段とは、例えば、利用者の手指や、ペン等であり、仮想キャンバスに文字や絵等を描画するためのものである。座標情報とは仮想キャンバスの３次元座標系における描画手段の座標を意味する。描画手段自体は、所定の大きさを持った物体であるが、描画手段の座標としては、描画手段において描画する部分（例えば、描画手段が手指であれば人差し指の指先や、描画手段がペンであればペン先）を点として特定した位置の座標である。この描画座標の取得も、上記と同様に、撮像された画像から描画手段の特徴点を抽出し、仮想キャンバス内の描画手段の３次元座標を取得する。描画手段の認識については、描画手段の座標を取得する前に、仮想キャンバス内において描画手段となるものを利用者が設定したり、予め描画手段となるものの形状等を登録しておき、仮想キャンバスから当該形状等を検出したりすることによって、描画座標取得部１３に描画手段を認識させる。

描画座標記憶部１４は、例えばメモリ、ハードディスク装置等であり、描画座標取得部１３が取得した描画手段の座標情報を格納する。仮想キャンバス内を描画手段が移動した場合に、移動に伴って変化する描画手段の座標情報を格納する。

表示部１５は、描画座標記憶部１４に格納された描画手段の座標情報に基づいて、当該描画手段の軌跡が表示された立体描画画像を表示する。つまり、描画座標記憶部１４に格納された座標情報に対応して、仮想キャンバス内の当該座標情報が示す位置を表示する。これによって、描画手段が移動した場合には、移動により変化する座標情報の位置が仮想キャンバス内に表示される。そのため、仮想キャンバス内に当該描画手段の３次元の移動により生じた軌跡、すなわち立体描画画像が表示されることとなる。

続いて、本実施の形態にかかる携帯端末の動作例を説明する。まず、利用者は、撮像部１１を用いて描画を行う空間、つまり対象空間を、異なる複数の位置から撮像し、画像情報を生成する。

次に、座標構成部１２が、撮像部１１から入力された対象空間の複数の画像情報から仮想キャンバスを構成する。また、仮想キャンバス内に描画手段が存在する場合には、描画座標取得部１３が、撮像部１１から入力された画像情報からその描画手段を認識し、当該描画手段の座標情報を取得する。

そして、利用者は、描画手段を用いて仮想キャンバス内に文字や絵、図形等を描く。その動作に伴って座標情報が変化した場合には、変化する座標情報を描画座標取得部１３が取得し、描画座標記憶部１４に順次格納する。

表示部１５は、描画座標記憶部１４に格納された表示手段の座標情報に対応して、仮想キャンバス内に当該表示手段が移動した軌跡を表示する。このとき、描画手段により描かれた文字等をリアルタイムに仮想キャンバスへ描画させるために、表示手段の移動に伴って格納された座標情報を逐次連続的に、過去の座標情報も残しながら表示させることが好ましい。これによって、利用者は表示部を見て、自分が描画した文字等を確認しながら仮想キャンバスへの描画を行うことが可能となる。

このようにして描かれた絵や図形等は、仮想キャンバスとして撮像した画像と共に、座標構成部１２が構成した３次元座標系の立体画像として表示される。そのため、撮像部１１により撮像した対象空間において、利用者自らの手の動き等により対象空間内に描画したような拡張現実感を得ることができる。

以上のように、本実施の形態にかかる携帯端末によれば、撮像した対象空間に構成した３次元座標系において、利用者の手指の動き等によって文字や図形等を立体的に描画することができる。そのため、自由度の高い直感的な画像編集をすることができる。

実施の形態２
本発明にかかる実施の形態２について説明する。図２に示した携帯端末２は、携帯端末１の構成に加えて、ＣＰＵ(Central Processing Unit)２０、撮像位置取得部２１、描画検出部２２をさらに備える。なお、その他の構成については携帯端末１と同様であるので、説明を省略する。ここで、ＣＰＵ２０は、制御プログラムに基づいて、携帯端末２のシステム内の各種処理を実行する中央制御装置である。

撮像位置取得部２１は、携帯端末２の撮像位置情報を取得するものであり、測位情報取得部２１１と、撮像方位取得部２１２とを有している。測位情報取得部２１１は、携帯端末２の大まかな測位情報（２次元平面座標）を取得するものであり、例えばＧＰＳ（Global Positioning System）等である。また、撮像方位取得部２１２は、撮像部が撮像する方位情報（東西南北等の撮像方向）を取得するものであり、例えば方位磁針等である。なお、撮像位置情報とは、測位情報及び方位情報のことをいう。

また、本実施の形態において、描画座標記憶部１４は、仮想キャンバス内の描画手段の座標情報を、当該仮想キャンバスを生成した撮像位置情報と関連付けて格納する。

描画検出部２２は、撮像部１１により生成された画像情報に基づいて、仮想キャンバス内に存在する描画手段を検出する。このとき、描画検出部２２には、予め描画手段の形状等の描画手段を特定する情報が登録されているものとする。

続いて、図３及び図４のフローチャートを用いて、本実施の形態にかかる携帯端末２の動作例を説明する。図３は、仮想キャンバスの生成、読み込みの動作例を示しており、図４は、仮想キャンバスへの描画の動作例を示している。

初めに、図３を用いて、仮想キャンバスの生成、読み込みについて説明する。まず、利用者は、過去に仮想キャンバスを生成したことがあるかを判断する（ステップＳ３０１）。過去に仮想キャンバスを生成したことがない場合には、利用者は、撮像部１１を用いて自らの指を撮像し、描画検出部２２に描画手段として指の情報を登録する（ステップＳ３０２）。なお、複数の描画手段を登録可能としてもよい。

一方、過去に仮想キャンバスを生成したことがある場合には、既に描画手段に関する情報は登録済みである。したがって、描画手段の登録は行わず、過去生成キャンバスの情報を読み込む（ステップＳ３０３）。つまり、ＣＰＵ２０は、描画座標記憶部１４に格納された撮像位置情報及び描画手段の座標情報を読み込む。

次に、利用者は、撮像部１１を起動する（ステップＳ３０４）。このとき、携帯端末２を１台だけ用いて本発明を実施する場合には、携帯端末２には２つのカメラ、すなわち両眼カメラが搭載される。

両眼カメラが起動したら、座標構成部１２は、図５に示すように、両眼カメラ５１に共通に撮像される空間を仮想キャンバスとする（ステップＳ３０５）。つまり、座標構成部１２は、それぞれのカメラ５１により撮像される画像から特徴点を抽出し、抽出した特徴点に基づいて、両眼視差による三角測量を用いて仮想キャンバスの３次元座標系を構成する。ここで、図５に示した仮想キャンバス５２は任意の背景画像とする。

そして、ＣＰＵ２０は、描画座標記憶部１４に格納された過去の撮像位置情報を参照し、現在の仮想キャンバス内に、過去に生成した仮想キャンバスが存在するか否かを判定する（ステップＳ３０６）。この判定は、まず、描画座標記憶部１４に格納されている過去に生成したキャンバスの撮像位置情報を参照して、現在撮像している仮想キャンバスの撮像位置情報と対応する撮像位置情報を有する過去生成キャンバスを絞り込む。次に、現在撮像している仮想キャンバスが有する特徴点と、絞り込まれた過去生成キャンバスが有する特徴点とをパターンマッチング等の手法によって照らし合わせる。そして、特徴点が一致または類似する過去生成キャンバス情報が描画座標記憶部１４内に存在した場合には、現在の仮想キャンバス内に過去に生成した仮想キャンバスが存在すると判定する。

現在構成している仮想キャンバス内に、過去に生成した仮想キャンバスが含まれている場合は、表示部１５は、描画座標記憶部１４に格納された過去の描画手段の座標情報に基づいて、描画手段の軌跡、つまり過去に描画された文字、図形等を現在の仮想キャンバスの対応する位置に描画する（Ｓ３０７）。一方、現在構成している仮想キャンバス内に、過去に生成した仮想キャンバスが含まれていない場合は、仮想キャンバスには何も描画されない。

以上により、実際に描画を始める前の仮想キャンバスの生成、読み込みが完了する。続いて、図４を用いて、仮想キャンバスへの描画の動作例を説明する。まず、描画検出部２２は、仮想キャンバス内に、予め登録した描画手段があるか否かを検出する（ステップＳ４０１）。

登録した描画手段が仮想キャンバス内に存在しない場合は、利用者は描画することができない。したがって、描画検出部２２は、再び描画手段の検出動作を行う。一方、登録した描画手段が仮想キャンバス内に存在する場合は、利用者は当該描画手段を筆モードにするか否かを選択する（ステップＳ４０２）。ここで、筆モードとは、描画手段の移動により仮想キャンバスに当該描画手段の軌跡が表示される状態のことをいう。

筆モードに設定した場合は、実施の形態１において説明した動作と同様にして、仮想キャンバス内に描画手段を用いて描画を行う。つまり、描画座標取得部１３が、描画手段を認識し、座標情報を取得する（ステップＳ４０３）。次に、描画座標取得部１３が、描画手段の移動に応じて、当該座標情報を逐次計算、取得し、当該座標情報を描画座標記憶部１４に格納する（ステップＳ４０４）。そして、表示部１５は、描画座標記憶部１４に格納された描画手段の座標情報に基づいて、仮想キャンバスの対応する位置にリアルタイムで描画手段の軌跡を表示する（ステップＳ４０５）。すなわち、立体描画画像を表示する。このとき、軌跡の座標情報を、当該描画された仮想キャンバスの撮像位置情報と関連付けて描画座標記憶部１４に順次格納してもよい。

そして、利用者は、筆モードを終了するか否かを選択する（ステップＳ４０６）。携帯端末２は、筆モードを終了するまで、上記したステップＳ４０３〜ステップＳ４０５を繰り返す。筆モードを終了すると、仮想キャンバスへの描画動作は終了する。

ここで、仮想キャンバスの見え方について説明する。上述したように仮想キャンバス５２に描画手段６１を用いて、描画図形６２を描いた場合を考える（図６参照）。このとき、同じ測位情報を有する仮想キャンバス５２を違う角度、すなわち異なる方位から見た図を図７に示す。図７に示すように、当該方位に対応した描画図形６２及び背景の立体描画画像が表示部１５に表示される。

上記したように、本発明においては、座標構成部１２及び描画座標取得部１３は、対象空間及び描画手段の移動の軌跡を３次元座標系で扱う。そのため、描画座標記憶部１４に記憶された図形等は、見る方位の違いに起因する仮想キャンバスの歪み具合により、実物体と同様の角度から見たように表示される。つまり、両眼カメラ５１の共通視野に、過去に生成した仮想キャンバスが写ると、当該仮想キャンバスに描画手段による図形等が記憶されている場合は、当該図形等が見る角度に対応して表示される。

このように、本実施の形態にかかる携帯端末によれば、一つの仮想キャンバスを様々な方向から見ることができ、編集することができる。その結果、利用者は、自らの位置や向きに応じた直感的な立体描画による画像編集を行うことができる。なお、描画座標記憶部１４に格納された撮像位置情報と関連付けられた描画手段の座標情報を、無線通信等を用いて他人に送信することができるとしてもよい。これによって、当該情報を受信した他人も、携帯端末２の表示部１５を介して、当該仮想キャンバスに描画された図形等を見たり、編集したりすることができる。

実施の形態３
本発明にかかる実施の形態３について説明する。図８に示すように、本実施の形態にかかる携帯端末３は、携帯端末２の構成に加えて、さらにｂｌｕｅｔｏｏｔｈ（登録商標）等を用いた無線通信を行う無線通信部３１を備える。また、撮像部１１として両眼カメラではなく、カメラを１つだけ備えている。なお、その他の構成については携帯端末２と同様であるので、説明を省略する。

座標構成部１２が、対象空間の３次元座標系を構成するためには、複数の画像情報が必要である。そのため、本実施の形態においては、２つ以上の携帯端末３を用いて、仮想キャンバスを生成し、描画を行う。なお、それぞれの携帯端末は、無線通信部３１を介して端末間の距離を計算したり、ぞれぞれの端末が撮像した画像情報のやり取りをしたりする。

本実施の形態の動作例について説明する。複数の利用者は、それぞれ異なる位置から同じ対象空間を撮像する。そして、座標構成部１２は、それぞれの携帯端末３のカメラに共通する空間を仮想キャンバスとして３次元座標系を構成する。

それぞれの利用者は、自らの指等の描画手段により、仮想キャンバスに図形等の描画を行う。すると、当該図形等は、描画した利用者以外が操作する携帯端末３の表示部１５にも表示される。また、別の利用者が作成した図形等を編集することもできる。このとき、各携帯端末３の表示部１５には、各カメラの撮像方向に応じた対象空間の立体描画画像が表示される。

このように、本実施の形態においては、複数の利用者がリアルタイムに同じ対象空間を仮想キャンバスとして扱うことができる。そのため、複数の利用者が、同じ対象空間において同時に直感的な画像編集をすることができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１〜３ 携帯端末
１１ 撮像部
１２ 座標構成部
１３ 描画座標取得部
１４ 描画座標記憶部
１５ 表示部
２０ ＣＰＵ
２１ 撮像位置取得部
２２ 描画検出部
３１ 無線通信部
５１ 両眼カメラ
５２ 仮想キャンバス
６１ 描画手段
６２ 描画図形
２１１ 測位情報取得部
２１２ 撮像方位取得部

Claims (9)

1. 撮像手段と、
   前記撮像手段により撮像された対象空間における特徴点を抽出し、前記特徴点に基づいて前記対象空間の３次元座標系を構成する座標構成手段と、
   前記座標構成手段により構成された前記３次元座標系における描画手段を認識し、前記描画手段の座標情報を取得する描画座標取得手段と、
   前記描画座標取得手段が取得した前記描画手段の座標情報を格納する描画座標記憶手段と、
   前記描画座標記憶手段に格納された前記描画手段の座標情報に基づいて、前記描画手段の軌跡が前記対象空間の３次元座標系に表示された立体描画画像を表示する表示手段と、
   を備える携帯端末。
2. 前記携帯端末は、
   前記撮像手段の測位情報と前記撮像手段が撮像する撮像方向とからなる撮像位置情報を取得する撮像位置取得手段をさらに備え、
   前記描画座標記憶手段は、前記撮像位置取得手段が取得した前記撮像手段の撮像位置情報と、当該撮像手段が撮像した前記対象空間の３次元座標系における前記描画手段の座標情報とを関連付けて格納し、
   前記表示手段は、前記撮像位置情報に対応する前記対象空間において、当該対象空間の３次元座標系における前記描画手段の座標情報が前記描画座標記憶手段に格納されている場合には、格納された前記描画手段の座標情報に基づいて、前記描画手段の軌跡が前記対象空間の３次元座標系に表示された立体描画画像を表示する請求項１に記載の携帯端末。
3. 前記携帯端末は、前記対象空間において予め登録された前記描画手段を検出する描画検出手段をさらに備える請求項１または２に記載の携帯端末。
4. 前記撮像手段は複数であって、
   前記座標構成手段は、異なる位置に配置された複数の前記撮像手段により撮像された前記対象空間の特徴点に基づいて、前記対象空間の３次元座標系を構成し、
   前記描画座標取得手段は、前記異なる位置に配置された複数の前記撮像手段により撮像された前記描画手段の特徴点に基づいて、前記対象空間の３次元座標系における前記描画手段の座標情報を取得する請求項１〜３のいずれか一項に記載の携帯端末。
5. 請求項１〜３のいずれか一項に記載の前記携帯端末を複数台備え、
   それぞれの前記携帯端末は、同一の対象空間を異なる位置から撮像する描画システム。
6. 画像を撮像するステップと、
   前記撮像手段により撮像された対象空間における特徴点を抽出し、前記特徴点に基づいて前記対象空間の３次元座標を構成するステップと、
   構成された前記対象空間の３次元座標における描画手段の座標情報を取得するステップと、
   前記描画手段の座標情報を取得するステップにより取得した前記描画手段の座標情報を記憶するステップと、
   記憶された前記描画手段の座標情報に基づいて、前記描画手段の軌跡が前記対象空間の３次元座標系に表示された立体描画画像を表示するステップと、
   を備える描画方法。
7. 前記描画方法は、
   前記撮像するステップにより撮像する位置の測位情報と撮像する撮像方向とからなる撮像位置情報を取得するステップをさらに備え、
   前記描画手段の座標情報を記憶するステップは、前記撮像位置情報を取得するステップにより取得した前記撮像位置情報と、撮像した前記対象空間における前記描画手段の座標情報とを関連付けて記憶し、
   前記表示するステップは、前記撮像位置情報に対応する前記対象空間において、前記描画手段の座標情報が前記描画手段の座標情報を記憶するステップにより記憶されている場合には、記憶された前記描画手段の座標情報に基づいて、前記描画手段の軌跡が前記対象空間の３次元座標系に表示された立体描画画像を表示する請求項６に記載の描画方法。
8. 前記描画方法は、前記対象空間において予め登録された前記描画手段を検出するステップさらに備える請求項６または７に記載の描画方法。
9. 前記３次元座標を構成するステップは、前記撮像するステップにより、異なる位置から撮像された前記対象空間の特徴点に基づいて、前記対象空間の３次元座標を構成し、
   前記描画手段の座標情報を取得するステップは、前記撮像するステップにより、異なる位置から撮像された前記描画手段の特徴点に基づいて、前記描画手段の座標情報を取得する請求項６〜８のいずれか一項に記載の描画方法。

Images