JP4703744B2 - コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラム - Google Patents
コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラム Download PDFInfo
- Publication number
- JP4703744B2 JP4703744B2 JP2009124357A JP2009124357A JP4703744B2 JP 4703744 B2 JP4703744 B2 JP 4703744B2 JP 2009124357 A JP2009124357 A JP 2009124357A JP 2009124357 A JP2009124357 A JP 2009124357A JP 4703744 B2 JP4703744 B2 JP 4703744B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- display control
- content
- control data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
この発明はコンテンツ表現制御装置に関し、特に、比較的小型の表示画面を用いて比較的大型あるいは1ページあたりの情報量が多いコンテンツを閲覧するための携帯型のコンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラムに関する。
パーソナルコンピュータやワードプロセッサ、あるいはワークステーションなど(以下「PCなど」)では、通常、比較的大型の画面を備えているため、比較的大型あるいは1ページあたりの情報量が多い電子文書を閲覧する場合に適している。
しかし、1ページあたりの情報量がさらに多い場合は、電子文書の大きさが画面以上になる程度に拡大表示したい場合がある。また、画面の一部に配置した小型のウィンドウに大型の電子文書の一部を表示したい場合もある。このような場合、PCなどでは、表示部分の右端や下端にスクロールバーと呼ばれるユーザインターフェイス部材を設け、マウスなどのポインティングデバイスによる操作を通じて、電子文書上の見える範囲(ビュー)を制御している。その他、一時的にスクロール専用モードに遷移し、マウスのドラッグ操作などによりビュー制御をおこなう方法もある。なお、この方法はマウスなどでは好適であるが、画面に対して直接操作するペン型の入力器具では、画面外にドラッグできないため不適である。
また、表示される電子文書の拡大/縮小率を制御するためには、数値で指定する方法、メニューから所定の拡大率を選択する方法、スライドバーにより連続的に操作する方法、あるいは、拡大/縮小モードに遷移してポインティングデバイスでクリックすることにより所定の部分を中心に拡大/縮小をおこなう方法(いわゆる虫眼鏡ツール)などがある。
一方、携帯情報機器においては、机上での操作を想定したマウスなどの使用は好ましくないため、4方向にスクロールするための4個のボタンを設けている場合や、感圧タブレットを張り合わせた表示画面に上記スクロールバーを表示し、上述のペン型の器具で操作する場合などがある。しかしながらこのような方法では、特に電子文書が大型である場合、ビューを任意の場所に移動させたい場合の直感性に欠けることから操作者のストレスの原因になり、また、操作時間が多くかかってしまう。
そこで、たとえば、非特許文献1は、画面の小さい情報機器において電子文書の直感的なスクロール操作を実現するために、情報機器の背面にマウスのボール機構を組み込み、机上を移動すると、その移動量および移動方向に従って表示内容がスクロールするという仕組みを開示している。
また、非特許文献1に類似する仕組みとして、非特許文献2では、バーコードリーダとペン型マウスを組み合わせたデバイスを小型情報機器に接続したシステムを用いている。この非特許文献2によると、壁の特定の位置にバーコードを貼り付け、バーコードの位置を基点として壁の表面をデバイスでなぞり、デバイスの変位に応じて小型情報機器の表示部に表示した情報をスクロールさせることにより、あたかも壁の中を覗くような感覚をもたらすという仕組みを開示している。
その他、「拡張現実感」(Augmented Realityの訳語。強調現実感、強化現実感、複合現実感などと訳される場合もある)と呼ばれる技術分野では、コンピュータに接続されたカメラにより現実世界を撮影し、撮影された現実世界の画像中における特定の物体に、コンピュータによって生成された仮想的な文書や画像(以下仮想画像)を重ね合わせて表示するという試みがなされている。これによると、カメラと特定の物体の位置関係により、仮想画像の見え方を制御するようなシステムが実現可能となる。
たとえば非特許文献3では、現実世界に置かれた2次元マトリックスコードの位置を認識し、それに対応付けられた仮想画像の表示位置の制御をおこなう手法を開示している。
また、特許文献1は、カメラから特定の物体(アクセス要素)に付加された識別子までの距離を含む相対位置情報を測定し、距離に応じて識別子に対応する仮想画像の表示内容を変化させる装置を開示している。
また、特許文献2は、現実世界に設置された複数の標識をカメラで捉え、それらの画面内の位置を認識したうえで仮想画像の表示位置を調整することにより、現実世界の物体とそれに対応する仮想画像の表示位置とのずれを小さくしようとする装置を開示している。
椎尾一郎、「Scroll Display:超小型情報機器のための指示装置」、情報処理学会論文誌、Vol.39, No.5, pp.1448-1454, May 1998年5月, 情報処理学会ISSN 0387-5806 (1997年7月1日受付、1997年12月1日採録)
椎尾一郎、「Scroll Browser:壁の中のブラウザー」、インタラクション’99論文集 ISSN 1344-0640 情報処理学会シンポジウムシリーズ Vol.99, No.4, pp.39-40,1999年3月
暦本純一、「2次元マトリックスコードを利用した拡張現実感の構成手法」、インタラクティブシステムとソフトウェア4 ISBN4-7649-0258-3 日本ソフトウェア科学会WISS'96、田中二郎編、近代科学社
しかしながら、以上説明した従来技術、たとえば、上記非特許文献1では、主に机上での操作を前提としているが、目的のビューの電子文書内での絶対的な位置が既知の場合であっても、ビューの移動には試行錯誤が要求される。
例えば、電子文書内での絶対的な位置、たとえば「下端の中央」などにビューを移動する場合、操作者は変化する表示内容を目で追いながら同時に機器を移動操作しなければならない。このとき、電子文書の下端を超えるような動作操作をおこなった場合を想定すると、主に2種類の対応が考えられる。
第1は下端を越えた場合、空白を表示すると同時に、超えた距離に応じたビューの座標を維持するという対応である。しかしながら第1の対応では、空白を表示している状態では、電子文書の位置を基準にした現在のビューがどこになるかという見当がつきにくくなるためビューの復帰が困難となる。
第2は下端を越えた場合、画像を下端の状態で静止させるという対応である。しかしながら第2の対応では、電子文書上の原点と机上の原点の対応が失われるため操作者の直感に反し、安定した操作ができなくなる。
また、非特許文献1において、電子文書として地図を例にとって、同文献の記載に従い「東京と大阪の位置を手がかりに名古屋の部分へスクロールする」(非特許文献1、p.3、左上から10行目)場合を考えてみる。この場合、地図が大きく、最初に東京の位置(第1点)だけが見えている場合、名古屋(第3点)に移動するためには、前提として、あらかじめ大阪の位置(第2点)に移動して、第1点および第2点に対応する、機器の机上の物理的な位置をそれぞれ確認しておく、という準備操作が必要となる。この準備操作中においては、操作者は変化する表示内容を目で追いながら同時に機器を移動させて第2点を探索しなければならないため、目の疲労の原因となり、操作時間も多くかかってしまう可能性がある。その他、机上の操作では、表示部分の物理的な位置を移動させることになるため、操作者は視線で表示部分の位置を追跡せざるを得ないという負担が生じ、目の疲労の原因となる可能性がある。
また、非特許文献1では、出先などで机が無い環境では、手を用いたマウスボールの操作を提案している(非特許文献1、p.3、左下から5行目〜)が、大きな電子文書内でビューを遠い場所に移動させたい場合には、マウスボールを何度も繰り返し回す操作が必要となり、机上での操作に比較して直感性に欠け、操作時間も多くかかってしまう可能性があるという問題がある。
さらに、非特許文献2の方法では、操作デバイスがバーコード(原点)を離れた状態でトラッキングがずれると、再びバーコードに戻る必要がある。トラッキングがずれる原因としては、操作デバイスの向きが一定でなければならない(一定を保つのは困難である)ことと、デバイスが壁面から離れた場合、または壁面に凹凸がある場合などが考えられる。
また、非特許文献3、特許文献1および特許文献2に開示された発明では、携帯可能なシステムにおいて、特定のオブジェクトに接近してそのビューを精密に制御するための構成については、必ずしも明確でない。
本発明は、このような問題を解決するためになされたものであって、携帯機器に適し、容易にコンテンツ内のビュー移動等の表現に関するひとつ以上のパラメータの制御を行うことが可能なコンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラムを提供することを目的とする。
この発明の他の目的は、コンテンツに対応する特定の実物体にカメラを接近させてその輪郭が撮影範囲の外となった場合も、表現に関するパラメータを容易に制御することが可能なコンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラムを提供することである。
この発明のある局面に従うと、コンテンツ表現制御装置は、
ユーザが手に持った装置本体を、自由に動かして被写体を撮影可能な撮影手段と、
ユーザが手に持った装置本体を、自由に動かして表示面を見ることが可能な、コンテンツを表示する画像表示手段と、
前記撮影手段が前記コンテンツの表示制御の基準となる基準物体を撮影した、照合用の基準画像のデータを記憶する基準画像データ記憶手段と、
前記撮影手段が前記基準物体の一部または全体を撮影したガイド画像のデータを入力するガイド画像データ入力手段と、
前記入力されたガイド画像と前記基準画像とのそれぞれの特徴を照合して、前記ガイド画像が前記基準画像のどの部分範囲に対応するかという、前記基準画像に対する前記ガイド画像の表示範囲を特定する対応範囲情報を取得する画像照合手段と、
前記画像照合手段が取得する対応範囲情報に基づいて前記画像表示手段が表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成手段と、
前記表示制御データ生成手段が生成する表示制御データを出力する表示制御データ出力手段と、
前記表示制御データ出力手段が出力する表示制御データに基づいて前記画像表示手段を制御する表示制御手段とを備え、
前記画像照合手段が取得する対応範囲情報は、照合する前記ガイド画像の前記基準画像における位置情報を含み、
前記表示制御データ生成手段が生成する表示制御データは、前記表示画像の表示範囲を特定する位置情報を含む。
ユーザが手に持った装置本体を、自由に動かして被写体を撮影可能な撮影手段と、
ユーザが手に持った装置本体を、自由に動かして表示面を見ることが可能な、コンテンツを表示する画像表示手段と、
前記撮影手段が前記コンテンツの表示制御の基準となる基準物体を撮影した、照合用の基準画像のデータを記憶する基準画像データ記憶手段と、
前記撮影手段が前記基準物体の一部または全体を撮影したガイド画像のデータを入力するガイド画像データ入力手段と、
前記入力されたガイド画像と前記基準画像とのそれぞれの特徴を照合して、前記ガイド画像が前記基準画像のどの部分範囲に対応するかという、前記基準画像に対する前記ガイド画像の表示範囲を特定する対応範囲情報を取得する画像照合手段と、
前記画像照合手段が取得する対応範囲情報に基づいて前記画像表示手段が表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成手段と、
前記表示制御データ生成手段が生成する表示制御データを出力する表示制御データ出力手段と、
前記表示制御データ出力手段が出力する表示制御データに基づいて前記画像表示手段を制御する表示制御手段とを備え、
前記画像照合手段が取得する対応範囲情報は、照合する前記ガイド画像の前記基準画像における位置情報を含み、
前記表示制御データ生成手段が生成する表示制御データは、前記表示画像の表示範囲を特定する位置情報を含む。
好ましくは、前記表示制御データ生成手段または前記表示制御手段は前記ガイド画像の変化に対するコンテンツの表現に関するパラメータの変化を一部制限する。
好ましくは、前記表示制御データ生成手段は、
前記取得された対応範囲情報に基づいて、前記撮影手段から前記基準物体迄の距離に対応する距離対応情報を算出する距離対応情報算出手段を含み、
該距離対応情報を用いて前記表示制御データを生成する。
前記取得された対応範囲情報に基づいて、前記撮影手段から前記基準物体迄の距離に対応する距離対応情報を算出する距離対応情報算出手段を含み、
該距離対応情報を用いて前記表示制御データを生成する。
好ましくは、コンテンツ表現制御装置は、
特定の前記表示制御データと前記距離対応情報との対応関係を切り替える対応関係切替手段をさらに備える。
特定の前記表示制御データと前記距離対応情報との対応関係を切り替える対応関係切替手段をさらに備える。
この発明の他の局面にしたがうと、コンテンツ表現制御プログラムは、
コンテンツの表現を制御するコンテンツ表現制御プログラムであって、
ユーザが手に持った装置本体を、自由に動かして被写体を撮影可能な撮影ステップと、
ユーザが手に持った装置本体を、自由に動かして表示面を見ることが可能な、コンテンツを表示する画像表示ステップと、
前記撮影ステップが前記コンテンツの表示制御の基準となる基準物体を撮影した、照合用の基準画像のデータを記憶する基準画像データ記憶ステップと、
前記撮影ステップが前記基準物体の一部または全体を撮影したガイド画像のデータを入力するガイド画像データ入力ステップと、
前記入力されたガイド画像と前記基準画像とのそれぞれの特徴を照合して、前記ガイド画像が前記基準画像のどの部分範囲に対応するかという、前記基準画像に対する前記ガイド画像の表示範囲を特定する対応範囲情報を取得する画像照合ステップと、
前記画像照合ステップが取得する対応範囲情報に基づいて前記画像表示ステップが表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成ステップと、
前記表示制御データ生成ステップが生成する表示制御データを出力する表示制御データ出力ステップと、
前記表示制御データ出力ステップが出力する表示制御データに基づいて前記画像表示ステップを制御する表示制御ステップとをコンピュータに実行させ、
前記画像照合ステップが取得する対応範囲情報は、照合する前記ガイド画像の前記基準画像における位置情報を含み、
前記表示制御データ生成ステップが生成する表示制御データは、前記表示画像の表示範囲を特定する位置情報を含む。
コンテンツの表現を制御するコンテンツ表現制御プログラムであって、
ユーザが手に持った装置本体を、自由に動かして被写体を撮影可能な撮影ステップと、
ユーザが手に持った装置本体を、自由に動かして表示面を見ることが可能な、コンテンツを表示する画像表示ステップと、
前記撮影ステップが前記コンテンツの表示制御の基準となる基準物体を撮影した、照合用の基準画像のデータを記憶する基準画像データ記憶ステップと、
前記撮影ステップが前記基準物体の一部または全体を撮影したガイド画像のデータを入力するガイド画像データ入力ステップと、
前記入力されたガイド画像と前記基準画像とのそれぞれの特徴を照合して、前記ガイド画像が前記基準画像のどの部分範囲に対応するかという、前記基準画像に対する前記ガイド画像の表示範囲を特定する対応範囲情報を取得する画像照合ステップと、
前記画像照合ステップが取得する対応範囲情報に基づいて前記画像表示ステップが表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成ステップと、
前記表示制御データ生成ステップが生成する表示制御データを出力する表示制御データ出力ステップと、
前記表示制御データ出力ステップが出力する表示制御データに基づいて前記画像表示ステップを制御する表示制御ステップとをコンピュータに実行させ、
前記画像照合ステップが取得する対応範囲情報は、照合する前記ガイド画像の前記基準画像における位置情報を含み、
前記表示制御データ生成ステップが生成する表示制御データは、前記表示画像の表示範囲を特定する位置情報を含む。
この発明のさらに他の局面にしたがうと、コンテンツ表現制御用基準物体は、
コンテンツの表現を制御するコンテンツ表現制御装置のための、前記コンテンツの表現制御の基準となる基準物体であって、
外部から撮影可能な表面の部位に、複数個の座標系上の座標を示す座標指示マーカーを備え、
前記座標指示マーカーは、
前記座標指示マーカーであることを前記コンテンツ表現制御装置に認識させるための基準パターンと、
前記基準パターンの位置の座標情報を表す座標情報パターンとを含み、
前記基準パターンおよび前記座標情報パターンの少なくとも1方は、特定の色で着色され、
前記コンテンツ表現制御装置は、
撮影手段と、
コンテンツを表示する画像表示手段と、
前記撮影手段が前記基準物体の一部または全体を撮影したガイド画像のデータを入力するガイド画像データ入力手段と、
前記ガイド画像データ入力手段が入力したガイド画像において、前記基準物体に対応する該ガイド画像の位置を特定する、少なくとも2個の前記座標指示マーカーを重要マーカーとして決定する重要マーカー決定手段と、
前記重要マーカー決定手段が決定した重要マーカーから前記基準物体に対して前記ガイド画像が対応する位置を特定する対応関係情報を取得する対応関係情報取得手段と、
前記対応関係情報取得手段が取得する対応関係情報に基づいて、前記画像表示手段が表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成手段と、
前記表示制御データ生成手段が生成する表示制御データを出力する表示制御データ出力手段と、
前記表示制御データ出力手段が出力する表示制御データに基づいて前記画像表示手段を制御する表示制御手段とを備える。
コンテンツの表現を制御するコンテンツ表現制御装置のための、前記コンテンツの表現制御の基準となる基準物体であって、
外部から撮影可能な表面の部位に、複数個の座標系上の座標を示す座標指示マーカーを備え、
前記座標指示マーカーは、
前記座標指示マーカーであることを前記コンテンツ表現制御装置に認識させるための基準パターンと、
前記基準パターンの位置の座標情報を表す座標情報パターンとを含み、
前記基準パターンおよび前記座標情報パターンの少なくとも1方は、特定の色で着色され、
前記コンテンツ表現制御装置は、
撮影手段と、
コンテンツを表示する画像表示手段と、
前記撮影手段が前記基準物体の一部または全体を撮影したガイド画像のデータを入力するガイド画像データ入力手段と、
前記ガイド画像データ入力手段が入力したガイド画像において、前記基準物体に対応する該ガイド画像の位置を特定する、少なくとも2個の前記座標指示マーカーを重要マーカーとして決定する重要マーカー決定手段と、
前記重要マーカー決定手段が決定した重要マーカーから前記基準物体に対して前記ガイド画像が対応する位置を特定する対応関係情報を取得する対応関係情報取得手段と、
前記対応関係情報取得手段が取得する対応関係情報に基づいて、前記画像表示手段が表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成手段と、
前記表示制御データ生成手段が生成する表示制御データを出力する表示制御データ出力手段と、
前記表示制御データ出力手段が出力する表示制御データに基づいて前記画像表示手段を制御する表示制御手段とを備える。
この発明のさらに他の局面にしたがうと、コンテンツ表現制御システムは、
コンテンツの表現を制御するコンテンツ表現制御装置と、該コンテンツ表現制御装置のための前記コンテンツの表現制御の基準となる基準物体とを含むコンテンツ表現制御システムであって、
前記基準物体は、外部から撮影可能な表面の部位に、複数個の座標系上の座標を示す座標指示マーカーを備え、
前記コンテンツ表現制御装置は、
撮影手段と、
コンテンツを表示する画像表示手段と、
前記撮影手段が前記基準物体の一部または全体を撮影したガイド画像のデータを入力するガイド画像データ入力手段と、
前記ガイド画像データ入力手段が入力したガイド画像において、前記基準物体に対応する該ガイド画像の位置を特定する、少なくとも2個の前記座標指示マーカーを重要マーカーとして決定する重要マーカー決定手段と、
前記重要マーカー決定手段が決定した重要マーカーから前記基準物体に対して前記ガイド画像が対応する位置を特定する対応関係情報を取得する対応関係情報取得手段と、
前記対応関係情報取得手段が取得する対応関係情報に基づいて、前記画像表示手段が表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成手段と、
前記表示制御データ生成手段が生成する表示制御データを出力する表示制御データ出力手段と、
前記表示制御データ出力手段が出力する表示制御データに基づいて前記画像表示手段を制御する表示制御手段とを備える。
コンテンツの表現を制御するコンテンツ表現制御装置と、該コンテンツ表現制御装置のための前記コンテンツの表現制御の基準となる基準物体とを含むコンテンツ表現制御システムであって、
前記基準物体は、外部から撮影可能な表面の部位に、複数個の座標系上の座標を示す座標指示マーカーを備え、
前記コンテンツ表現制御装置は、
撮影手段と、
コンテンツを表示する画像表示手段と、
前記撮影手段が前記基準物体の一部または全体を撮影したガイド画像のデータを入力するガイド画像データ入力手段と、
前記ガイド画像データ入力手段が入力したガイド画像において、前記基準物体に対応する該ガイド画像の位置を特定する、少なくとも2個の前記座標指示マーカーを重要マーカーとして決定する重要マーカー決定手段と、
前記重要マーカー決定手段が決定した重要マーカーから前記基準物体に対して前記ガイド画像が対応する位置を特定する対応関係情報を取得する対応関係情報取得手段と、
前記対応関係情報取得手段が取得する対応関係情報に基づいて、前記画像表示手段が表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成手段と、
前記表示制御データ生成手段が生成する表示制御データを出力する表示制御データ出力手段と、
前記表示制御データ出力手段が出力する表示制御データに基づいて前記画像表示手段を制御する表示制御手段とを備える。
本発明では、ガイド画像の変化に追随してコンテンツのパラメータ制御がおこなわれるので、コンテンツの表示位置などのパラメータをスムーズに制御することができる。とりわけ、対応関係情報として二次元以上の座標情報を取得して用いると、たとえば表示位置と拡大率など、異なるパラメータを同時あるいは連続的に制御することが可能となる。
また、コンテンツ表現制御装置は撮影手段をさらに備える場合は、操作者が撮影手段と基準物体との位置関係を自在に操作しながら基準物体を撮影してガイド画像として用いることにより、パラメータを直感的かつ瞬時に制御することが可能となる。
また、コンテンツ表現制御装置を動かさずに撮影対象物のみを動かすことによってもパラメータを制御することができ、コンテンツが画像の場合は操作者の視線の移動による疲労を軽減することができる。
[実施の形態1]
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
図1は、本実施の形態にコンテンツ表現制御装置の具体例を示す図である。
本実施の形態においてはコンテンツ表現制御装置の一例として、携帯電話機のハードウェアを用いるものとして説明を行う。
本実施の形態においてはコンテンツ表現制御装置の一例として、携帯電話機のハードウェアを用いるものとして説明を行う。
図1(a)は携帯電話機の前面、図1(b)は携帯電話機の背面をそれぞれ示している。携帯電話機は、筐体101と、LCD(Liquid Crystal Display)102と、操作ボタン群103と、CCD(Charge-Coupled Devices)カメラ106と、マイクロフォン105と、スピーカ104とを備える。
次に、図2に、本実施の形態におけるコンテンツ表現制御装置のハードウェア構成の具体例を示す。
図2を参照して、本実施の形態におけるコンテンツ表現制御装置200は、CPU(Central Processing Unit)等から構成されて、装置全体を制御する制御部22と、装置の外部に対してデータの入出力をおこなう入出力部24と、ROM(Read Only Memory)やRAM(Random Access Memory)などから構成されて、制御部22において実行されるプログラムや、そのプログラムの中間データまたは他のコンピュータから受信したデータ等を記憶する記憶部23とを含む。
さらに上述の入出力部24は、「1」、「2」などの数字ボタンおよびメニュー項目指示・選択ボタンなどを含む操作部241と、ユーザに情報を表示するLCDなどの表示部242と、画像を入力するCCDカメラなどの画像入力部243と、他の装置と通信するための通信部244と、音声を入力するマイクロフォンなどの音声入力部245と、音声を出力するスピーカなどの音声出力部246とを含む。
なお、図2に示されるハードウェア構成は、一般的な携帯電話のハードウェア構成であって、本発明にかかるコンテンツ表現制御装置のハードウェア構成は、図2に示されるハードウェア構成に限定されるものではない。
たとえば、図3は、本発明にかかるコンテンツ表現制御装置の最小構成を示す図である。図3に示したコンテンツ表現制御装置200bは、入出力部24bは対象となるコンテンツの表現に関するパラメータ(表示部分の位置・向き・表示倍率・時間軸における再生時点他、例を下記各実施例に示す)を制御するためのデータを生成する表現制御データ生成部242bと、ガイド画像データを入力する画像データ入力部243bとを含む。なお、記憶部23bの内部構造は23と同様であるので省略している。この構成では、画像の入出力をおこなうLCD102やCCDカメラ106は、本発明にかかるコンテンツ表現制御装置200bの外部にあって使用時に接続することとしてもよい。
次に、図4は、本実施の形態におけるコンテンツ表現制御装置の機能構成を示すブロック図である。図4を参照して、本実施の形態におけるコンテンツ表現制御装置は、表現を制御するための基準物体が撮影されたガイド画像データ311を取得する画像データ取得部301と、基準物体に対するガイド画像の位置や拡大/縮小率などの対応関係情報を取得する対応関係情報取得部302と、取得された対応関係情報に基づいて、コンテンツのビューの左上の座標や拡大率など、表現に関するパラメータを制御するためのデータを生成する表現制御データ生成部303と、表現制御データをもとにして入力コンテンツ312の表現に関するパラメータを制御して出力データ313として出力するパラメータ制御部304とを含んで構成される。画像データ取得部301の機能は、たとえば、図2の画像入力部243により実現され、それ以外の機能は、制御部22が、記憶部23に記憶されるプログラムを読出し、そのプログラムを実行して図2に示されるハードウェア構成の各部を制御することによって発揮される。例えば、記憶部23に記憶されるプログラムによって、制御部22は、特定の操作ボタンが押されている間のみ画像データを取得し表現制御データを生成するように制御してもよい。出力データ313が、たとえば、図2の表示部242に与えられる。
次に、図5に、上記ガイドとなる画像の元になるパターンを印刷したガイドシート401の具体例を示す。ガイドシート401は、その表面を含む平面上のある点を原点にした二次元の座標を示す座標指示マーカー402が多数印刷されたものである。
ガイドシート401上の各数値403は、各座標指示マーカーの横軸に対応する値、すなわちX座標をわかりやすく示すための目盛りであり、たとえば”10”は10×256というX座標を示している。同様に、ガイドシート401上の各数値404は、Y座標をわかりやすく示すため目盛りである。これらの目盛りの数値403および404は参考として付与したものであって、本実施の形態に関して必ずしも必要なものではない。
図6に座標指示マーカー402の詳細な構造の例を示す。
図6(a)は、座標表示マーカー402の一例のパターン506を示す。座標指示マーカーパターン506は、認識の基準となる基準パターン501と、基準パターンの中心位置のX座標およびY座標の値をそれぞれ表す座標情報パターン504および505と、それらの座標情報パターンが存在する方向を示す方向指示子502とを含む。
図6(a)は、座標表示マーカー402の一例のパターン506を示す。座標指示マーカーパターン506は、認識の基準となる基準パターン501と、基準パターンの中心位置のX座標およびY座標の値をそれぞれ表す座標情報パターン504および505と、それらの座標情報パターンが存在する方向を示す方向指示子502とを含む。
図6(b)は各座標情報パターンと座標値との対応表である。図6(b)を参照して、座標値は16進数で示している。たとえば、“0x100”は16進数の100すなわち十進数の256という座標値を示しており、対応する座標情報パターン511の右下角部分が塗りつぶされている。座標情報パターンの右下角、左下角、右上角、左上角、の各部分は、座標値を二進数で表現した場合の下位から数えた第9ビット、第10ビット、第11ビット、第12ビット、をそれぞれ表現している。例えば図6(a)では、基準パターン501の中心座標(X,Y)は(0x200、0x100)であることを示す。すなわち、図5に戻って、各座標指示マーカー(402など)はシート上で各々が異なる二次元の座標(X,Y)を表現している。
次に、本実施の形態におけるコンテンツ表現制御装置において、コンテンツの閲覧制御を実行する際の処理について、図7、図8、図9、および図10を参照して説明する。
図7に、本実施の形態におけるコンテンツ表現制御を実行する際の処理の流れをフローチャートで示す。
図7を参照して、始めに、ステップS01でガイド画像データが取得される。ガイド画像データとは、例えば図5を参照して、401のようなガイドシートの部分領域700をCCDカメラ106によって撮影し、撮影した画像の各点の輝度を画像入力部243の機能によりディジタルデータの配列に変換したものである。なお、本実施の形態では説明の簡略化のためガイド画像データはモノクロームであり、ガイドシート401とビュー700はCCDカメラの(複数軸を中心とした)回転、ビューの中心と周辺との距離の差、レンズの特性、シートの歪みなどによるずれがないものと仮定する。(実際にはこれらに対して補正処理が必要になる場合がある。)
次にステップS02でガイド画像データの輝度とコントラストが補正される。例えばガイド画像データを構成する各画素の輝度の平均値と分散がそれぞれ一定の値に近くなるように補正すると次のステップの処理が容易になる場合がある。
次にステップS02でガイド画像データの輝度とコントラストが補正される。例えばガイド画像データを構成する各画素の輝度の平均値と分散がそれぞれ一定の値に近くなるように補正すると次のステップの処理が容易になる場合がある。
次のステップS03ではガイド画像データが2値化される。すなわち、例えば各画素の輝度の値が一定の閾値以上のものを1、閾値未満のものを0、というそれぞれの値に変換する。
次にステップS04で座標指示マーカーの探索をおこない、ガイド画像データ内に存在する座標指示マーカー画像の左端の基準パターン(図6では501)の中心位置の座標データをリストアップする。ここでいう座標データはガイドシート401上の座標情報のことではなく、ガイド画像データ700の左上の原点を基準にした座標情報のことである。なお、座標指示マーカーの基準パターンの探索については如何なる方法を用いてもよいが、その一例については後述する。このステップS04により、図8の部分領域700内の座標指示マーカーの基準パターンの中心位置の座標データの大部分がリストアップされる。
但し、一定の仮想的な境界線704より右の基準パターンはリストアップしない。なぜなら704より右の基準パターン、例えば703はそれ自身が保持する座標情報パターンが画面外となり、後のステップS05に用いることが出来ないからである。すなわちステップS04では、701を始めとする9行×3列=27個の座標指示マーカーに関するガイド画像データ内の座標データがリストアップされる。
次にステップS05では、ステップS04でリストアップされた座標指示マーカーのうち、重要マーカーを選択・決定する。重要マーカーとは、ガイドシート401内の原点を基準とした、ガイド画像データ700の位置(すなわち左上の座標および領域の大きさ)を特定するために必要な最小限の座標指示マーカーのことである。ここでは、リストアップされた座標データについて、X座標およびY座標がともに最小のもの801および、ともに最大のもの802、の2個を重要マーカーとして決定する。ここでは回転などによるずれがないものと仮定する。この場合は、重要マーカーの個数は2個で十分である。
図9は、ガイド画像データ中の重要マーカーのみを示した図である。図9を参照して、ガイド画像データ800の左上角を原点として、マーカー801の基準パターンの中心座標は(X1,X1)であり、またマーカー802の基準パターンの中心座標は(X2,X2)であることを示している。次にステップS06では、各重要マーカーに記載された座標値(ガイドシートの原点を基準とした座標値)を読み取る。重要マーカー801内の座標情報パターンを図6(b)の表と照合すると、16進数で(0x200,0x200)すなわち10進数で(512,512)という座標値を持つことがわかる。同様に重要マーカー802は16進数で(0xA00,0x600)すなわち10進数で(2560,1536)という座標値を持つことがわかる。なお、座標値読み取りの詳細な手順は後述する。
ここで、図10に、本実施の形態におけるコンテンツ(電子地図)およびコンテンツのビューの例を示す。
図7において、次のステップS07では、図10を参照してコンテンツ900の一部をLCD102に表示するための表示範囲901が算出される。コンテンツ900(電子地図)上の各座標はガイドシート401上の各座標に対応しているものとする。ここでビュー901の左上の頂点902のコンテンツ上の座標(Xp,Yp)と右下の頂点903のコンテンツ上の座標(Xq,Yq)を求める。図9および図10に付与された変数を用いると、以下のとおりとなる。
Xp=(X2・Xa−X1・Xb)/(X2−X1)
Yp=(Y2・Ya−Y1・Yb)/(Y2−Y1)
Xq=Xp+Xv・(Xa−Xp)/X1
Yq=Yp+Yv・(Ya−Yp)/Y1
右辺の変数の値はいずれもこれまでのステップで算出済である。
Yp=(Y2・Ya−Y1・Yb)/(Y2−Y1)
Xq=Xp+Xv・(Xa−Xp)/X1
Yq=Yp+Yv・(Ya−Yp)/Y1
右辺の変数の値はいずれもこれまでのステップで算出済である。
次にステップS08ではコンテンツのビューの切り出しおよび表示がおこなわれる。例えばコンテンツ900がビットマップデータであるとすると、表示用メモリの各画素に対応するコンテンツ上の各点の輝度データが切り出され、表示用メモリに転送される。表示用メモリとガイド画像データは必ずしも同一の解像度である必要はないが、ここでは簡便のために同一の解像度であるとすると、例えば表示用メモリ内のある画素の座標(Xw,Yw)に対応するコンテンツ内の座標(Xr,Yr)は、次の式により計算され、表示用メモリ内の(Xw,Yw)に対応するアドレスに転送され、LCD102における表示に用いられる。
Xr=Xw・(Xq−Xp)/Xv+Xp
Yr=Yw・(Yq−Yp)/Yv+Yp
なお、コンテンツ900がベクトルデータであるとすると、コンテンツ内の各特徴点の座標データ(Xr,Yr)は、次の式によって表示用メモリ内の対応する画素の座標(Xw,Yw)に変換することができる。
Yr=Yw・(Yq−Yp)/Yv+Yp
なお、コンテンツ900がベクトルデータであるとすると、コンテンツ内の各特徴点の座標データ(Xr,Yr)は、次の式によって表示用メモリ内の対応する画素の座標(Xw,Yw)に変換することができる。
Xw=Xv・(Xr−Xp)/(Xq−Xp)
Yw=Yv・(Yr−Yp)/(Yq−Yp)
ベクトルデータの場合は、次いで輝度データを転送する代わりに、求められた座標群を元にして表示用メモリ上に図形データのレンダリングがおこなわれる。このとき、図形が画面外となる部分はクリッピング処理により除外する。最後にステップS09では終了の指示が検出されているかどうかによって分岐し、検出されていない場合はステップS01に戻って繰り返し、検出されている場合は処理を終了する。
Yw=Yv・(Yr−Yp)/(Yq−Yp)
ベクトルデータの場合は、次いで輝度データを転送する代わりに、求められた座標群を元にして表示用メモリ上に図形データのレンダリングがおこなわれる。このとき、図形が画面外となる部分はクリッピング処理により除外する。最後にステップS09では終了の指示が検出されているかどうかによって分岐し、検出されていない場合はステップS01に戻って繰り返し、検出されている場合は処理を終了する。
ここで上述のステップS04における、座標指示マーカーの探索方法の一例について図11(a)〜(c)を参照して説明する。
図11(b)は座標指示マーカーの左端にある基準パターン501を数値の二次元配列によって表現したものである。すなわち黒い部分は0、白い部分は1でそれぞれ表現している。図11(a)はステップS03で2値化されたガイド画像データの各画素を左上から右下へ順に走査し、基準パターン付近を中心として周囲計5×5画素を取得したデータの一例である。
図11(a)では、本来0であるべき画素が1となっていたり、また逆の場合もあり、本来の基準パターン図11(b)とは誤差が出ている。このように、カメラで撮影した画像データでは、ノイズの影響や位置のずれなどにより、誤差が発生することが多い。
ここで図11(a)の各要素から図11(b)の対応する各要素を差し引いた結果の配列が図11(c)である。
図11(c)において、各要素の絶対値の総和を計算すると3となる。この値はパターン類似度の評価値とすることができ、この評価値が小さいほど図11(a)の中心は基準パターンの中心に近いと評価することができる。
たとえば、ある座標を中心として計算したこの値が一定の閾値以下の場合、その座標を基準パターンの中心座標の候補とし、その周囲にある計N×N画素以内で評価値が最小となる座標を上記リストアップの対象とすればよい。
なお、実際はCCDカメラとガイドシートとの距離が一定ではないため、図11(b)のパターンは、ガイド画像内のひとつの画素を中心として、大きさを変えて複数回照合することが好ましい。図11(b)は5×5画素であるが、たとえばこの他、7×7画素、9×9画素などの相似形に近いパターンで照合するとよい。ここでそれぞれ求めた、各要素の差の絶対値の総和をそれぞれのパターンの画素数で除算した値を評価値として用いることができる。これにより、CCDカメラとガイドシートとのおおよその距離を推定することも可能となる。なお、本実施例では、ガイド画像を2値化したパターンで照合しているが、必ずしも2値化する必要はなく、輝度の階調を伴ったガイド画像を用いて照合してもよい。
ここで、前述のステップS06において、重要マーカーに記載されたガイドシート上の座標値を読み取る詳細な方法について、図12を参照して説明する。
図12は、ガイド画像内の重要マーカーのひとつの例を示し、黒丸は黒い画素、白丸は白い画素がそれぞれの位置に存在していることを示している。
前述のステップS04において基準パターンの中心点1103のガイド画像内の座標が既に求められている。中心点1103を起点として1方向およびその反対方向(ここでは左右それぞれの方向)に各画素を走査すると、それぞれ「黒、白、黒」というパターンが検出される。このそれぞれのパターンの端となる黒い点1101から黒い点1105までの距離が、基準パターンの見かけの大きさu(図12に示す)であると認識される。
さらにある方向(ここでは右)への走査を進めると、上下を白い領域に挟まれた黒い領域上の点1106が発見される。これにより、中心点1103を基準として1106の方向にガイドシート上の座標情報が存在することが認識される。
点1105から引き続き右に走査すると、再び「黒、白、黒」というパターンが検出される。このパターンの端となる黒い点1108の先に座標情報が存在する。点1101から点1108までの距離は、ほぼ2u(図示)となるはずであり、この値に近いほど座標指示マーカーの認識精度が高いと判断することができ、逆にこの値がある閾値より外れていると、認識が失敗したと判断することができる。
失敗した場合はエラー処理として以前のいずれかのステップに戻ることになる。例えばS05に戻って重要マーカーが別のものに選びなおすなどの処理をおこなうとよい。
なお、このようなエラー処理は本実施例の本質ではないため、図7のフローチャートからは省略している。
次に、マーカーの左端から2.5uの点1109を中心として右下、左下、右上、左上それぞれの方向の距離約0.3uと画素を調べると、点1103に対応するガイドシート上のX座標を表すパターンを認識することができる。同様にマーカーの左端から3.5uの点1110を中心として画素を調べると点1103に対応するガイドシート上のY座標を表すパターンを認識することができる。これらのパターンがどのような座標値を表すかという対応表は、図6(b)の通りである。
以上の説明のように、実施の形態1では、ガイドシートとCCDカメラの位置関係により、少なくとも2つの座標指示マーカー(但しそれぞれのX座標とY座標のいずれもが同一でないもの)が撮影範囲内にあれば、コンテンツをガイドシートの位置に対応させて表示することができる。
実施の形態1では、図7のフローチャートに示すように繰り返し処理され、ガイドシートとCCDカメラの位置関係が刻々と変化する場合でも、その変化に追随して処理がおこなわれるので、コンテンツのビュー制御、すなわちスクロールやズーム操作をスムーズにおこなうことができる。とりわけ、スクロールとズーム操作を同時あるいは連続的におこなうことが可能となる。また、ガイドシートの特定の位置を撮影することにより、ビューを直感的かつ瞬時に移動することが可能となる。なお、携帯電話装置を動かさずにガイドシートのみを動かすことによってもビューを制御することができ、操作者の視線の移動による疲労を軽減することができる。
なお、コンテンツの仮想的な大きさは、ガイドシートに印刷された座標情報に依存する。ここで、精度の高いビュー制御のためにはガイドシート中の実際の長さに対して対応する座標の変化が大きい(すなわち全体として大きい)ガイドシートを用いるとよいし、少ない動作で広範囲のビュー制御をおこなうためには座標の変化が小さい(すなわち全体として小さい)ガイドシートを用いるとよい。このように実際の長さに対する座標の変化が異なるガイドシートを複数用意して用いてもよいし、プログラム内で座標情報に特定の係数を掛けることにより座標の変化を論理的に変更してもよい。
また、1枚のガイドシートの中で部分的に座標の変化が異なるような特殊なガイドシートを用いると、コンテンツの部分によって、異なる精度でビュー制御をおこなうことが可能となる。例えば、コンテンツに印章の画像が含まれている場合、印章の位置に対応する座標のスケールを大きくしたガイドシートを用いると、印章の照合作業が容易となる。また特定の領域を切り出して拡大したガイドシートを別に用意して、必要に応じて用いてもよい。
[実施の形態1の変形例1]
実施の携帯1では、説明の簡略化のためCCDカメラとガイドシートの間で、3次元空間のいずれかの座標軸を中心とする回転によるずれが無視できる程度と仮定している。
実施の携帯1では、説明の簡略化のためCCDカメラとガイドシートの間で、3次元空間のいずれかの座標軸を中心とする回転によるずれが無視できる程度と仮定している。
ところが実際は操作者が実施例1のようにガイドシートとCCDカメラとを相対的に回転させずに正確に保持することは困難な場合もある。また、意図的に回転させることによってコンテンツのビューの長辺・短辺を都合の良い向きに変えることができたり、鳥瞰図のように斜めから見て近接部分を大きくかつ遠くも含めて一度に広く閲覧することができれば便利である。
このような場合についても、原則として図7のフローチャートに添った処理が可能である。但し、以下に説明するいくつかのステップにおける処理の内容が異なる。
(ステップS04の処理)
まず、ステップS04にて座標指示マーカーの探索およびリストアップをおこなう場合、ガイドシートを斜めから撮影することによりガイド画像内のマーカーが極端に変形していると、図11のような形状のパターンマッチングによって探索することが困難となる。
まず、ステップS04にて座標指示マーカーの探索およびリストアップをおこなう場合、ガイドシートを斜めから撮影することによりガイド画像内のマーカーが極端に変形していると、図11のような形状のパターンマッチングによって探索することが困難となる。
そこで、たとえば座標指示マーカーの基準パターンを特定の色(赤色など)で着色しておき、カラー対応のCCDカメラで撮影し、色情報を保持したガイド画像を取得すれば、基準パターンを容易に探索することができる。この場合ステップS03では2値ではなく、赤・白・黒など3値以上に変換するとよい。
(ステップS05の処理)
ステップS05では、後述する理由により、4個の重要マーカーを決定する。たとえば、まずガイド画像内でそれぞれの基準パターンが最も離れた2個のマーカーを重要マーカーとして決定し、次いで、その2個の基準パターンを結ぶ直線からの距離が最も離れた基準パターンを含むマーカーを第3の重要マーカーとし、最後に第3の重要マーカーの基準パターンからの距離が最も離れた基準パターンを含むマーカーを第4の重要マーカーとするとよい。このように、相互にできるだけ離れるような複数のマーカーを重要マーカーとして選択・決定することにより、コンテンツのビュー制御の精度が高くなる。
ステップS05では、後述する理由により、4個の重要マーカーを決定する。たとえば、まずガイド画像内でそれぞれの基準パターンが最も離れた2個のマーカーを重要マーカーとして決定し、次いで、その2個の基準パターンを結ぶ直線からの距離が最も離れた基準パターンを含むマーカーを第3の重要マーカーとし、最後に第3の重要マーカーの基準パターンからの距離が最も離れた基準パターンを含むマーカーを第4の重要マーカーとするとよい。このように、相互にできるだけ離れるような複数のマーカーを重要マーカーとして選択・決定することにより、コンテンツのビュー制御の精度が高くなる。
(ステップS06の処理)
次いで、ステップS06では各重要マーカーに記載されたガイドシート上の座標情報の読み取りが必要になるが、ここでも仮にガイドシート上のマーカーが図12のような形状であって、撮影する向きによりガイド画像内の該形状が極端に変形していると、座標情報の読み取りが困難となる。
次いで、ステップS06では各重要マーカーに記載されたガイドシート上の座標情報の読み取りが必要になるが、ここでも仮にガイドシート上のマーカーが図12のような形状であって、撮影する向きによりガイド画像内の該形状が極端に変形していると、座標情報の読み取りが困難となる。
そこで、たとえば図13に示すように、着色によるパターンを用いて座標指示マーカーを構成すると、形状が変形していても読み取り処理が比較的容易となる。
ここで、図13を参照して、座標指示マーカー1200は、それぞれ特定の色で着色された小領域(セル)の配列1201ないし1210、および黒色の枠1211によって構成され、認識の基準となる基準セル1201と、基準セルの中心位置のX座標の値を表すX座標情報セル群1202〜1205、およびY座標の値を表すY座標情報セル群1206〜1209、およびそれらのセル群の読み取り誤りを検出する為のパリティ値表示セル1210を含んでいる。
ここで、基準セル1201は上述のとおり赤色、その他のセルについては表示すべきビット値に応じて青色(ビット値=0)または緑色(ビット値=1)に着色しておくものとする。パリティ値表示セル1210は青のセルの総数を偶数とするための調整値として定めておくことにより、この規則に反する場合は読み取り誤りによりデータは無効と判定することができる。
例として、あるマーカーについてセルの色の配列が「赤、(青、緑、青、緑、)(青、緑、緑、緑、)青」とすると、赤色のセルの中心座標はX=0b0101×256、Y=0b0111×256となる(ここで0bに続く4桁の数字は二進数とする)。また、青色のセルの総数が4すなわち偶数であるため正常と判定する。
(ステップS07の処理)
次にステップS07では、LCD102上の座標と対応するコンテンツ900上の座標とを1方向あるいは相互に変換するための係数を算出する。
次にステップS07では、LCD102上の座標と対応するコンテンツ900上の座標とを1方向あるいは相互に変換するための係数を算出する。
図14は、ガイドシート401上の任意の点がCCDカメラ106内の撮像面にガイド画像中の1点として投影される様子をモデル化して示したものである。後述するように、カメラ内部の正確なモデル化は本実施形態には必要ないことがあるため、本モデルはピンホールカメラのような簡単な形態を採っている。
図14を参照して、ガイドシート面Sgは、3次元空間における平面の投影変換によって、カメラ内部の撮像面Scに写像される。
いまSg上の点PgがSc上の点Pcに投影されるとき、適当な座標系Gのもとで、Pg=(x,y,z)、投影の中心点O(図14ではピンホールの点)をO=(x0,y0,z0)とする。さらにxy平面が撮像面Scを含むような座標系Cのもとで、Pc=(u,v,0)、O=(u0,v0,d)とする
中心点OとPcとPgは直線上にあるから、以下のことが言える。
中心点OとPcとPgは直線上にあるから、以下のことが言える。
このことは、座標系Cの原点および3×3の回転行列Rを適当に定め、座標系Cをz軸方向に平行移動することで、座標系GをRで回転した系が得られるようにすれば、以下のように座標値を用いて表現できる。
座標系G上の点Pg=(x,y,z)が、投影変換によって座標系C上の点Pc=(u,v,0)に写される関係は、一般にz≠0の場合も含めて上式で表せる。上記の関係にもとづき、幾つかのサンプル点からPgとPcの座標値を対応づけるのに必要なパラメータを求める問題は、カメラのキャリブレーション問題の一種であり、DLT(Direct Linear Transformation)法という解法が知られている。このようなDLT法については、たとえば、文献:Abdel-Aziz et al, Direct Linear Transformation from comparator coordinates into object space coordinates in close-range photogrammetry, Proc. of the Symp. On Close-Range Photogrammetry (1971), pp.11-18, American Soc. of Photogrammetryに開示がある。
本実施形態の変形例では、ガイドシート面Sgが座標系Gのxy平面であって、Pg=(x,y,z)において常にz=0となる。このときDLT法は、4つのサンプル点に対するガイドシート面と撮像面それぞれにおける座標値にもとづいて、8元1次の連立方程式を解くことに帰着し、携帯機器を含む今日のコンピュータでは比較的高速に解ける。
すなわち、i番目のサンプル点についてPg=(xi,yi,0)、Pc=(ui,vi,0)とするとき、式Yを展開して、PgからPcを計算する以下の式を得る。
ここで、Ri、K1, K2, …, K8については以下の関係がある。
式ZをK=(K1, K2, …, K8)Tについて解くと、以下の関係式を得る。
4つのサンプル点に対する式Wを並置して得られる8元連立1次方程式を解けばパラメータK1, K2, …, K8が得られる。すると、式ZによってPgからPcを計算できる。ここでは略すが、式Zを変形してPcからPgを計算する式も得られる。
結局、パラメータK1, K2, …, K8を求めておけば、撮像面すなわちガイド画像上の座標と、ガイドシート面の座標は簡単な計算によって相互に変換できることから、ガイド画像に対応するLCD102上の座標と、ガイドシート面に対応するコンテンツ900上の座標とが同様の計算によって相互に変換できる。たとえば、本実施例でも実施の形態1と同様、コンテンツ900がビットマップデータであれば、LCD上の各座標に対応するコンテンツ上のそれぞれの座標を求めてその輝度データをLCDに対応するメモリに転送すればよいし、コンテンツ900がベクトルデータであれば、コンテンツ上の特徴点の座標をLCD上の座標に変換した上でLCDに対応するメモリ上でレンダリングをおこなうとよい。
実際のカメラは複数のレンズを備えることもあり、座標変換の精度を重視するときは、光学歪みなどの補正を考慮したより複雑な方法を用いることもできる。しかし、本実施形態の変形例においては、ユーザによるガイドシート面や撮像面の位置変更は、LCD上における閲覧内容に即座に反映されるべきである。例えば所定の時間間隔で連続的に変更を反映するならば、高速に座標変換の計算ができる本実施例の方法が好ましい。また、座標変換にはある程度の精度が求められるが、ユーザによる意図的な変更以外に手ブレによっても座標位置は変化するから、変換で得られた座標をそのままLCD上に反映せずに、後述する手ブレ補正を施した方が、ユーザにとっては見易く好ましいことがある。
なお、上述の座標変換方法の説明は、ガイドシート面上の座標を撮像面上の座標に変換するために公知の手法が応用できることを示しているが、本実施形態にとっては、どのような座標変換方法を用いても構わない。例えば、最初にDLT法を用いて座標変換のパラメータを求めた後は、後述する動きベクトルを求める方法を用いて、座標値の変化を求めるようにしてもよい。
[実施の形態1の変形例2]
上記実施の形態は、ガイドシート面が仮想的な平面の一部であること、すなわち彎曲していないことを前提としている。ところがガイドシートが薄い紙のようなものである場合、ガイドシートの彎曲に従って対応するコンテンツも彎曲して見えるとより自然である。このような場合、ガイド画像について各座標指示マーカーを頂点とした四角形の小領域に区切り、それぞれの四角形の4つの頂点をサンプル点として上記パラメータK1, K2, …, K8を求め、LCDの該当部分に該当部コンテンツの該当部分をマッピングして表示するとよい。これによりガイドシートの彎曲に添ってコンテンツも彎曲して見える。
上記実施の形態は、ガイドシート面が仮想的な平面の一部であること、すなわち彎曲していないことを前提としている。ところがガイドシートが薄い紙のようなものである場合、ガイドシートの彎曲に従って対応するコンテンツも彎曲して見えるとより自然である。このような場合、ガイド画像について各座標指示マーカーを頂点とした四角形の小領域に区切り、それぞれの四角形の4つの頂点をサンプル点として上記パラメータK1, K2, …, K8を求め、LCDの該当部分に該当部コンテンツの該当部分をマッピングして表示するとよい。これによりガイドシートの彎曲に添ってコンテンツも彎曲して見える。
上記の応用として、球面をガイドシートとして用いることもできる。たとえば、球面に経度と緯度による座標情報を書き込んでおいたものをガイドシートとして、本発明によるコンテンツ表現制御装置を用いて、メルカトル図法で表現された世界地図のデータを上記のような四角形の小領域毎にマッピングすると、あたかも地球儀を見るように閲覧することが可能となる。実際の地球儀では固定された1種類の世界地図が閲覧できるだけであるが、本発明によると、時間軸別あるいは用途別の世界地図データを複数用意することにより、ひとつの球を表示媒体に見立てて、用途別の地球儀を閲覧したり、時間とともに変化する気象図を閲覧したりすることが可能となる。
同様に、立体的に成型された山岳模型に経度と緯度による座標情報を書き込んでおいたものをガイドシートとして、各種用途別の地図データをマッピングして利用することも可能である。
[実施の形態1の変形例3](ガイドシートのバリエーション)
以下では、実施の形態1の変形例3として、その他の多様なガイドシートの形態について図15および図16を参照して説明する。
以下では、実施の形態1の変形例3として、その他の多様なガイドシートの形態について図15および図16を参照して説明する。
図15(a)はガイドシート上の各点(図では”“*”で示す)のそれぞれの座標を図形や色のパターンではなく。文字(数字を含む)によって表現したものである。文字によって表現された座標値をデータとして読み取るには、OCR(Optical Character Reader)と呼ばれる装置において広く使用されている文字読取技術を応用することによって可能となる。
図15(b)はガイドシートとして自由な画像を用いたものである。すなわち、コンテンツ表現制御装置の内部にあらかじめ外部基準画像[図15(b)]の全体と同一または相似形のデータを照合用基準画像として保持しておき、操作時には図15(b)の一部を撮影してディジタル化したガイド画像とパターン照合することにより、どの部分がガイド画像として切り取られているか、すなわちビューを算出することができ、その算出結果を元にして表示するコンテンツのビュー制御が可能となる。
このとき用いる画像は、できるだけ隅々までパターンが書き込まれ、しかも部分ごとに似たパターンが少ないほど誤認識が少なくなり好適である。
なお、照合用基準画像とガイド画像のパターン照合はいかなる方法を用いてもよいが、第1の方法として、照合用画像データの左上の座標から順に拡大率を変えながらガイド画像を構成する各画素との輝度の差をとり、その差を比較部分の画素数で割った値が最小となる座標および拡大率を探索することによってビューを算出する方法がある。また、第2の方法として、照合用画像データを適切なブロックに分割し、ブロック毎に縦横の画素の色成分別の輝度の列を離散コサイン変換したデータと、ガイド画像について同様に離散コサイン変換したデータとを周波数成分別に照合する方法がある。
第2の方法はガイド画像全体に対して、まず低い周波数成分すなわち大まかな輝度変化のパターンから照合し、差異がある閾値内である場合のみ順次階層的に高い周波数成分照合していくことにより、無駄な細部の照合をできるだけ省略し、照合処理の効率化を図ろうというものである。
ここで、図15(b)のようにガイドシートとして自由な画像を用いる場合、使用する場所で撮影した静止画を用いることも可能であり、専用のガイドシートを持ち歩く必要がないという利点がある。たとえば、出張先でコンテンツを閲覧する場合、現地にて雑誌の表紙あるいは新聞紙の一部などを、撮影して照合用画像として登録した上で、ガイドシートとして用いるとよい。この場合、撮影した対象物の大きさにより、コンテンツの仮想的な大きさを決定することができる。例えば、新聞紙をA4版の大きさに折りたたんでそれを撮影・登録してガイドシートとして利用すると、コンテンツがA4版の大きさにマッピングされるので、操作者はコンテンツの仮想的な大きさがあたかもA4版であるように知覚する。
ここで、精度の高いビュー制御のためには比較的大きなガイドシートを用いるとよいし、一方、少ない動作で広範囲のビュー制御をおこなうためには比較的小さなガイドシートを用いるとよい。このように目的に応じて任意にビュー制御の精度を選択することが可能となる。なお、第1の実施例においても同様に、複数種類のスケールのガイドシートを用意して、要求される精度に応じて使い分けることができる。複数種類のスケールのガイドシートは、たとえば元になるガイドシートを単に拡大または縮小して複写することによって作成することができる。
また、逐次撮影されたガイド画像の変化から、カメラの撮像面に対するガイドシートの動きを表す動きベクトルを検出可能であれば、検出された動きベクトルを元にして表現するコンテンツの表現制御を可能としてもよい。輝度パターンの見かけの動き(オプティカルフロー)を検出して、そこから動きベクトルを計算する手法については、動画像処理の分野における多くの研究があり、その基本的な手法は文献: J.K.Aggarwal et al, On the computation of motion from sequences of images -- a review, Proc. IEEE, Vol. 76, No.8, pp.917-935, 1988に開示されている。ここで、ガイドとなる物体は平面状の物体や剛体でなくても、動きベクトルを検出可能なことがある。図16(c)はガイドとして操作者の片手(機器を持たないほうの手)を用いた例である。この場合、手の輪郭パターンや、手の皮膚のしわのパターンを用いたパターン照合を行ってビューを算出し、そこから動きベクトルを検出してもよいし、より一般的にオプティカルフローにもとづいて動きベクトルを求めてもよい。また、照合や検出の精度を上げるために、手の皮膚に特徴的な図形パターンあるいは図6のような座標指示マーカーを書き込んでおいたり、または、座標指示マーカーが印刷された手袋を用いてもよい。これらの際に、背景光の条件を整えるために、対象を撮影するカメラ106の近くに、同じ対象を照射するライトを設けて、撮影時に対象を照射するようにしてもよい。
図16(d)はたとえば携帯電話装置において撮影方向の転換が可能な場合、CCDカメラを操作者自身の顔に向け、ガイドとして顔の画像を用いた例である。この場合についても認識の精度が条件により変動するので、顔の皮膚に座標指示マーカーを書き込んでおく方法や座標指示マーカーが印刷された仮面や眼鏡を用いる方法も考えられる。このように、ビュー制御のために操作者自身の顔を用いる場合は、前後が反転するため処理のモード変更が必要となる。このとき、機器を顔から離すに伴い、通常は拡大率を上げると直感に合致して好ましいが、拡大率を上げる場合は細部を見たい場合が多いため、顔に近づけるに伴って拡大率を上げるほうが好ましい場合もある。
なお、基準画像の部分別に座標情報を含む電子透かしを挿入しておき、撮影された電子透かしを解読することにより座標情報を求め、コンテンツの表現に関するパラメータを制御する方法もある。画像の部分別に電子透かしを挿入する方法の例は、特開2001−109756公報に開示されている。該公報では、画像を部分毎に検索するためのキーワードを、特殊な電子透かし技術を用いて画像に埋め込むことを提案しているが、本願に係る発明に応用すると、ガイドシートとして用いる画像内の部分毎の座標情報を表現するために、該公報と同様の電子透かし技術を用いることができる。
また、図示しないが、座標情報はガイドシート上の色の変化で表現することも可能である。たとえば、ガイドシートの特定の座標の色を光の3原色である赤、緑、青、のそれぞれの成分の割合(R%,G%,B%)で表示すると、左上の色を(100%、0%、0%)とし、右上の色を(0%、100%、0%)として左上から右上にかけて赤と緑の成分をグラデーションとして徐々に変化させ、また、左下の色を(100%、0%、100%)、右下の色を(0%、100%、100%)として、縦軸および横軸ともに徐々に変化するように印刷しておくと、ガイドシート上の特定の点の色はユニークとなる。このガイドシートの一部を撮影してガイド画像とし、ガイド画像中の着色部分の任意の画素(着色部分のコーナーなど)の色の成分を分離することにより、その画素に対応するガイドシート上での縦軸および横軸の座標を逆算して推定することが可能となる。たとえば上記の例では、ある画素の色成分が(50%、50%、0%)となっているとすると、その画素はガイドシートの上辺の中点付近であることが推定できる。
このような場合、外部の照明の明るさや色などの条件により、認識される色の成分の値が変動するため、たとえば、ビュー制御の操作に先立って、あらかじめガイドシート全体を撮影し、着色部分の各コーナー4点の色の成分を記憶しておき、ビュー制御時の各座標算出のための基準値として利用するとよい。
[実施の形態1の変形例4](手ブレ補正など)
本発明に係るコンテンツ表現制御システムでは、前述のように、ユーザによる意図的な変更以外に、装置とガイドシートの位置関係が微妙に動くことによりコンテンツ表示が見づらくなることが考えられる。
本発明に係るコンテンツ表現制御システムでは、前述のように、ユーザによる意図的な変更以外に、装置とガイドシートの位置関係が微妙に動くことによりコンテンツ表示が見づらくなることが考えられる。
そこで、ガイドシートの撮影に際して、いわゆる手ブレ補正の機能があると好ましい。手ブレ補正は如何なる方法を用いてもよい。たとえば、複数の時点のガイド画像をもとにしてそれぞれのビューに関するパラメータを算出し、それらの平均(移動平均)をとって得られる値を用いてコンテンツのビューを制御すると、表示上の細かいブレが緩和される。
また、ガイドシートの動きに対して、ビューの動き方を一部制限することで見やすくなることがある。たとえば、前述のようにCCDカメラとガイドシートの間で3次元空間のいずれかの座標軸を中心とする回転は閲覧の自由度を高めるが、反面、文字などのコンテンツは見にくくなることがあると考えられるため、カメラを基準とする3次元のxyz座標系で考えると、x、y、zのいずれかまたは全ての軸を中心とする回転を制限してもよい。たとえば、xおよびy軸を中心とする回転は、いずれも原則としてビュー制御に影響しないものとし、z軸を中心とする回転においては、−45度〜+45度の回転はビュー制御に影響しないとすると、表示は安定する一方、ビューの縦横の向きは制御可能となる。また、コンテンツが変化する最小時間間隔を制限することによっても表示を安定させることができる。さらにズーム制御を一時的あるいは恒常的に停止すると、ビュー制御の自由度は制限される反面、表示の安定度は向上する。上述のように、特に文字においては表示の安定度が要求されるために、ビューの回転や拡大・縮小に際して、各文字列の左上の座標のみを制御の対象とし、各文字の形状や向きには影響しないように制御してもよい。また、キー操作などにより全ての方向および回転軸によるビュー移動を一時停止させることができれば表示を安定させることができ見やすくなる。すなわち図7のフローチャートを参照して、ステップS09において、終了指示有無の判定の他、一時停止指示有無を判定し、一時停止指示がある場合は指示が解除されるまでステップS01への帰還を保留するとよい。
[実施の形態1の変形例5](カメラの位置)
本発明にかかる以上の実施の形態およびその変形例においては、図1を参照して、LCD102の中央の裏面にCCDカメラ106が位置するように構成することが好ましい。これにより、機器とガイドシートを十分接近させた場合でも直感的な移動操作により、あたかもコンテンツを虫眼鏡で覗くようにビュー制御することが可能となる。
本発明にかかる以上の実施の形態およびその変形例においては、図1を参照して、LCD102の中央の裏面にCCDカメラ106が位置するように構成することが好ましい。これにより、機器とガイドシートを十分接近させた場合でも直感的な移動操作により、あたかもコンテンツを虫眼鏡で覗くようにビュー制御することが可能となる。
しかしながら、実際の携帯電話装置においては構造上の制限によりCCDカメラがLCDの周辺部の裏面に位置する場合がある。
たとえば、図17を参照して、CCDカメラ1406がLCD1402の右下端1407の裏面1406に位置する場合を考える。この場合、操作者がコンテンツの左上の頂点付近を見ようとして、LCDの中心をガイドシートの左上の頂点付近に移動させると、CCDカメラはガイドシートの左上の頂点より右下方を中心として撮影することになる。その結果、実施の形態1の方法では、コンテンツがガイドシートの左上方向にずれてマッピングされているような感覚をもたらしてしまうことになる。そこで、上記実施の形態1に準じる場合においてはコンテンツの座標(Xr,Yr)の計算式について、次のように一定の値αおよびβを加算して補正するとよい。
Xr=Xw・(Xq−Xp)/Xv+Xp+α
Yr=Yw・(Yq−Yp)/Yv+Yp+β
但し、この場合、ガイドシートの下端または右端付近を見ようとすると、CCDカメラがガイドシートの有効部分の外側を撮影することになるので、注意が必要である。この場合、図18を参照して座標指示マーカー群をガイドシートの右下方向に拡張または平行移動させて印刷する方法がある。各座標指示マーカーの値を変えずに座標指示マーカー群を単に右下方向に平行移動させておく場合は上記計算式のαおよびβによる補正は必要ない。
Yr=Yw・(Yq−Yp)/Yv+Yp+β
但し、この場合、ガイドシートの下端または右端付近を見ようとすると、CCDカメラがガイドシートの有効部分の外側を撮影することになるので、注意が必要である。この場合、図18を参照して座標指示マーカー群をガイドシートの右下方向に拡張または平行移動させて印刷する方法がある。各座標指示マーカーの値を変えずに座標指示マーカー群を単に右下方向に平行移動させておく場合は上記計算式のαおよびβによる補正は必要ない。
また、図19を参照して、1枚の座標指示マーカーを複数の端末機種に対応させる方法を示す。すなわち、大きめのガイドシート1600の中央に座標指示マーカー群1601を配置し、操作者の携帯電話装置の機種に応じて定められた撮影範囲を破線1602または1603によって示しておくものである。例えば、CCDカメラが、LCDの右下の裏面に位置する機種の場合は操作者が破線1602によって示された撮影範囲を使用し、LCDの左上の裏面に位置する機種の場合は操作者が破線1603によって示された撮影範囲を使用するなどのように定めておくとよい。
[実施の形態1の変形例6](カメラの位置)
あるいは、図20のように鏡面またはプリズムを用いてカメラLCDの中心とカメラの中心を一致させてもよい。
あるいは、図20のように鏡面またはプリズムを用いてカメラLCDの中心とカメラの中心を一致させてもよい。
図20(a)本実施例における側面図であり、図20(b)は背面図である。携帯電話機1700においてLCD1701とCCDカメラ1702の中心位置が図のように異なる場合、補正器具1710を用いてCCDカメラの撮像における中心線を補正することが可能である。補正器具1710の内部に鏡面1711および鏡面1712を固定することにより、CCDカメラ1702の撮像における中心線がそれぞれの鏡面による反射により経路1712をたどることになり、撮影範囲の中心1714がLCD1701の中心位置と一致する。
なお、携帯電話機1700への補正器具1710の固定は、周知の方法を用いることが可能であるので、ここでは説明を省略する。
[実施の形態1の変形例7](ビュー以外の制御)
ここでは、本発明に係るコンテンツの表現に対する制御として、これまでの実施の形態および変形例で示したビューの制御以外にも適用可能であることを示す。
ここでは、本発明に係るコンテンツの表現に対する制御として、これまでの実施の形態および変形例で示したビューの制御以外にも適用可能であることを示す。
実施の形態1において、XpおよびXq(あるいはYpおよびYq)を求めることにより、CCDカメラ106からガイドシートA101までの距離を求めることができる。すなわちその距離をdとすると、dはXq−Xpに比例する。たとえば、Xq−Xp=Xv(等倍表示)であるときの距離をvとすると、
d=v・(Xq−Xp)/Xv
として計算できる。
d=v・(Xq−Xp)/Xv
として計算できる。
たとえば、複数ページから構成されるプレゼンテーションのようなコンテンツでは、z軸上の値(すなわち機器とガイドシートとの距離=d)を、コンテンツの拡大率の決定ではなく、閲覧対象ページの決定に用いることができる。具体的にはコンテンツの各ページのデータの先頭を指し示すポインタの配列をPi (i=1..n)とすると、添え字iは、以下のようにして計算できる。
i=n−[a・d]
(但し、[]は小数点以下切り捨て演算、aは定数,1≦i≦n)
このときはコンテンツの拡大率は一定となるが、CCDカメラ106からガイドシート401までの距離(以下これをガイドシート上の原点を基準とするz軸方向の値とする)を、コンテンツの拡大率の決定に用いるか、あるいは閲覧対象ページの決定に用いるか、といういずれかのモードを操作者がキー操作などで選択できるようにしておけばよい。なお、コンテンツ表現制御装置はWWW(World Wide Web)ページへのアクセス機能を備え、上記ポインタが示す対象はURL(Uniformed Resource Locator)であって、Z軸方向の値を、たとえば閲覧履歴などに基づいてあらかじめ順序付けされたURLが示すWWWページの表示制御に用いてもよい。
(但し、[]は小数点以下切り捨て演算、aは定数,1≦i≦n)
このときはコンテンツの拡大率は一定となるが、CCDカメラ106からガイドシート401までの距離(以下これをガイドシート上の原点を基準とするz軸方向の値とする)を、コンテンツの拡大率の決定に用いるか、あるいは閲覧対象ページの決定に用いるか、といういずれかのモードを操作者がキー操作などで選択できるようにしておけばよい。なお、コンテンツ表現制御装置はWWW(World Wide Web)ページへのアクセス機能を備え、上記ポインタが示す対象はURL(Uniformed Resource Locator)であって、Z軸方向の値を、たとえば閲覧履歴などに基づいてあらかじめ順序付けされたURLが示すWWWページの表示制御に用いてもよい。
同様に、時間軸を持った動画コンテンツに関してはz軸をコンテンツ内の表示対象フレームあるいは再生開始フレームの決定に用いることができる。具体的には上記コンテンツの各ページを各表示フレームあるいは各表示開始フレームに置き換えることで実現できる。
以上のようなコンテンツにおけるページあるいは時間軸の制御に関しては、z軸を用いるだけではなく、ガイドシートを撮影することによって読み取るx軸またはy軸方向の座標情報を用いてもよい。たとえば、動画コンテンツに関して、x軸方向の座標情報を表示フレーム単位の細かい制御に用い、y軸方向の座標情報をおおまかな表示シーンの制御に用いてもよいし、z軸方向を表示拡大率の制御に用いてもよい。この場合は表示部分の中心位置などが一定となるため、x軸またはy軸方向の座標情報はスクロールの制御に用いることができないが、x軸またはy軸を、コンテンツの時間軸の制御に用いるか、あるいはスクロールの制御に用いるか、といういずれかのモードを操作者がキー操作などで選択できるようにしておけばよい。なお、x軸あるいはy軸に割り当てられたパラメータはガイドシート上の絶対座標の指示が容易であるため、z軸に割り当てられたパラメータと比較して、より精密に制御することが可能となる。
[実施の形態1の変形例8]
上記のように本発明による制御装置により、x軸、y軸、あるいはz軸に対応する制御値を取得することにより、その制御値を用いてコンテンツの表現に関する様々なパラメータの制御が可能となる。
上記のように本発明による制御装置により、x軸、y軸、あるいはz軸に対応する制御値を取得することにより、その制御値を用いてコンテンツの表現に関する様々なパラメータの制御が可能となる。
たとえば、本発明に係るコンテンツを音声、音響、または音楽とすると、表現に対する制御の対象となるパラメータとしては、時間軸上の再生位置、音量、音像の定位、再生ピッチ、あるいは特定の音響効果の度合いなどが挙げられる。たとえば特定の音源について、上記x軸およびy軸上の位置により平面上の音像の定位を直感的に制御し、z軸上の位置により音量を制御することなどが可能である。なお、本発明による制御装置の出力は数値データとして得られるので、その数値データを用いて音に関する上記各パラメータを制御する方法は、当業者にとって周知な方法を用いることができるので、ここでは詳細な説明を省略する。
[実施の形態1の変形例9]
本実施例に係るコンテンツ表現制御装置によって制御されるコンテンツを、テレビジョン放送を一括してハードディスクなどに記録した動画データの集合であるとすると、たとえばx軸は放送局あるいは放送日、y軸は放送時間帯、z軸は特定の番組内の時間軸、をそれぞれ制御することができる。
本実施例に係るコンテンツ表現制御装置によって制御されるコンテンツを、テレビジョン放送を一括してハードディスクなどに記録した動画データの集合であるとすると、たとえばx軸は放送局あるいは放送日、y軸は放送時間帯、z軸は特定の番組内の時間軸、をそれぞれ制御することができる。
この場合、ガイドシートは番組一覧表と兼用するとよい。すなわち、通常の番組一覧表上に座標指示マーカーを縦横に並べたものをガイドシートとして使用すると、番組の検索が容易となる。この場合、番組一覧表と座標指示マーカーは別の色で印刷すると画像処理において分離が容易となり計算コストを抑えることができる。同様の目的で、座標指示マーカーを透明なフィルム上に特定の色で印刷しておき、新聞などで供給される番組一覧表の上に重ね合わせて使用してもよい。ここでも、本発明による制御装置によりx軸、y軸、あるいはz軸に対応する制御値を取得することができれば、ハードディスク中の再生すべき動画データの放送日、放送時間帯、または特定の番組内の時間軸などのパラメータを制御することは当業者に自明であるのでここでは詳細な説明を省略する。
[実施の形態1の変形例10](ロボットカメラ)
本実施例に係るコンテンツ表現制御装置は、遠隔制御可能な監視カメラのビューを制御対象とする。ここでは、監視カメラが撮影し出力する映像を制御対象のコンテンツと考える。たとえばステッピングモータなどの機構を用いることにより、縦方向の撮影角度、横方向の撮影角度、またはズームを遠隔制御可能な監視カメラが存在するが、本発明によるコンテンツ表現制御装置の出力を用いて、x軸による制御値を縦方向の撮影角度、y軸による制御値を横方向の撮影角度、そしてz軸による制御値をズームの、それぞれの制御に用い、監視カメラの映像データはそのまま操作者の手許のコンテンツ表現制御装置に送信し、LCDに表示することにより、直感的に監視カメラのビューを制御することが可能となる。
本実施例に係るコンテンツ表現制御装置は、遠隔制御可能な監視カメラのビューを制御対象とする。ここでは、監視カメラが撮影し出力する映像を制御対象のコンテンツと考える。たとえばステッピングモータなどの機構を用いることにより、縦方向の撮影角度、横方向の撮影角度、またはズームを遠隔制御可能な監視カメラが存在するが、本発明によるコンテンツ表現制御装置の出力を用いて、x軸による制御値を縦方向の撮影角度、y軸による制御値を横方向の撮影角度、そしてz軸による制御値をズームの、それぞれの制御に用い、監視カメラの映像データはそのまま操作者の手許のコンテンツ表現制御装置に送信し、LCDに表示することにより、直感的に監視カメラのビューを制御することが可能となる。
図21は、本実施の形態1の変形例におけるコンテンツ表現制御システムの機能構成を示す図である。
図21を参照して、本システムはコンテンツ表現制御装置1800と、遠隔制御可能な監視カメラ装置1810と、ガイド画像データ311の元になるガイドシートから構成される。コンテンツ表現制御装置1800において、301ないし303は図4に示す各部に準じる。表現制御データ生成部303からは、上述のx軸、y軸、および、z軸による制御値が出力され、監視カメラ装置1810に送られ1810ないし1813の各部の制御に用いられる。監視画像入力部1814によって入力された監視画像はそのままコンテンツ表現制御装置1800の表示部1805に送られ、表示される。
このような監視カメラは、遠隔操作により移動可能な車体やロボットなどに搭載されている場合、本発明によるコンテンツ表現制御装置の出力を用いて車体やロボットなどの位置や移動方向・移動速度などを制御してもよい。
[実施の形態1の変形例11]
本実施例に係るコンテンツ表現制御装置はコンテンツの編集に際して編集ポイントの移動に用いることができる。文書編集装置、図形編集装置、または動画編集装置などを総称してコンテンツ編集装置と呼ぶことにすると、コンテンツ編集装置はコンテンツ閲覧装置の機能を含むといえる。
本実施例に係るコンテンツ表現制御装置はコンテンツの編集に際して編集ポイントの移動に用いることができる。文書編集装置、図形編集装置、または動画編集装置などを総称してコンテンツ編集装置と呼ぶことにすると、コンテンツ編集装置はコンテンツ閲覧装置の機能を含むといえる。
コンテンツ編集装置の編集ポイントはカーソルとして扱われることが多いが、このようなカーソルの移動に本発明による制御装置の出力を用いることができる。たとえば、カーソルの縦方向の移動にx軸による制御値、横方向の移動にy軸による制御値、をそれぞれ用いることができる。この場合カーソル移動にしたがいコンテンツのビューを移動させてもよいし、移動させなくてもよい。また、この場合、z軸の制御値を先の実施例のようなズーム制御に用いてもよいし、コンテンツのページあるいは時間軸の移動制御に用いてもよい。ページあるいは時間軸の制御に用いた場合は、編集ポイントを示すカーソルも時間軸に添って移動させるとよい。
[実施の形態1の変形例12]
さらに、上述の装置すなわちコンピュータにおけるコンテンツ表現制御方法を、プログラムとして提供することもできる。このようなプログラムは、フレキシブルディスク、CD−ROM(Compact Disc-ROM)、ROM、RAMおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、通信ネットワークを介したダウンロードによって、プログラムを提供することもできる。
さらに、上述の装置すなわちコンピュータにおけるコンテンツ表現制御方法を、プログラムとして提供することもできる。このようなプログラムは、フレキシブルディスク、CD−ROM(Compact Disc-ROM)、ROM、RAMおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、通信ネットワークを介したダウンロードによって、プログラムを提供することもできる。
提供されるプログラム製品は、ハードディスクなどのプログラム格納領域231に読み込まれて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
以上の実施の形態および変形例において説明したように、本発明では、ズーム操作を、ビュー移動操作の一種として、スクロール操作と同時あるいは連続的な操作で行うことが可能である。
さらに、本発明では、その操作にあたり、システム全体の携帯性を維持しつつ、操作を行うことが可能になる。
また、本発明では、特定のオブジェクトに接近してそのビューを精密に制御することが可能である。たとえば、上述した非特許文献3のようにコード枠の形状の認識による位置合わせで十分な精度を得るためには、少なくともひとつの2次元マトリックスコードの全体がカメラの撮影範囲内に十分な大きさで撮影されていることが必要であり、撮影されたコードの画像が小さいほどコード枠の形状の認識における量子化誤差が大きくなって精度が低下する。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
101 携帯電話機、102 LCD、106 CCDカメラ、311 ガイド画像データ、301 画像データ取得部、302 対応関係情報取得部、303 表現制御データ生成部、304 表現データ制御部、401 ガイドシート、402 座標指示マーカー、700 ガイド画像、900 コンテンツ、901 ビュー、1710 補正器具。
Claims (7)
- ユーザが手に持った装置本体を、自由に動かして被写体を撮影可能な撮影手段と、
ユーザが手に持った装置本体を、自由に動かして表示面を見ることが可能な、コンテンツを表示する画像表示手段と、
前記撮影手段が前記コンテンツの表示制御の基準となる基準物体を撮影した、照合用の基準画像のデータを記憶する基準画像データ記憶手段と、
前記撮影手段が前記基準物体の一部または全体を撮影したガイド画像のデータを入力するガイド画像データ入力手段と、
前記入力されたガイド画像と前記基準画像とのそれぞれの特徴を照合して、前記ガイド画像が前記基準画像のどの部分範囲に対応するかという、前記基準画像に対する前記ガイド画像の表示範囲を特定する対応範囲情報を取得する画像照合手段と、
前記画像照合手段が取得する対応範囲情報に基づいて前記画像表示手段が表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成手段と、
前記表示制御データ生成手段が生成する表示制御データを出力する表示制御データ出力手段と、
前記表示制御データ出力手段が出力する表示制御データに基づいて前記画像表示手段を制御する表示制御手段とを備え、
前記画像照合手段が取得する対応範囲情報は、照合する前記ガイド画像の前記基準画像における位置情報を含み、
前記表示制御データ生成手段が生成する表示制御データは、前記表示画像の表示範囲を特定する位置情報を含む、コンテンツ表現制御装置。 - 前記表示制御データ生成手段または前記表示制御手段は前記ガイド画像の変化に対するコンテンツの表現に関するパラメータの変化を一部制限する、請求項1に記載のコンテンツ表現制御装置。
- 前記表示制御データ生成手段は、
前記取得された対応範囲情報に基づいて、前記撮影手段から前記基準物体迄の距離に対応する距離対応情報を算出する距離対応情報算出手段を含み、
該距離対応情報を用いて前記表示制御データを生成する、請求項1または2に記載のコンテンツ表現制御装置。 - 特定の前記表示制御データと前記距離対応情報との対応関係を切り替える対応関係切替手段をさらに備える、請求項3に記載のコンテンツ表現制御装置。
- ユーザが手に持った装置本体を、自由に動かして被写体を撮影可能な撮影ステップと、
ユーザが手に持った装置本体を、自由に動かして表示面を見ることが可能な、コンテンツを表示する画像表示ステップと、
前記撮影ステップが前記コンテンツの表示制御の基準となる基準物体を撮影した、照合用の基準画像のデータを記憶する基準画像データ記憶ステップと、
前記撮影ステップが前記基準物体の一部または全体を撮影したガイド画像のデータを入力するガイド画像データ入力ステップと、
前記入力されたガイド画像と前記基準画像とのそれぞれの特徴を照合して、前記ガイド画像が前記基準画像のどの部分範囲に対応するかという、前記基準画像に対する前記ガイド画像の表示範囲を特定する対応範囲情報を取得する画像照合ステップと、
前記画像照合ステップが取得する対応範囲情報に基づいて前記画像表示ステップが表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成ステップと、
前記表示制御データ生成ステップが生成する表示制御データを出力する表示制御データ出力ステップと、
前記表示制御データ出力ステップが出力する表示制御データに基づいて前記画像表示ステップを制御する表示制御ステップとをコンピュータに実行させ、
前記画像照合ステップが取得する対応範囲情報は、照合する前記ガイド画像の前記基準画像における位置情報を含み、
前記表示制御データ生成ステップが生成する表示制御データは、前記表示画像の表示範囲を特定する位置情報を含む、コンテンツ表現制御プログラム。 - コンテンツの表現を制御するコンテンツ表現制御装置のための、前記コンテンツの表現制御の基準となる基準物体であって、
外部から撮影可能な表面の部位に、複数個の座標系上の座標を示す座標指示マーカーを備え、
前記座標指示マーカーは、
前記座標指示マーカーであることを前記コンテンツ表現制御装置に認識させるための基準パターンと、
前記基準パターンの位置の座標情報を表す座標情報パターンとを含み、
前記基準パターンおよび前記座標情報パターンの少なくとも1方は、特定の色で着色され、
前記コンテンツ表現制御装置は、
撮影手段と、
コンテンツを表示する画像表示手段と、
前記撮影手段が前記基準物体の一部または全体を撮影したガイド画像のデータを入力するガイド画像データ入力手段と、
前記ガイド画像データ入力手段が入力したガイド画像において、前記基準物体に対応する該ガイド画像の位置を特定する、少なくとも2個の前記座標指示マーカーを重要マーカーとして決定する重要マーカー決定手段と、
前記重要マーカー決定手段が決定した重要マーカーから前記基準物体に対して前記ガイド画像が対応する位置を特定する対応関係情報を取得する対応関係情報取得手段と、
前記対応関係情報取得手段が取得する対応関係情報に基づいて、前記画像表示手段が表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成手段と、
前記表示制御データ生成手段が生成する表示制御データを出力する表示制御データ出力手段と、
前記表示制御データ出力手段が出力する表示制御データに基づいて前記画像表示手段を制御する表示制御手段とを備える、コンテンツ表現制御用基準物体。 - コンテンツの表現を制御するコンテンツ表現制御装置と、該コンテンツ表現制御装置のための前記コンテンツの表現制御の基準となる基準物体とを含むコンテンツ表現制御システムであって、
前記基準物体は、外部から撮影可能な表面の部位に、複数個の座標系上の座標を示す座標指示マーカーを備え、
前記コンテンツ表現制御装置は、
撮影手段と、
コンテンツを表示する画像表示手段と、
前記撮影手段が前記基準物体の一部または全体を撮影したガイド画像のデータを入力するガイド画像データ入力手段と、
前記ガイド画像データ入力手段が入力したガイド画像において、前記基準物体に対応する該ガイド画像の位置を特定する、少なくとも2個の前記座標指示マーカーを重要マーカーとして決定する重要マーカー決定手段と、
前記重要マーカー決定手段が決定した重要マーカーから前記基準物体に対して前記ガイド画像が対応する位置を特定する対応関係情報を取得する対応関係情報取得手段と、
前記対応関係情報取得手段が取得する対応関係情報に基づいて、前記画像表示手段が表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成手段と、
前記表示制御データ生成手段が生成する表示制御データを出力する表示制御データ出力手段と、
前記表示制御データ出力手段が出力する表示制御データに基づいて前記画像表示手段を制御する表示制御手段とを備える、コンテンツ表現制御システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009124357A JP4703744B2 (ja) | 2009-05-22 | 2009-05-22 | コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009124357A JP4703744B2 (ja) | 2009-05-22 | 2009-05-22 | コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004099912A Division JP4550460B2 (ja) | 2004-03-30 | 2004-03-30 | コンテンツ表現制御装置およびコンテンツ表現制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009259254A JP2009259254A (ja) | 2009-11-05 |
JP4703744B2 true JP4703744B2 (ja) | 2011-06-15 |
Family
ID=41386517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009124357A Expired - Fee Related JP4703744B2 (ja) | 2009-05-22 | 2009-05-22 | コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4703744B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103246447A (zh) * | 2012-02-10 | 2013-08-14 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5347993B2 (ja) * | 2010-01-28 | 2013-11-20 | 三菱電機株式会社 | プログラマブル表示器及びその表示方法 |
JP2014106490A (ja) * | 2012-11-29 | 2014-06-09 | Buffalo Inc | 符号画像処理システム、符号画像表示装置、画像表示装置、及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0793089A (ja) * | 1993-09-22 | 1995-04-07 | Hitachi Ltd | 画像編集装置 |
JP2002164990A (ja) * | 2000-11-28 | 2002-06-07 | Kyocera Corp | 携帯通信端末装置 |
JP2003233460A (ja) * | 2002-02-06 | 2003-08-22 | Ricoh Co Ltd | 座標入力装置 |
-
2009
- 2009-05-22 JP JP2009124357A patent/JP4703744B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0793089A (ja) * | 1993-09-22 | 1995-04-07 | Hitachi Ltd | 画像編集装置 |
JP2002164990A (ja) * | 2000-11-28 | 2002-06-07 | Kyocera Corp | 携帯通信端末装置 |
JP2003233460A (ja) * | 2002-02-06 | 2003-08-22 | Ricoh Co Ltd | 座標入力装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103246447A (zh) * | 2012-02-10 | 2013-08-14 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
Also Published As
Publication number | Publication date |
---|---|
JP2009259254A (ja) | 2009-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109584295B (zh) | 对图像内目标物体进行自动标注的方法、装置及系统 | |
JP3834766B2 (ja) | マンマシーン・インターフェース・システム | |
CN107251101B (zh) | 针对使用具有参数的标记的增强现实的场景修改 | |
JP4584246B2 (ja) | 物体上に出力画像を表示する方法 | |
KR20210047278A (ko) | Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 | |
JP4137078B2 (ja) | 複合現実感情報生成装置および方法 | |
EP2560145A2 (en) | Methods and systems for enabling the creation of augmented reality content | |
US20150040074A1 (en) | Methods and systems for enabling creation of augmented reality content | |
CN108304075B (zh) | 一种在增强现实设备进行人机交互的方法与设备 | |
KR20080006006A (ko) | 화상 표시 장치, 화상 표시 방법 및 명령 입력 방법 | |
CN109739361A (zh) | 基于眼睛跟踪的可见度提高方法和电子装置 | |
JP2011008752A (ja) | ドキュメント操作システム、ドキュメント操作方法およびそのためのプログラム | |
KR20120138187A (ko) | 인쇄매체 기반 혼합현실 구현 장치 및 방법 | |
JP6096634B2 (ja) | 仮想現実を用いた3次元地図表示システム | |
WO2021227628A1 (zh) | 一种电子设备及其交互方法 | |
CN104081307A (zh) | 图像处理装置、图像处理方法和程序 | |
JP2009169768A (ja) | 情報処理装置及びプログラム | |
JP3879106B1 (ja) | 情報出力装置 | |
JP6597259B2 (ja) | プログラム、情報処理装置、画像表示方法、画像処理システム | |
JP2008117083A (ja) | 座標指示装置、電子機器、座標指示方法、座標指示プログラム、及び座標指示プログラムを記録した記録媒体 | |
JP4703744B2 (ja) | コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラム | |
KR102464271B1 (ko) | 포즈 획득 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
JPWO2018025825A1 (ja) | 撮像システム | |
JP4550460B2 (ja) | コンテンツ表現制御装置およびコンテンツ表現制御プログラム | |
JP4330637B2 (ja) | 携帯機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110222 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110308 |
|
LAPS | Cancellation because of no payment of annual fees |