JP4743892B2 - 撮影画像に付加画像を重畳させて表示する端末及びプログラム - Google Patents

撮影画像に付加画像を重畳させて表示する端末及びプログラム Download PDF

Info

Publication number
JP4743892B2
JP4743892B2 JP2007028871A JP2007028871A JP4743892B2 JP 4743892 B2 JP4743892 B2 JP 4743892B2 JP 2007028871 A JP2007028871 A JP 2007028871A JP 2007028871 A JP2007028871 A JP 2007028871A JP 4743892 B2 JP4743892 B2 JP 4743892B2
Authority
JP
Japan
Prior art keywords
image
additional information
display
photographing
superimposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007028871A
Other languages
English (en)
Other versions
JP2008193640A (ja
Inventor
絵美 明堂
幸一 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2007028871A priority Critical patent/JP4743892B2/ja
Publication of JP2008193640A publication Critical patent/JP2008193640A/ja
Application granted granted Critical
Publication of JP4743892B2 publication Critical patent/JP4743892B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、対象物を撮影するカメラ部と、その撮影画像を表示するディスプレイ部とを有する端末及びプログラムに関する。
近年、携帯電話機やデジタルカメラのような携帯端末は、対象物を撮影するカメラ部と、その撮影画像を表示するディスプレイ部とを搭載する場合が多い。利用者は、様々な対象物がファインダに写り、その画像(以下「ファインダ画像」という)をディスプレイ部に表示して、確認することができる。そして、利用者は、撮影したい画像がディスプレイ部に表示された際に、キー操作部を操作して、その画像を撮影することができる。撮影された画像は、メモリ記憶部へ記憶され、必要に応じて、パーソナルコンピュータ等の外部装置へ出力される。
特許第3772367号公報 特開2003−296670号公報 特開2006−25055号公報
通常、携帯端末のディスプレイ部は、1枚のファインダ画像のみを表示する。所望のファインダ画像に対して利用者がシャッターキーを押下することにより、1枚の撮影画像が携帯端末内に記録される。その撮影画像に重畳される情報として、例えば、日付情報がある。これにより、日付情報が付加された撮影画像が記録され、その撮影画像を転送しても、常に日付を視覚的に確認することができる。
しかしながら、日付情報以外に、予め作成されている情報で撮影画像に重畳する情報は、ほとんど想定されていない。また、撮影画像に付加情報を重畳表示させたいとしても、その付加情報の表示位置を特定することは難しい。撮影画像の位置が予め把握した上で、撮影画像と付加情報との相対的位置を決定しなければならない。
また、AR(Augmented Reality:拡張現実感)と称される技術がある。これは、透過型ディスプレイを装着し、ユーザが見ている対象物に画像などを重ねて説明を補うものである。基本的に、位置合わせのために、マーカが対象物周辺に表示される。ARでは、ヘッドマウントディスプレイ等の一般的でない高価な専用機器が必要となり、汎用的ではない。重ね合わせる付加情報は、利用者が予め準備しておく必要があり、対象物周辺から容易に入手できるものではない。
そこで、本発明は、撮影対象物周辺から入手可能な様々な付加情報を、汎用的なカメラによって撮影される撮影画像に、直感的に位置合わせしやすいインターフェースを用いてその場で重畳させて表示することにより、利便性を向上させることができる端末及びプログラムを提供することを目的とする。
本発明によれば、対象物を撮影するカメラ手段と、該カメラ手段に写るファインダ画像を表示するディスプレイ手段とを有する端末において、
付加情報を取得する付加情報取得手段と、
付加情報に対応付けられた、対象物を撮影するための枠画像、及び、対象物に関する説明文字画像を取得する付加画像取得手段と、
枠画像をファインダ画像に重畳させ、その重畳画像をディスプレイ手段に表示させる表示制御手段と、
ディスプレイ手段に表示された重畳画像を撮影する撮影制御手段と
を有し、
表示制御手段は、撮影制御手段が重畳画像を撮影する際、又は、撮影する前に、説明文字画像を更に重畳させ、その重畳画像をディスプレイ手段に表示させる
ことを特徴とする。
本発明の端末における他の実施形態によれば、
付加情報取得手段は、コードリーダであって、ファインダ画像に写るデジタルコードを読み取ることによって付加情報を取得するものであり、
デジタルコードは、1次元コード、2次元コード、3次元コード又は電子透かしであることも好ましい。
本発明の端末における他の実施形態によれば、付加情報取得手段は、非接触リーダを介して、非接触ICチップから付加情報を取得することも好ましい。
本発明の端末における他の実施形態によれば、
付加情報は、サーバのアドレスであり、
付加画像取得手段は、ネットワークを介してアドレスのサーバへアクセスし、該サーバから付加画像を取得し、該付加画像を付加情報取得手段へ通知することも好ましい。
本発明の端末における他の実施形態によれば、
枠画像に、ファインダ画像に写る対象物の外縁が合致すること検出するコーナー検出手段を更に有し、
撮影制御手段は、合致が検出された際に、重畳画像を撮影することも好ましい。
本発明の端末における他の実施形態によれば、端末は、携帯電話機、デジタルカメラ又は携帯端末であってもよい。
本発明によれば、対象物を撮影するカメラ手段と、該カメラ手段に写るファインダ画像を表示するディスプレイ手段とを有する端末に搭載されたコンピュータを機能させるプログラムにおいて、
付加情報を取得する付加情報取得手段と、
付加情報に対応付けられた、対象物を撮影するための枠画像及び対象物に関する説明文字画像を取得する付加画像取得手段と、
枠画像をファインダ画像に重畳させ、その重畳画像をディスプレイ手段に表示させる表示制御手段と、
ディスプレイ手段に表示された重畳画像を撮影する撮影制御手段と
を有し、
表示制御手段は、撮影制御手段が重畳画像を撮影する際、又は、撮影する前に、対象物に関する説明文字画像を更に重畳させ、その重畳画像をディスプレイ手段に表示させる
ようにコンピュータを機能させることを特徴とする。
本発明の端末及びプログラムによれば、対象物周辺から入手可能な様々な付加情報を、汎用的なカメラによって撮影される撮影画像に、直感的に位置合わせしやすいインターフェースを用いてその場で重畳させて表示することにより、利便性を向上させることができる。具体的には、撮影場所で入手可能な、各々の対象物に適した枠画像をファインダ画像として用いるために、利用者は、直感的に撮影画像の位置合わせをすることができ、撮影画像の部位に応じた位置に説明文字画像を重畳して表示させることができる。
以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。
図1は、本発明における携帯端末の使用態様図である。
以下では、携帯端末は、携帯電話機であるとして説明する。勿論、デジタルカメラであってもよい。図1によれば、携帯電話機1は、利用者から見て、前面にディスプレイ部102及びキー操作部103を有し、背面にカメラ部101及び非接触リーダ部104を有する。カメラ部101によって取り込まれたファインダ画像は、ディスプレイ部102に表示される。通常、利用者は、ディスプレイ部102に表示された画像を見ながら、所望の撮影タイミングに、キー操作部103のシャッターキーを押下して撮影する。
図1によれば、撮影される対象物は、例えば、額縁に入った人物画であるとする。その人物画には、5人の人物が描かれている。そして、その人物画は、壁に掛けられている。ここでは、例えば、美術館のような場所を想定している。
また、図1によれば、人物画の右上にQRコード21が表示されている。勿論、QRコードに限られず、バーコード又はカラーコードであってもよいし、読み取り可能なデジタルコードであればよい。これらデジタルコードは、対象物の一部に付与されたものであってもよいし、例えば人物画の中に埋め込まれたものであってもよい。
更に、図1によれば、人物画の右下に非接触ICチップ22が付与されている。非接触ICチップ22は、アンテナを有し、非接触リーダからの弱電波によってデータ通信をすることができる。勿論、非接触リーダと非接触ICチップとが、赤外線のような光によってデータ通信をするものであってもよい。
本発明によれば、QRコード21及び非接触ICチップ22は、付加情報を含む。付加情報は、例えば、画像位置合わせのための枠画像や、画像を説明する説明文字画像である。
付加情報は、例えば、以下のようなフォーマットを用いて規定される([区切り文字]を":"","とする)。
[重畳情報1]:[重畳情報2]:[重畳情報3]:〜:[重畳情報N]
重畳情報=[表示種別,x座標,y座標,オプション]
[重畳情報]は、表示種別に応じて、ディスプレイ部102の(x,y)座標の位置に、オプションで規定された画像を表示することを指定する。従って、表示種別に応じてオプションも異なる。表示種別は、例えば以下のような5通りが考えられる。
例)W,20,10,8,8,10,”明堂氏”
例)W,20,10,8,8,10,”http://...”
「W」:表示種別(文字列を表示する)
「20,10」:x座標、y座標(開始点の座標を表す)
オプション=文字色,背景色,フォントサイズ,文字列
「8」:文字色(16色程度の中の色番号)
「8」:背景色(16色程度の中の色番号)
「10」:フォントサイズ
「”明堂氏”」「”http://...”」:文字列
文字列は「”」で括り、通常の文字列+改行(\nなど)を指定する
例)A,20,10,8,10,2,3
「A」:表示種別(矢印を表示する)
「20,10」:x座標、y座標(開始点の座標を表す)
オプション=色,線の太さ,長さ,角度(向き)
「8」:文字色(16色程度の中の色番号)
「10」:線の太さ(ピクセル単位の長さ)
「2」:長さ(ピクセル単位の長さ)
「3」:角度(8方向程度の中の方向番号)
例)C,20,10,8,1,10
「C」:表示種別(円を表示する)
「20,10」:x座標、y座標(中心点の座標を表す)
オプション=色,線の太さ,半径
「8」:文字色(16色程度の中の色番号)
「1」:半径(ピクセル単位の長さ)
「10」:線の太さ(ピクセル単位の長さ)
例)R,20,10,8,1,20,10
「R」:表示種別(四角を表示する)
「20,10」:x座標、y座標(開始点の座標を表す)
オプション=色,線の太さ,横長,縦長
「8」:文字色(16色程度の中の色番号)
「1」:線の太さ(ピクセル単位の長さ)
「20」:横方向の長さ(ピクセル単位の長さ)
「10」:縦方向の長さ(ピクセル単位の長さ)
例)L,20,27,10,10,10,3
「L」:表示種別(線を表示する)
「20,27」:x座標、y座標(頂点の座標を表す)
オプション=色,線の太さ,長さ,角度(向き)
「10」:文字色(16色程度の中の色番号)
「10」:線の太さ(ピクセル単位の長さ)
「10」:長さ(ピクセル単位の長さ)
「3」:角度(8方向程度の中の方向番号)
尚、前述した表示種別を組み合わせることによって、多角形の枠画像を表示することもできる。従って、撮影対象物の形状に対応することができる。また、前述したデータ形式を変更することにより、記述データ量を減らすこともできる。例えば、表示種別に対するオプション記述を省略することもできる。標準的な画像位置合わせのための枠画像としては、四角「R」又は線「L」が使われやすい。
図2は、携帯電話機によって付加情報を読み取る使用態様図である。
図2によれば、携帯電話機1のカメラ部101が、自動的にQRコード21へ焦点を合わせて、そのデジタルコードを読み取る。近年のカメラ付き携帯電話機には、QRコードリーダを搭載しているものが多い。通常、携帯電話機1のディスプレイ部102に、QRコードの位置合わせのための調整画像が表示される。尚、この調整画像は、本発明における撮影のための枠画像とは異なる。
図2によれば、携帯電話機1は、対象物に付与されているQRコード21を読み取り、その中から付加情報を検出する。また、携帯電話機1は、対象物に付与されている非接触ICチップ22から付加情報を受信するものであってもよい。ここで、付加情報とは、例えば、対象物を撮影するための枠画像、及び/又は、対象物に関する説明文字画像である。
図3は、付加情報がディスプレイ部に表示された表示図である。
QRコード21又は非接触ICチップ22から取得した付加情報に基づく付加画像が、携帯電話機1のディスプレイ部102に表示される。図3によれば、対象物を撮影するための枠画像と、撮影される対象物に関する説明文字画像とが、表示されている。
枠画像は、携帯電話機1を操作する利用者が、ファインダ画像に写る対象物の外縁に位置合わせをするものである。例えば、対象物が人物画である場合、利用者は、その人物画の額縁の外縁と、ディスプレイ部102に表示された枠画像とが一致するように、携帯電話機1の向き及びフォーカスを合わせる。枠画像の表示種別は、例えば、四角「R」、線「L」及び円「C」で表される。
説明文字画像は、撮影される対象物の部位に応じた説明のための画像である。例えば、対象物が人物画である場合、その人物画に描かれた各個人の名前が、説明文字画像で表される。枠画像と人物画の外縁とが位置合わせされる限り、描かれた個人の位置に応じて、その個人の名前が表示される。説明文字画像の表示種別は、例えば、文字列「W」及び矢印「A」で表される。図3によれば、対象物が、人物画であって矩形状であるので、枠画像は、四隅を線「L」で表している。
図3によれば、枠画像及び説明文字画像の両方が、ディスプレイ部102に表示されている。他の実施形態としては、図3の段階では、枠画像のみをディスプレイ部102に表示するものであってもよい。利用者にとっては、枠画像のみが表示されているので、他の説明文字画像に惑わされることなく、位置合わせに専念することができる。その後、後述するように自動的に位置合わせが検出された際に、説明文字画像を表示する。図3の段階では、枠画像及び説明文字画像の両方を表示するか、又は、枠画像のみを表示する。
また、図3によれば、QRコード21又は非接触ICチップ22から読み取る付加情報自体が、付加画像(枠画像及び説明文字画像)を含むものとして説明した。これに対し、他の実施形態によれば、QRコード21又は非接触ICチップ22から読み取られる付加情報が、例えばURL(Uniform Resource Locator)のような、サーバのアドレスであってもよい。
携帯電話機1が、無線リンクを介してネットワークに接続し、そのURLのサーバへアクセスする。サーバは、携帯電話機1へ、付加画像である枠画像及び/又は説明文字画像を送信する。携帯電話機1は、サーバから受信した枠画像及び/又は説明文字画像を、そのディスプレイ部102に表示することができる。これにより、QRコード21又は非接触ICチップ22によって規定できる枠画像及び/又は説明文字画像よりも、多様な画像を、携帯電話機1のディスプレイ部102に表示することができる。
勿論、付加情報は、枠画像及び説明文字画像に限られない。撮影される対象物が、例えば地図であった場合、店舗情報(和食レストラン、イタリアンレストラン、病院、口コミ情報、ブティック等)を説明文字画像とすることができる。また、撮影される対象物が、例えば植物や動物であった場合、部位に応じた説明内容を説明文字画像とすることができる。その部位の名前を知らなくても、説明文字画像によって、その説明文字及び矢印等によって視覚的に理解することができる。
図4は、ファインダ画像に付加情報が重畳表示された表示図である。
付加画像である枠画像及び説明文字画像は、ディスプレイ部102に固定的に表示される。即ち、利用者が操作する携帯電話機1の向きによって変化することはない。利用者は、枠画像に、ファインダ画像に写る対象物の外縁が一致するように、携帯電話機1の向きを決め且つフォーカスを合わせる。ディスプレイ部102に、既に枠画像が表示されているので、利用者は、直感的に位置合わせをすることができる。枠画像に、ファインダ画像に写る対象物の外縁が一致した際に、説明文字画像は、ファインダ画像に写る対象物に対して適切な位置に表示される。
図4によれば、説明文字画像となる各人物の名前が、ファインダ画像に写る人物画の各個人の位置に合致する。この場合、人物画のどの人物が、何という名前かが、利用者に把握できる。
このとき、利用者が、携帯電話機1のキー操作部103からシャッターキーを押下する。これにより、撮影される人物画に、説明文字画像が適切な位置に重畳された撮影画像を得ることができる。撮影画像は、ディスプレイ上に一時停止して表示される。携帯電話機1におけるメモリのような記憶部に保存してもよい。
また、本発明によれば、枠画像に、ファインダ画像に写る対象物の外縁が一致した時を自動的に検出する技術も採用することできる。検出されたその時に、自動的にシャッターを切ることにより、利用者が、慎重となる画像の位置合わせ操作を軽減することができ、利便性が向上する。
例えば、コーナー(corner:角)検出フィルタによって、ファインダ画像に写る対象物の矩形の頂点を検出する。ここで、自動撮影された撮影画像に対して傾き、歪み等を補正した後、説明文字画像を重畳することもできる。カメラ部101から出力されたファインダ画像を一時保存した上で、例えば、以下のような従来技術のステップを用いて、矩形の頂点を検出し、直線化をして、矩形全体を検出する。
(ステップ1)エッジ検出フィルタ(ソベルフィルタ、ラプラシアンフィルタ等)
(ステップ2)エッジ検出アルゴリズム(ケニーのエッジ検出アルゴリズム等)
(ステップ3)コーナー検出(ハリスのコーナー検出、SUSANのコーナー検出等)
コーナー検出の場合、誤検出を防ぐために、エッジ検出の前に画像を平滑化する。その後、その隅の4点が、枠画像で表示される矩形の隅と一致するかどうかを確認する。枠画像の縦横比がy:xの時、撮影した矩形もほぼy:xであれば、その枠画像に一致した画像であると判断する。
枠画像の矩形の線と、一時保存したファインダ画像から検出されたエッジでマッチングをし、その相関が高い時に、枠画像と対象物の外縁とが一致したと判断してもよい。また、撮影時に傾きやすい画像に幾何学変換した枠画像を複数用意しておき、マッチングをしてもよい。
その後、撮影した矩形が、台形などに歪んでいる場合、隅の4点が正しい矩形に戻るように画像を幾何学変換する。その後、付加画像を重畳表示させる。一時保存及び補正した画像に付加情報を上書きして最終版を保存して表示しても、付加画像を上書きせずに補正した画像を保存し、紐付けされた付加情報を表示時に上書き表示してもよい。
勿論、枠画像が矩形以外の場合においてもエッジ検出・コーナー検出が、枠画像の線や頂点に一致するかで撮影した画像と枠画像の位置の対応付けをすることができる。このような頂点の検出技術は、従来技術を用いることによって実現することができる。
図5は、本発明における携帯端末の機能構成図である。
図5によれば、携帯端末である携帯電話機1は、カメラ部101と、ディスプレイ部102と、キー操作部103と、非接触リーダ部104と、付加情報取得部105と、表示制御部106と、撮影制御部107と、記録部108と、コーナー検出部109と、付加画像取得部110と、無線通信インタフェース部111とを有する。カメラ部101と、ディスプレイ部102と、キー操作部103と、非接触リーダ部104とは、ハードウェアによって構成される。無線通信インタフェース部111は、携帯電話機であれば携帯電話網の無線リンクへ接続するインタフェースである。一方、付加情報取得部105と、表示制御部106と、撮影制御部107と、記録部108と、コーナー検出部109と、付加画像取得部110とは、携帯電話機1に搭載されたコンピュータを機能させるプログラムを実行することによって実現できる。
カメラ部101は、例えばCCDカメラであって、対象物を撮影する。カメラ部101は、ファインダ画像を表示制御部106へ転送する。また、カメラ部101は、対象物に付与されたデジタルコードにフォーカスし、そのコード画像を付加情報取得部105へ転送する。
ディスプレイ部102は、表示制御部106から受け取った重畳画像を表示する。このとき、ディスプレイ部102には、ファインダ画像と、枠画像及び/又は説明文字画像とが、重畳して表示される。また、ディスプレイ部102は、表示している重畳画像を、撮影制御部107へ転送する。
キー操作部103は、利用者によって操作される携帯電話機1のキーである。本発明によれば、利用者は、重畳画像が表示されたディスプレイ部102を見ながら、シャッターキーを押下する。キー操作部103は、その撮影タイミングを撮影制御部107へ通知する。
非接触リーダ部104は、アンテナを有する非接触ICチップから、弱電波を介して、付加情報を受信する。受信された付加情報は、付加情報取得部105へ通知される。
付加情報取得部105は、付加情報を取得し、その付加情報に基づく付加画像を表示制御部106へ出力する。付加画像は、対象物を撮影するための枠画像、及び/又は、対象物に関する説明文字画像である。
付加情報取得部105が、コードリーダ機能を有する場合、カメラ部101からのファインダ画像に写るデジタルコードを読み取ることによって付加情報を取得する。デジタルコードは、1次元コード、2次元コード、3次元コード又は電子透かしである。QRコードは、2次元コードの1つであり、カラーコードやバーコードの濃度変化のあるコードは、3次元コードの1つである。撮影後の画像から透かし情報を取り出すことのできる電子透かしであってもよい(例えば[平成19年2月2日検索]、インターネット<URL:http://pr.fujitsu.com/jp/news/2004/06/30.html>を参照)。また、付加情報取得部105は、非接触リーダ部104を介して、非接触ICチップから付加情報を取得するものであってもよい。
付加情報は、サーバのアドレス(例えばURL)であってもよい。この場合、付加情報取得部105は、付加画像取得部110へそのアドレスを通知する。これに対し、付加情報取得部105は、付加画像取得部110から付加画像を取得することができる。
表示制御部106は、付加情報取得部105から通知された付加画像を、カメラ部101から転送されたファインダ画像に重畳させて、重畳画像を生成する。その重畳画像は、ディスプレイ部102へ転送される。
他の実施形態として、表示制御部106は、付加画像の中で枠画像のみを、ファインダ画像に重畳させた重畳画像を、ディスプレイ部102に表示させるものであってもよい。その後、撮影制御部107が、重畳画像を撮影する際、又は、撮影する前に、説明文字画像を更に重畳させて、その重畳画像をディスプレイ部102に表示させる。これにより、利用者が、ファインダ画像に写る対象物に対して位置合わせしている際には、枠画像しか表示されず、位置が合致した際に、説明文字画像が表示される。
撮影制御部107は、ディスプレイ部102に表示された重畳画像を、所定タイミングで撮影する。撮影タイミングは、キー操作部103から、又は、コーナー検出部109から通知される。コーナー検出部109からの撮影タイミングは、枠画像と、ファインダ画像に写る対象物の外縁とが、合致した時を意味する。撮影された重畳画像は、記録部108へ転送される。
記録部108は、例えばフラッシュメモリであって、撮影された重畳画像を記録する。
コーナー検出部109は、枠画像に、対象物が写るファインダ画像が合致すること検出する。前述したように、エッジ検出フィルタ->エッジ検出アルゴリズム->コーナー検出の処理がなされるものであってもよい。
付加画像取得部110は、付加情報取得部105から通知されたアドレスを有するサーバへアクセスする。そして、そのサーバから付加画像を受信する。受信された付加画像は、付加情報取得部105へ通知される。これにより、多様な付加画像を、ディスプレイ部102に表示することができる。
以上、詳細に説明したように、本発明の端末及びプログラムによれば、カメラによって撮影される撮影画像に、様々な付加情報を重畳させて表示することにより、利便性を向上させることができる。具体的には、枠画像を用いるために、利用者は、直感的に撮影画像の位置合わせをすることができ、撮影画像の部位に応じた位置に説明文字画像を重畳して表示させることができる。
従来技術によれば、撮影画像に重畳される情報としては日付情報のようなものしかなく、撮影画像の説明文字画像については、別途、撮影する必要があった。これに対し、本発明によれば、対象物に付与されたデジタルコード等から付加情報を受信し、その付加情報に基づく付加画像を撮影画像に重畳させて表示することにより、利用者がその撮影画像の説明も把握でき、利便性が向上する。
また、通常、撮影画像における特定部位に、説明文字画像を表示させるには、予め、撮影画像の位置情報を蓄積しておく必要がある。これに対し、本発明は、撮影する前に、枠画像をディスプレイ部に表示することにより、利用者は、撮影画像の位置合わせを直感的に適切な位置に誘導することができる。従って、撮影画像の部位の位置が決定され、適切な位置に説明文字画像が表示される。基本的に、本発明における機能は、携帯端末の中の機能のみで実現できる。従って、原則として撮影画像がネットワークで送受信される必要もないので、撮影画像の著作権保護の観点からも有利である。
更に、付加情報を含むデジタルコード又は非接触ICチップは、対象物に付与することができ、対象物に別途、説明文字画像を備える必要もない。
更に、利用者は、携帯端末のカメラ部を、対象物に向けてフォーカスするだけで、携帯端末は、自動的に、デジタルコード等から付加情報を読み取り、付加情報に対応する付加画像をディスプレイ部に表示する。更に、携帯端末は、対象物の外縁を検出し、自動的に撮影することもできる。従って、利用者の操作性が極めて向上する。
前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
本発明における携帯端末の使用態様図である。 携帯電話機によって付加情報を読み取る使用態様図である。 付加情報がディスプレイ部に表示された表示図である。 ファインダ画像に付加情報が重畳表示された表示図である。 本発明における携帯端末の機能構成図である。
符号の説明
1 携帯電話機、携帯端末
101 カメラ部
102 ディスプレイ部
103 キー操作部
104 非接触リーダ部
105 付加情報取得部
106 表示制御部
107 撮影制御部
108 記録部
109 コーナー検出部
110 付加画像取得部
111 無線通信インタフェース部
2 撮影対象物、人物画
21 QRコード
22 非接触ICチップ

Claims (6)

  1. 対象物を撮影するカメラ手段と、該カメラ手段に写るファインダ画像を表示するディスプレイ手段とを有する端末において、
    付加情報を取得する付加情報取得手段と、
    前記付加情報に対応付けられた、前記対象物を撮影するための枠画像、及び、前記対象物に関する説明文字画像を取得する付加画像取得手段と、
    前記枠画像を前記ファインダ画像に重畳させ、その重畳画像を前記ディスプレイ手段に表示させる表示制御手段と、
    前記ディスプレイ手段に表示された前記重畳画像を撮影する撮影制御手段と
    を有し、
    前記表示制御手段は、前記撮影制御手段が前記重畳画像を撮影する際、又は、撮影する前に、前記説明文字画像を更に重畳させ、その重畳画像を前記ディスプレイ手段に表示させる
    ことを特徴とする端末。
  2. 前記付加情報取得手段は、コードリーダであって、前記ファインダ画像に写るデジタルコードを読み取ることによって前記付加情報を取得するものであり、
    前記デジタルコードは、1次元コード、2次元コード、3次元コード又は電子透かしであることを特徴とする請求項に記載の端末。
  3. 前記付加情報取得手段は、非接触リーダを介して、非接触ICチップから前記付加情報を取得することを特徴とする請求項に記載の端末。
  4. 前記付加情報は、サーバのアドレスであり、
    前記付加画像取得手段は、ネットワークを介して前記アドレスの前記サーバへアクセスし、該サーバから前記付加画像を取得し、該付加画像を前記付加情報取得手段へ通知することを特徴とする請求項1から3のいずれか1項に記載の端末。
  5. 前記枠画像に、前記ファインダ画像に写る前記対象物の外縁が合致すること検出するコーナー検出手段を更に有し、
    前記撮影制御手段は、前記合致が検出された際に、前記重畳画像を撮影することを特徴とする請求項1から4のいずれか1項に記載の端末。
  6. 対象物を撮影するカメラ手段と、該カメラ手段に写るファインダ画像を表示するディスプレイ手段とを有する端末に搭載されたコンピュータを機能させるプログラムにおいて、
    付加情報を取得する付加情報取得手段と、
    前記付加情報に対応付けられた、前記対象物を撮影するための枠画像及び前記対象物に関する説明文字画像を取得する付加画像取得手段と、
    前記枠画像を前記ファインダ画像に重畳させ、その重畳画像を前記ディスプレイ手段に表示させる表示制御手段と、
    前記ディスプレイ手段に表示された前記重畳画像を撮影する撮影制御手段と
    を有し、
    前記表示制御手段は、前記撮影制御手段が前記重畳画像を撮影する際、又は、撮影する前に、前記対象物に関する説明文字画像を更に重畳させ、その重畳画像を前記ディスプレイ手段に表示させる
    ようにコンピュータを機能させることを特徴とする端末用のプログラム。
JP2007028871A 2007-02-08 2007-02-08 撮影画像に付加画像を重畳させて表示する端末及びプログラム Expired - Fee Related JP4743892B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007028871A JP4743892B2 (ja) 2007-02-08 2007-02-08 撮影画像に付加画像を重畳させて表示する端末及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007028871A JP4743892B2 (ja) 2007-02-08 2007-02-08 撮影画像に付加画像を重畳させて表示する端末及びプログラム

Publications (2)

Publication Number Publication Date
JP2008193640A JP2008193640A (ja) 2008-08-21
JP4743892B2 true JP4743892B2 (ja) 2011-08-10

Family

ID=39753264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007028871A Expired - Fee Related JP4743892B2 (ja) 2007-02-08 2007-02-08 撮影画像に付加画像を重畳させて表示する端末及びプログラム

Country Status (1)

Country Link
JP (1) JP4743892B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101500440B1 (ko) * 2008-10-17 2015-03-09 삼성전자 주식회사 영상처리장치 및 영상처리방법
JP5328810B2 (ja) 2008-12-25 2013-10-30 パナソニック株式会社 情報表示装置および情報表示方法
JP5298984B2 (ja) * 2009-03-17 2013-09-25 株式会社リコー ヘルプ情報提供システム、サーバ装置、対象機器、携帯通信端末、ヘルプ情報提供方法、プログラム及び記録媒体
JP2011095964A (ja) * 2009-10-29 2011-05-12 Toppan Printing Co Ltd 携帯端末及び方法並びプログラム
JP5377768B2 (ja) 2010-06-30 2013-12-25 富士フイルム株式会社 画像処理方法及び装置
US9235819B2 (en) * 2011-11-04 2016-01-12 Canon Kabushiki Kaisha Printing system, image forming apparatus, and method
JP5684178B2 (ja) * 2012-03-23 2015-03-11 ビッグローブ株式会社 情報処理システム
CN102800065B (zh) * 2012-07-13 2015-07-29 苏州梦想人软件科技有限公司 基于二维码识别跟踪的增强现实设备及方法
JP5823934B2 (ja) * 2012-08-09 2015-11-25 京セラ株式会社 携帯通信端末、データ受け取りプログラムおよびデータ受け取り方法
JP2014219822A (ja) * 2013-05-08 2014-11-20 大日本印刷株式会社 コンテンツ表示装置、コンテンツ表示方法、プログラム、及び、コンテンツ表示システム
KR101440766B1 (ko) * 2013-08-09 2014-09-18 디에스글로벌 (주) 인쇄물을 이용한 가상 이미지 전달 서비스 방법
CN114338061A (zh) * 2020-09-29 2022-04-12 苏传军 实时监控工作场域的系统与方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08294025A (ja) * 1995-04-24 1996-11-05 Olympus Optical Co Ltd カメラ
JP2003174578A (ja) * 2001-12-07 2003-06-20 Nikon Corp 電子カメラおよび画像表示装置および画像表示方法
JP2005080116A (ja) * 2003-09-02 2005-03-24 Fuji Photo Film Co Ltd 撮像装置および情報伝達システム
JP2005286527A (ja) * 2004-03-29 2005-10-13 Matsushita Electric Ind Co Ltd 撮像記録装置
JP2006100936A (ja) * 2004-09-28 2006-04-13 Omron Corp 撮像装置及び撮像支援方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08294025A (ja) * 1995-04-24 1996-11-05 Olympus Optical Co Ltd カメラ
JP2003174578A (ja) * 2001-12-07 2003-06-20 Nikon Corp 電子カメラおよび画像表示装置および画像表示方法
JP2005080116A (ja) * 2003-09-02 2005-03-24 Fuji Photo Film Co Ltd 撮像装置および情報伝達システム
JP2005286527A (ja) * 2004-03-29 2005-10-13 Matsushita Electric Ind Co Ltd 撮像記録装置
JP2006100936A (ja) * 2004-09-28 2006-04-13 Omron Corp 撮像装置及び撮像支援方法

Also Published As

Publication number Publication date
JP2008193640A (ja) 2008-08-21

Similar Documents

Publication Publication Date Title
JP4743892B2 (ja) 撮影画像に付加画像を重畳させて表示する端末及びプログラム
JP5055402B2 (ja) オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
US7706579B2 (en) Image orientation for display
WO2018214365A1 (zh) 图像校正方法、装置、设备、系统及摄像设备和显示设备
TWI428011B (zh) Used in the image processing system in the photographic objects
JP4341629B2 (ja) 撮像装置、画像処理方法及びプログラム
JP4548144B2 (ja) デジタルカメラ装置、及びスルー画像表示方法
WO2012063593A1 (ja) オブジェクト表示装置及びオブジェクト表示方法
US9094616B2 (en) Method and system for image capture and facilitated annotation
JP5719480B2 (ja) 画像変形装置およびその動作制御方法
KR101923177B1 (ko) 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법
US7961241B2 (en) Image correcting apparatus, picked-up image correcting method, and computer readable recording medium
EP2909792A1 (en) Method and system for image capture and facilitated annotation
WO2006035788B1 (ja) 撮像装置および撮像方法
JP2018125658A (ja) カメラ機能を有する携帯可能な情報処理装置、その表示制御方法、及びプログラム
WO2007075071A1 (en) Method and processor for compensating image tilt and record media recored program therefor
JP4001057B2 (ja) 設置型画像取込印刷装置及び情報提供方法及びプログラム
TW201005679A (en) Display device and image zooming method thereof
JP2017058801A (ja) 画像表示装置、画像表示方法及びプログラム
JP4185479B2 (ja) 小型情報端末、小型情報端末の画像処理方法、およびこの方法のプログラム
JP2020102120A (ja) 情報処理装置、制御方法、プログラム
JP4461001B2 (ja) 情報端末
JP2013131801A (ja) 情報端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体
WO2015146237A1 (ja) 静止画の関連情報検出装置,検出方法,検出プログラムならびにそのプログラムを格納した記録媒体
JP2006311429A (ja) 携帯端末装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110509

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110509

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4743892

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees