JP2016057927A - 情報表示システム、情報表示方法、情報表示装置、原稿表示装置及びプログラム - Google Patents

Abstract

【課題】ＡＲマーカに対応する付加画像を撮像された画像に重畳して情報表示装置に表示するシステムにおいて、表示される画像が拡大または縮小された場合、情報表示装置に表示された画像と付加情報の表示倍率の差異が大きくなって見づらいとか、文字や画像が重なって見づらいという問題を解消できる情報表示システム等を提供する。【解決手段】原稿表示装置１と情報表示装置２の少なくともいずれかにより、画像の表示倍率が変更されているときに、変更後の表示倍率を算出する表示倍率算出手段２１を備え、情報表示装置２の表示制御手段２１は、付加情報取得手段２１により取得された付加情報２１０を、算出された表示倍率に応じて加工して表示手段２５に表示させる。【選択図】 図８

Description

この発明は、ＡＲ(Augmented Reality：拡張現実)マーカを埋め込んだ電子データを画像として表示する原稿表示装置と、該原稿表示装置に表示された前記画像を撮像するとともに、撮像された画像内の前記ＡＲマーカに対応する付加情報を外部の付加情報提供装置から取得して、ＡＲマーカの位置に重畳して表示する情報表示装置とを備えた、情報表示システムに関する。

上記のようなＡＲマーカを利用した情報表示システムでは、電子データ作成者がＡＲマーカを所定位置に埋め込んだ電子データを作成し、原稿表示装置の表示部に表示させる。図１０１（Ａ）は、このときの表示画面Ｄ１１の一例を示す。この画面Ｄ１１には、電子データが画像２００として表示されるとともに、所定位置にＡＲマーカ２１０が表示されている。

電子データを提供されるユーザーが、携帯端末装置等からなる情報表示装置のカメラにより画面Ｄ１１を撮像すると、情報表示装置は、画像２００を自身の表示部に表示するとともに、ＡＲマーカを付加情報提供装置に送信する。すると付加情報提供装置は、ＡＲマーカ２１０に紐付けて保存されている付加情報を、情報表示装置に送信する。

この付加情報を受信した情報表示装置は、図１０（Ｂ）に示すように、元の画像２００のＡＲマーカ２１０の位置に付加情報２２０を重畳して表示した画面Ｄ１１を表示する。

ところで、ユーザーは、電子データを拡大しまたは縮小して表示倍率を変更した状態で、原稿表示装置に画像として表示したい場合がある。また、原稿表示装置に表示された画像を撮像した情報表示装置側で、ユーザーが画像を拡大しまたは縮小し表示倍率を変更して表示することもある。

しかし、このように表示される画像が、原稿表示装置または情報表示装置の少なくとも一方でで拡大または縮小された場合、従来では次のような問題があった。

なお、特許文献１には、撮像画像における被写体を照合するための照合画像とともに、当該照合画像における被写体のスケールを示すスケール情報を情報提供装置から取得する。そして、情報表示装置の入出力部１５０では、撮像画像を表示するとともに、被写体のスケールによる照合画像の分布を表示し、この分布表示上で、撮像画像における被写体のスケールに応じたガイド表示をおこなう。このガイド表示は、画角の変化に対応して分布表示上を移動するシステムが提案されている。

特開２０１３−０７７３１４号公報

すなわち、電子データが原稿表示装置または情報表示装置の少なくとも一方で拡大された場合、図１０（Ｃ）の画面Ｄ１３に示すように、画像２００が拡大された状態で表示されるが、画像内のＡＲマーカ２１０は、該ＡＲマーカ２１０に紐付けられた付加情報を外部の付加情報提供装置から呼び出すだけの機能であるため、付加情報の表示倍率が変更されるわけではない。

このため、図１０（Ｄ）の画面Ｄ１４に示すように、情報表示装置に表示される画像２００と付加情報２２０の表示倍率の差異が大きくなって見づらいとか、付加情報２２０の上下にある電子データ間の隙間も拡大されるため、見栄えが良くないというような問題があった。

また、電子データが原稿表示装置または情報表示装置の少なくとも一方で縮小された場合、図１１（Ａ）の画面Ｄ１５に示すように、画像２００が縮小された状態で表示されるが、付加情報は縮小されないため、図１１（Ｂ）の画面Ｄ１６に示すように、画像２００と付加情報２２０の文字や画像が重なってしまい見づらくなるというような問題があった。

なお、上述の特許文献１に記載の技術は、撮像された実画像の使用号に関する技術であり、上記のような表示対象の画像が原稿表示装置または情報表示装置の少なくとも一方で拡大または縮小された際に生じる問題を解決することはできなかった。

この発明は、このような技術的背景に鑑みてなされたものであって、ＡＲマーカに対応する付加画像を撮像された画像に重畳して情報表示装置に表示する情報表示システムにおいて、表示される画像が拡大または縮小された場合に、情報表示装置に表示される画像と付加情報の表示倍率の差異が大きくなって見づらいとか、文字や画像が重なってしまい見づらいとか、見栄えが良くないというような問題を解消できる情報表示システム及び情報表示方法を提供し、さらには該システムに用いられる情報表示装置と原稿表示装置、さらに情報表示プログラムを提供することを課題とする。

上記課題は、以下の手段によって解決される。
（１）原稿表示装置と情報表示装置とを備えた情報表示システムであって、前記原稿表示装置は、外部の付加情報提供装置から提供される付加情報をＡＲマーカとして埋め込んだ電子データを画像として表示する表示手段を備え、前記情報表示装置は、表示手段と、前記原稿表示装置の表示手段に表示された前記画像を撮像する撮像手段と、前記撮像手段により撮像された画像内の前記ＡＲマーカに対応する付加情報を、前記付加情報提供装置から取得する付加情報取得手段と、前記撮像手段により撮像された画像を前記表示手段に表示すると共に、前記付加情報取得手段により取得された付加情報を前記ＡＲマーカの位置に重畳して表示する表示制御手段と、前記原稿表示装置と情報表示装置の少なくともいずれかにより、前記画像の表示倍率が変更されているときに、変更後の表示倍率を算出する表示倍率算出手段と、を備え、前記情報表示装置の表示制御手段は、前記付加情報取得手段により取得された付加情報を、前記表示倍率算出手段により算出された表示倍率に応じて加工して、前記表示手段に表示させることを特徴とする情報表示システム。
（２）前記原稿表示装置により前記画像の表示倍率が変更されて前記表示手段に表示される場合に、前記原稿表示装置は、前記表示手段に表示された前記画像の表示倍率を確認させるための表示倍率確認用画面を前記表示手段に表示し、前記情報表示装置の撮像手段は、前記画像の他に前記表示倍率確認用画面を撮像し、前記表示倍率算出手段は、前記撮像された表示倍率確認用画面から前記表示倍率を算出する前項１に記載の情報表示システム。
（３）前記原稿表示装置は、前記表示倍率確認用画面を予め設定されたタイミングで前記表示手段に表示する前項２に記載の情報表示システム。
（４）前記予め設定されたタイミングは、前記原稿表示装置上の表示倍率確認用画面の表示ボタンが操作されたタイミング、前記表示倍率の変更操作が行われたタイミング、予め設定された時間が経過したタイミング、前記原稿表示装置の表示手段に表示されている画像の表示内容がすべて入れ替わったタイミング、の少なくともいずれかである前項３に記載の情報表示システム。
（５）前記情報表示装置の表示制御手段は、前記付加情報を、前記表示倍率算出手段により算出された表示倍率に応じて加工した結果、加工後の付加情報が、表示手段に表示された画像における付加情報表示エリアに収まるか否かを判断し、収まらない場合は、前記付加情報表示エリアを拡大するか、または付加情報の表示サイズを変更するかの少なくともいずれかを実行する前項１〜３のいずれかに記載の情報表示システム。
（６）原稿表示装置と情報表示装置とを備えた情報表示システムで実行される情報表示方法であって、前記原稿表示装置は、外部の付加情報提供装置から提供される付加情報をＡＲマーカとして埋め込んだ電子データを画像として表示手段に表するステップを実行し、前記情報表示装置は、前記原稿表示装置の表示手段に表示された前記画像を撮像する撮像ステップと、前記撮像ステップにより撮像された画像内の前記ＡＲマーカに対応する付加情報を、前記付加情報提供装置から取得する付加情報取得ステップと、前記撮像ステップにより撮像された画像を自装置の表示手段に表示すると共に、前記付加情報取得ステップにより取得された付加情報を前記ＡＲマーカの位置に重畳して表示する表示制御ステップと、前記原稿表示装置と情報表示装置の少なくともいずれかにより、前記画像の表示倍率が変更されているときに、変更後の表示倍率を算出する表示倍率算出ステップと、を実行し、前記情報表示装置の表示制御ステップでは、前記付加情報取得手段により取得された付加情報を、前記表示倍率算出ステップにより算出された表示倍率に応じて加工して、前記表示手段に表示させることを特徴とする情報表示方法。
（７）表示手段と、外部の付加情報提供装置から提供される付加情報をＡＲマーカとして埋め込んだ電子データを画像として表示した原稿表示装置から、前記画像を撮像する撮像手段と、前記撮像手段により撮像された画像内の前記ＡＲマーカに対応する付加情報を、外部の付加情報提供装置から取得する付加情報取得手段と、前記撮像手段により撮像された画像を前記表示手段に表示すると共に、前記付加情報取得手段により取得された付加情報を前記ＡＲマーカの位置に重畳して表示する表示制御手段と、前記原稿表示装置と自装置の少なくともいずれかにより、前記画像の表示倍率が変更されているときに、変更後の表示倍率を算出する表示倍率算出手段と、を備え、前記表示制御手段は、前記付加情報取得手段により取得された付加情報を、前記表示倍率算出手段により算出された表示倍率に応じて加工して、前記表示手段に表示させることを特徴とする情報表示装置。
（８）前記撮像手段は、前記画像の他に、前記原稿表示装置により前記画像の表示倍率が変更されて原稿表示装置に表示される場合に原稿表示装置に表示される、前記画像の表示倍率を確認させるための表示倍率確認用画面をも撮像し、前記表示倍率算出手段は、前記撮像された表示倍率確認用画面から前記表示倍率を算出する前項７に記載の情報表示装置。
（９）前記表示制御手段は、前記付加情報を、前記表示倍率算出手段により算出された表示倍率に応じて加工した結果、加工後の付加情報が、表示手段に表示された画像における付加情報表示エリアに収まるか否かを判断し、収まらない場合は、前記付加情報表示エリアを拡大するか、または付加情報の表示サイズを変更するかの少なくともいずれかを実行する前項７または８に記載の情報表示装置。
（１０）外部の付加情報提供装置から提供される付加情報をＡＲマーカとして埋め込んだ電子データを画像として表示するとともに、前記画像の表示倍率を確認させるための表示倍率確認用画面を予め設定されたタイミングで表示する表示手段を備えたことを特徴とする原稿表示装置。
（１１）前記予め設定されたタイミングは、前記表示倍率確認用画面の表示ボタンが操作されたタイミング、前記表示倍率の変更操作が行われたタイミング、予め設定された時間が経過したタイミング、前記表示手段に表示されている画像の表示内容がすべて入れ替わったタイミング、の少なくともいずれかである前項１０に記載の原稿表示装置。
（１２）情報処理装置のコンピュータに、外部の付加情報提供装置から提供される付加情報をＡＲマーカとして埋め込んだ電子データを画像として表示した原稿表示装置から、前記画像を撮像する撮像ステップと、前記撮像ステップにより撮像された画像内の前記ＡＲマーカに対応する付加情報を、外部の付加情報提供装置から取得する付加情報取得ステップと、前記撮像ステップにより撮像された画像を表示手段に表示すると共に、前記付加情報取得ステップにより取得された付加情報を前記ＡＲマーカの位置に重畳して表示する表示制御ステップと、前記原稿表示装置と自装置の少なくともいずれかにより、前記画像の表示倍率が変更されているときに、変更後の表示倍率を算出する表示倍率算出ステップと、を実行させ、前記表示制御ステップでは、前記付加情報取得ステップにより取得された付加情報を、前記表示倍率算出ステップにより算出された表示倍率に応じて加工して、前記表示手段に表示させる処理を、前記コンピュータに実行させるための情報表示プログラム。

前項（１）に記載の発明によれば、情報表示装置は、原稿表示装置の表示手段に表示された画像を撮像するとともに、撮像された画像内の前記ＡＲマーカに対応する付加情報を外部の付加情報提供装置から取得する。そして、撮像された画像を表示手段に表示すると共に、取得された付加情報を画像内のＡＲマーカの位置に重畳して表示する。原稿表示装置と情報表示装置の少なくともいずれかにより、画像の表示倍率が変更されているときは、変更後の表示倍率が算出され、この算出された表示倍率に応じて付加情報を加工して、表示手段に表示させる。

このように、付加情報を画像の表示倍率に応じて加工して情報表示装置に表示するから、画像の表示倍率と付加情報の表示倍率を整合させることができ、従って、画像と付加情報の表示倍率の差異が大きくなって見づらいとか、画像と付加情報が重なってしまい見づらいというような問題を解消でき、見栄えの良い表示状態を実現できる。

前項（２）に記載の発明によれば、原稿表示装置により画像の表示倍率が変更されて表示される場合に、原稿表示装置は、画像の表示倍率を確認させるための表示倍率確認用画面を表示し、情報表示装置はこの表示倍率確認用画面を撮像して表示倍率を算出するから、原稿表示装置により画像の表示倍率が変更されても、情報表示装置は確実に表示倍率を算出でき、この表示倍率に整合させて付加情報を加工することができ、画像と付加情報とを見栄え良く表示することができる。

前項（３）に記載の発明によれば、表示倍率確認用画面は予め設定されたタイミングで表示される。

前項（４）に記載の発明によれば、原稿表示装置上の表示倍率確認用画面の表示ボタンが操作されたタイミング、表示倍率の変更操作が行われたタイミング、予め設定された時間が経過したタイミング、原稿表示装置の表示手段に表示されている画像の表示内容がすべて入れ替わったタイミング、の少なくともいずれかで、表示倍率確認用画面が表示されるから、情報表示装置は表示倍率の変更に確実にかつ迅速に対応することができる。

前項（５）に記載の発明によれば、算出された表示倍率に応じて付加情報を加工した結果、加工後の付加情報が、表示手段に表示された画像における付加情報表示エリアに収まらない場合は、付加情報表示エリアの拡大または付加情報の表示サイズの変更の少なくともいずれかが実行されるから、画像の表示倍率の変更に応じて付加情報を加工したときに付加情報が却って見にくくなることはない。

前項（６）に記載の発明によれば、付加情報を画像の表示倍率に応じて加工して情報表示装置に表示するから、画像の表示倍率と付加情報の表示倍率を整合させることができ、従って、画像と付加情報の表示倍率の差異が大きくなって見づらいとか、画像と付加情報が重なってしまい見づらいとか、見栄えが良くないというような問題を解消できる。

前項（７）に記載の発明によれば、付加情報を画像の表示倍率に応じて加工して情報表示装置に表示することで、画像の表示倍率と付加情報の表示倍率を整合させることができる情報表示装置となる。

前項（８）に記載の発明によれば、原稿表示装置により画像の表示倍率が変更されても、確実に表示倍率を算出でき、この表示倍率に整合させて付加情報を加工することができる情報表示装置となる。

前項（９）に記載の発明によれば、画像の表示倍率の変更に応じて付加情報を加工したときに付加情報が却って見にくくなるのを防止できる。

前項（１０）に記載の発明によれば、付加情報を画像の表示倍率に応じて加工して情報表示装置に表示させることができる原稿表示装置となる。

前項（１１）に記載の発明によれば、表示倍率確認用画面の表示ボタンが操作されたタイミング、表示倍率の変更操作が行われたタイミング、予め設定された時間が経過したタイミング、表示手段に表示されている画像の表示内容がすべて入れ替わったタイミング、の少なくともいずれかで、表示倍率確認用画面が表示される。

前項（１２）に記載の発明によれば、付加情報を画像の表示倍率に応じて加工して、撮像した画像に重畳して情報表示装置に表示する処理を、情報表示装置のコンピュータに実行させることができる。

この発明の一実施形態に係る情報表示システムの構成図である。 原稿表示装置の構成を示すブロック図である。 情報表示装置の構成を示すブロック図である。 表示倍率確認用画面の一例を示す図である。 付加情報の加工例を説明するための図である。 付加情報の別の加工例を説明するための図である。 さらに付加情報の別の加工例を説明するための図である。 図１の情報表示システムの各装置の動作を示すフローチャートである。 図８のフローチャートの続きである。 従来の課題を説明するための図である。 同じく従来の課題を説明するための図である。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係る情報表示システムの構成図である。このシステムは、原稿表示装置としての画像処理装置１と、情報表示装置２と、付加情報提供装置３を備えている。

画像処理装置１としてこの実施形態では、コピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のＭＦＰが用いられている。以下、画像処理装置をＭＦＰとも記す。

図２は、ＭＦＰ１の構成を示すブロック図である。ＭＦＰ１は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、スキャナ部１４と、記憶部１５と、プリンタ部１６と、操作パネル１７と、ネットワークコントローラ（Ｎ１Ｃ）１８等を備えている。

前記ＣＰＵ１１は、ＭＦＰ１の全体を統括制御し、コピー機能、プリンタ機能、スキャン機能、ファクシミリ機能等の基本機能を使用可能に制御する。

前記ＲＯＭ１２は、ＣＰＵ１１の動作プログラム等を格納するメモリである。

前記ＲＡＭ１３は、ＣＰＵ１１が動作プログラムに基づいて動作する際の作業領域を提供するメモリである。

前記スキャナ部１４は、原稿台（図示せず）や原稿自動搬送装置（ＡＤＦ）等の原稿載置部にセットされた原稿の画像を読み取り、画像データを出力する原稿読み取り手段である。

前記記憶部１５は、例えばハードディスクドライブ（ＨＤＤ）などの不揮発性の記憶デバイスにより構成されており、スキャナ部１４で読み取られた原稿の画像データや、他のＭＦＰあるいはユーザー端末等から送信されてきたデータ、その他のデータが記憶されている。

前記プリンタ部１６は、前記スキャナ部１４で読み取られた原稿の画像データやユーザ端末からのプリントデータ等を、指示されたモードに従って印刷するものである。

前記操作パネル１７は、各種入力操作等のために使用されるものであり、メッセージや操作画面等を表示するタッチパネル式液晶等からなる表示部１７１と、テンキー、スタートキー、ストップキー等を備えたキー入力部１７２を備えている。

前記ネットワークコントローラ１８は、ネットワーク上の他のＭＦＰや、その他の外部機器例えばユーザ端末等との間での通信を制御することにより、データの送受信を行うものである。

図３は、前記情報表示装置２の構成を示すブロック図である。この実施形態では、情報表示装置２として携帯型端末装置、例えばユーザーの体に装着可能なウェアラブル端末装置が用いられているが、情報表示装置２はウェアラブル端末装置に限定されることはなく、タブレット端末装置やスマートフォン等の端末装置やその他の装置が用いられても良い。なお、以下の説明において、情報表示装置を情報表示端末ともいう。

情報表示端末２は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、記憶部２４と、表示部２５と、通信インターフェース（通信ＩＦ）２６と、カメラ２７等を備えている。

前記ＣＰＵ２１は、オペレーティングシステム（単にＯＳともいう）その他のアプリケーションに基づいて、情報表示端末２の全体を統括的に制御する。

前記ＲＯＭ２２は、前記ＣＰＵ２１の動作プログラム等が格納されているメモリであり、ＲＡＭ２３は、前記ＣＰＵ２１が動作プログラムを実行する際の作業領域を提供するメモリである。

前記記憶部２４は、前記ＯＳ、アプリケーションその他のデータを保存するメモリである。

表示部２５は、カメラ２７で撮像した画像やメッセージ等を表示するものである。この実施形態では、撮像した画像に含まれているＡＲマーカに対応する付加情報を付加情報提供装置３から取得し、この取得した付加情報を撮像した画像に重畳して表示する。

前記通信インターフェース２６は、アクセスポイントを介して無線通信によりＭＦＰ２や付加情報提供装置３等とデータの送受を行うためのものである。

前記カメラ２７は各種の被写体を撮影するものである。

情報提供装置３はパーソナルコンピュータからなり、付加情報データベース３１を備えている。この付加情報データベース３１には、ＡＲマーカと紐付けられた機密情報等の付加情報が保存されている。そして、情報表示端末２からＡＲマーカと紐付けられた付加情報の取得要求があったときは、対応する付加情報を情報表示端末２に送信する。

次に、図１に示した情報表示システムの動作を説明する。

電子データ作成者が、パーソナルコンピュータ等を用いて、ＡＲマーカが埋め込まれた電子データを作成する。この場合、作成者は、電子データに合わせて最適な重畳状態となるように、付加情報の文字サイズ、レイアウト、表示サイズを決定する。そして、前記ＡＲマーカに紐付けて、付加情報を付加情報提供装置３の付加情報データベース３１に登録しておく。一方、重畳される側の電子データも、付加情報の表示スペースを考慮して作成される。

作成された電子データはＭＦＰ１の表示部１７１に画像として表示される。この表示された画像にはＡＲマーカが含まれている。

電子データを提供されるユーザーは、情報表示端末２のカメラ２７により、表示部１７１に表示された画像を撮像する。情報表示端末２は撮像された画像を表示部２５に表示する。同時に、情報表示端末２は撮像された画像中のＡＲマーカを抽出し、ＡＲマーカに対応する付加情報の取得要求を付加情報提供装置３に送信する。

付加情報提供装置３は、取得要求に応じて、ＡＲマーカに紐付けられた付加情報を付加情報データベースから検索し、情報表示端末２に送信する。

情報表示端末２は、付加情報提供装置３から付加情報を受信すると、表示部２５に表示された画像中のＡＲマーカの位置に、上記取得した付加情報を重畳して表示する。

ここで、ユーザーがＡＲマーカを埋め込んだ電子データを、ＭＦＰ１の表示部１７１に画像として表示させる際に、拡大して表示させたとする。この場合、電子データは拡大して表示され、これを撮像した情報表示端末２においても拡大した状態で表示される。

しかし、ＡＲマーカは、ＡＲマーカに紐付けられた付加情報を付加情報提供装置３から呼び出すだけの機能であるため、呼び出された付加情報が情報表示端末２に拡大して表示されるわけではなく、初期設定のサイズで表示される。このため、情報表示端末２の表示部２５に表示された状態で、ＭＦＰ１から撮像した元画像と付加情報とで表示倍率に差異が生じることになり、見づらい。

そこで、この実施形態では、元画像の表示倍率に応じて付加情報を加工して表示する。具体的には、ＭＦＰ１は、元画像の表示倍率の確認用画面を表示部１７１に表示し、情報表示端末２はこの表示倍率確認用画面を撮像し、得られた画像から表示倍率を算出する。

図４に、ＭＦＰ１の表示部１７１に表示される表示倍率確認用画面の一例を示す。この表示倍率確認用画面には、文字サイズであるポイントを示す５、１０、１５という文字と、「各ポイントの文字を現在の表示倍率にて表示しています」というメッセージが表示されている。表示されている数字の「５」は、５ポイントのサイズの文字を現在の表示倍率で表示したものであり、同じく数字の「１０」「１５」は、それぞれ１０ポイント及び１５ポイントのサイズの文字を現在の表示倍率で表示したものである。複数のポイント数を表示しているのは、次の理由による。すなわち、電子データが縮小されて表示されたときに、表示倍率確認用画面上の数字も縮小されて表示されるが、例えば５ポイントの数字だけでは、縮小倍率が小さすぎると情報表示端末２がこれを撮像したときに判別できなくなるおそれがあることから、１０ポイント及び１５ポイントの数字も併せて表示することで、情報表示端末２が確実に判別できるようにしている。ただし、１個の数字のみが表示される構成であってもかまわない。

表示倍率確認用画面は、この実施形態では予め設定されたタイミングで表示部１７１に表示される構成となされている。予め設定されたタイミングとして、この実施形態では、ＭＦＰ１に備えられた表示倍率確認用画面の表示ボタンが操作されたタイミング、表示倍率の変更操作が行われたタイミング、予め設定された所定間隔の時間が経過する毎のタイミング、ＭＦＰ１の表示部１７１に表示されている画像の表示内容がスクロール操作等により入れ替わったタイミング、の少なくともいずれかが設定されているが、これらのタイミングに限定されることはない。

情報処理装置２は、ＭＦＰ１に表示された表示倍率確認用画面を撮像すると、これを解析し、元画像の現在の表示倍率を算出する。そして、付加情報提供装置３から取得したＡＲマーカに紐付けられた付加情報を、算出した表示倍率に基づいて加工する。

加工の具体例を図５に示す。図５（Ａ）は、ＭＦＰ１の表示部１７１に、ＡＲマーカ２１０を有する元画像２００を拡大して表示した画面Ｄ１を示す。図５（Ｂ）は、画面Ｄ１の元画像を撮像しているときに情報表示端末２の表示部２５に表示される画面Ｄ２を示す。

画面Ｄ２には、拡大された元画像２００が拡大されたままのサイズで表示されると共に、ＡＲマーカ２１０に対応する付加情報２２０が、元画像２００の表示倍率と同じ表示倍率に拡大された状態で重畳表示されている。このように、付加情報２２０が元画像２００の表示倍率と同じ表示倍率に拡大された状態で表示されるから、元画像２００と付加情報２２０との文字サイズに差異を生じて見づらいというような問題はなくなる。

また、図５（Ｃ）の画面Ｄ３に示すように、元画像２００の表示倍率に合わせて付加情報２２０を拡大した結果、付加情報２２０を付加情報２２０の表示領域内に表示できない場合は、情報表示端末２は図５（Ｄ）の画面Ｄ４に示すように、元画像２００のレイアウトを変更して元画像２００の間隔を広げることにより付加情報２２０の表示領域２２０ａを拡大し、付加情報２２０が表示領域２２０ａ内に収まるようにする。

あるいは、図６の画面Ｄ５に示すように、元画像２００はレイアウトを変更することなくそのままで、付加情報２２０の表示領域２２０ａを元画像２００と重複しない範囲で可能な限り拡大するとともに、付加情報２２０が表示領域２２０ａ内に収まるように、付加情報２２０の文字サイズを調整する。

また、図７（Ａ）の画面Ｄ６に示すように、ＡＲマーカ２１０が埋め込まれた元画像２００が、ＭＦＰ１側で縮小されて表示部１７１に表示されたときは、図７（Ｂ）の画面Ｄ７に示すように、情報表示端末２では、ＭＦＰ１側と同じ倍率で縮小された元画像を表示部２５に表示するとともに、ＡＲマーカ２１０に対応する付加情報２２０を、元画像と同じ表示倍率に縮小して表示する。これにより、元画像２００と付加情報２２０が重なって表示されるのを回避できる。

なお、以上の例では、ＭＦＰ１側で電子データ（元画像２００）が拡大または縮小されて表示された場合を説明したが、情報表示端末２側で拡大または縮小される場合もある。この場合は、表示倍率を自身で算出して、それに応じて付加情報を加工すれば良い。また、ＭＦＰ１及び情報表示端末２の両方で元画像が拡大または縮小されることもある。この場合は、情報表示端末２は、ＭＦＰ１で表示される表示倍率確認用画面を撮像して算出された表示倍率と、情報表示端末２の表示倍率の両方を考慮して表示倍率を算出し、得られた表示倍率に応じて付加情報を加工すれば良い。

図８は、図１の情報表示システムの各装置の動作を示すフローチャートである。なお、情報表示端末２の動作は、情報表示端末２のＣＰＵ２１がＲＯＭ２２等に格納された動作プログラムに従って動作することにより実行される。

電子データ作成者がＡＲマーカの埋め込まれた電子データを作成する。ＭＦＰ１は、ステップＳ１１で、この電子データをユーザー操作に基づいて拡大または縮小し画像としてＭＦＰ１の表示部１７１に表示する。そして、ＭＦＰ１はステップＳ１２で、所定タイミングで所定時間の間、表示倍率確認用画面を表示する。なお、表示倍率確認用画面の表示が終了する度に、元の電子データを表示する。

情報表示端末２は、ステップＳ２０１で、ＭＦＰ１に表示されている元画像を撮像し、表示部２５に表示する。また、ステップＳ２０２で、ＭＦＰ１に表示された表示倍率確認用画面を撮像し、その画像から元画像の表示倍率を算出する。

次に、ステップＳ２０３で、撮影した画像内にＡＲタグ（ＡＲマーク）が存在しているかチェックする。存在していなければ（ステップＳ２０３でＮＯ）、ステップＳ２０６に進む。存在していれば（ステップＳ２０３でＹＥＳ）、ステップＳ２０４で、ＡＲタグ情報を付加情報提供装置（ＡＲサーバー）３に送信する。

ＡＲサーバー３は、ＡＲタグに紐付けられて付加情報データベース３１に保存されている付加情報を情報表示端末２に送信する。

情報表示端末２は、ステップＳ２０５で、ＡＲサーバー３からの付加情報を受信した後、ステップＳ２０６に進む。

ステップＳ２０６では、自装置で画像の変倍操作が行われたかどうかを調べ、行われていなければ（ステップＳ２０６でＮＯ）、ステップＳ２０９に進む。行われていれば（ステップＳ２０６でＹＥＳ）、ステップＳ２０７で、ステップＳ２０２で算出したＭＦＰ１側の表示倍率を、自装置で行われた表示倍率を考慮した値に変更する。次いで、ステップＳ２０８で、撮像されている元画像の倍率を、変更した表示倍率に応じたものに加工した後、ステップＳ２０９に進む。

ステップＳ２０９では、付加情報を変更した表示倍率に応じて加工する。次いで、ステップＳ２１０で、付加情報の表示は元画像と重なっているかどうか、換言すれば加工後の付加情報が元画像の付加情報表示エリアに収まるかどうかを調べ、重なっていなければ（ステップＳ２１０でＮＯ）、ステップＳ２１１で、付加情報を元画像に重畳して表示部２５に表示したのち、ステップＳ２０１に戻る。

ステップＳ２１０で、付加情報の表示が元画像と重なっている場合は（ステップＳ２１０でＹＥＳ）、図９のステップＳ２１２に進む。ステップＳ２１２では、付加情報の表示サイズを変更するかどうかを判断する。この判断は、変更するかどうかの選択画面をユーザーに提示し、ユーザーによる選択結果に基づいて判断すれば良い。あるいは付加情報の表示サイズを変更するかどうかが予め設定されていても良い。

付加情報の表示サイズを変更する場合は（ステップＳ２１２でＹＥＳ）、ステップＳ２１３で、撮影している画像から重なっている箇所を判別し、情報表示端末２側の表示を変更する。例えば、付加情報表示エリアが収まるように、元画像のレイアウトを変更して付加情報表示エリアの両側の行の上下間隔を広げて表示する。次いで、ステップＳ２１１に進む。

ステップＳ２１２で、付加情報の表示サイズを変更しない場合は（ステップＳ２１２でＮＯ）、ステップＳ２１４に進む。ステップＳ２１４では、付加情報を表示可能な領域とサイズを算出した後、ステップＳ２１５で、上記サイズに入る付加情報の表示倍率を算出する。次いで、ステップＳ２１６で、前記算出された表示倍率に応じて付加情報を加工したのち、ステップＳ２１１に進む。

このように、この実施形態では、付加情報２２０を元画像２００の表示倍率に応じて加工して情報表示端末２に表示するから、元画像２００の表示倍率と付加情報２２０の表示倍率を整合させることができ、従って、元画像２００と付加情報２２０の表示倍率の差異が大きくなって見づらいとか、元画像２００と付加情報２２０が重なってしまい見づらいというような問題を解消でき、見栄えの良い表示状態を実現できる。

１ 画像処理装置
１７１ 表示部
２ 情報表示装置
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ 記憶部
２５ 表示部
２６ プリンタ部
２７ カメラ
３ 情報提供装置
３１ 付加情報データベース
２００ 電子データ（画像）
２１０ ＡＲマーカ
２２０ 付加情報

Claims (12)

1. 原稿表示装置と情報表示装置とを備えた情報表示システムであって、
   前記原稿表示装置は、外部の付加情報提供装置から提供される付加情報をＡＲマーカとして埋め込んだ電子データを画像として表示する表示手段を備え、
   前記情報表示装置は、
   表示手段と、
   前記原稿表示装置の表示手段に表示された前記画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像内の前記ＡＲマーカに対応する付加情報を、前記付加情報提供装置から取得する付加情報取得手段と、
   前記撮像手段により撮像された画像を前記表示手段に表示すると共に、前記付加情報取得手段により取得された付加情報を前記ＡＲマーカの位置に重畳して表示する表示制御手段と、
   前記原稿表示装置と情報表示装置の少なくともいずれかにより、前記画像の表示倍率が変更されているときに、変更後の表示倍率を算出する表示倍率算出手段と、
   を備え、
   前記情報表示装置の表示制御手段は、前記付加情報取得手段により取得された付加情報を、前記表示倍率算出手段により算出された表示倍率に応じて加工して、前記表示手段に表示させることを特徴とする情報表示システム。
2. 前記原稿表示装置により前記画像の表示倍率が変更されて前記表示手段に表示される場合に、
   前記原稿表示装置は、前記表示手段に表示された前記画像の表示倍率を確認させるための表示倍率確認用画面を前記表示手段に表示し、
   前記情報表示装置の撮像手段は、前記画像の他に前記表示倍率確認用画面を撮像し、前記表示倍率算出手段は、前記撮像された表示倍率確認用画面から前記表示倍率を算出する請求項１に記載の情報表示システム。
3. 前記原稿表示装置は、前記表示倍率確認用画面を予め設定されたタイミングで前記表示手段に表示する請求項２に記載の情報表示システム。
4. 前記予め設定されたタイミングは、前記原稿表示装置上の表示倍率確認用画面の表示ボタンが操作されたタイミング、前記表示倍率の変更操作が行われたタイミング、予め設定された時間が経過したタイミング、前記原稿表示装置の表示手段に表示されている画像の表示内容がすべて入れ替わったタイミング、の少なくともいずれかである請求項３に記載の情報表示システム。
5. 前記情報表示装置の表示制御手段は、前記付加情報を、前記表示倍率算出手段により算出された表示倍率に応じて加工した結果、加工後の付加情報が、表示手段に表示された画像における付加情報表示エリアに収まるか否かを判断し、収まらない場合は、前記付加情報表示エリアを拡大するか、または付加情報の表示サイズを変更するかの少なくともいずれかを実行する請求項１〜３のいずれかに記載の情報表示システム。
6. 原稿表示装置と情報表示装置とを備えた情報表示システムで実行される情報表示方法であって、
   前記原稿表示装置は、外部の付加情報提供装置から提供される付加情報をＡＲマーカとして埋め込んだ電子データを画像として表示手段に表するステップを実行し、
   前記情報表示装置は、
   前記原稿表示装置の表示手段に表示された前記画像を撮像する撮像ステップと、
   前記撮像ステップにより撮像された画像内の前記ＡＲマーカに対応する付加情報を、前記付加情報提供装置から取得する付加情報取得ステップと、
   前記撮像ステップにより撮像された画像を自装置の表示手段に表示すると共に、前記付加情報取得ステップにより取得された付加情報を前記ＡＲマーカの位置に重畳して表示する表示制御ステップと、
   前記原稿表示装置と情報表示装置の少なくともいずれかにより、前記画像の表示倍率が変更されているときに、変更後の表示倍率を算出する表示倍率算出ステップと、
   を実行し、
   前記情報表示装置の表示制御ステップでは、前記付加情報取得手段により取得された付加情報を、前記表示倍率算出ステップにより算出された表示倍率に応じて加工して、前記表示手段に表示させることを特徴とする情報表示方法。
7. 表示手段と、
   外部の付加情報提供装置から提供される付加情報をＡＲマーカとして埋め込んだ電子データを画像として表示した原稿表示装置から、前記画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像内の前記ＡＲマーカに対応する付加情報を、外部の付加情報提供装置から取得する付加情報取得手段と、
   前記撮像手段により撮像された画像を前記表示手段に表示すると共に、前記付加情報取得手段により取得された付加情報を前記ＡＲマーカの位置に重畳して表示する表示制御手段と、
   前記原稿表示装置と自装置の少なくともいずれかにより、前記画像の表示倍率が変更されているときに、変更後の表示倍率を算出する表示倍率算出手段と、
   を備え、
   前記表示制御手段は、前記付加情報取得手段により取得された付加情報を、前記表示倍率算出手段により算出された表示倍率に応じて加工して、前記表示手段に表示させることを特徴とする情報表示装置。
8. 前記撮像手段は、前記画像の他に、前記原稿表示装置により前記画像の表示倍率が変更されて原稿表示装置に表示される場合に原稿表示装置に表示される、前記画像の表示倍率を確認させるための表示倍率確認用画面をも撮像し、
   前記表示倍率算出手段は、前記撮像された表示倍率確認用画面から前記表示倍率を算出する請求項７に記載の情報表示装置。
9. 前記表示制御手段は、前記付加情報を、前記表示倍率算出手段により算出された表示倍率に応じて加工した結果、加工後の付加情報が、表示手段に表示された画像における付加情報表示エリアに収まるか否かを判断し、収まらない場合は、前記付加情報表示エリアを拡大するか、または付加情報の表示サイズを変更するかの少なくともいずれかを実行する請求項７または８に記載の情報表示装置。
10. 外部の付加情報提供装置から提供される付加情報をＡＲマーカとして埋め込んだ電子データを画像として表示するとともに、前記画像の表示倍率を確認させるための表示倍率確認用画面を予め設定されたタイミングで表示する表示手段を備えたことを特徴とする原稿表示装置。
11. 前記予め設定されたタイミングは、前記表示倍率確認用画面の表示ボタンが操作されたタイミング、前記表示倍率の変更操作が行われたタイミング、予め設定された時間が経過したタイミング、前記表示手段に表示されている画像の表示内容がすべて入れ替わったタイミング、の少なくともいずれかである請求項１０に記載の原稿表示装置。
12. 情報処理装置のコンピュータに、
    外部の付加情報提供装置から提供される付加情報をＡＲマーカとして埋め込んだ電子データを画像として表示した原稿表示装置から、前記画像を撮像する撮像ステップと、
    前記撮像ステップにより撮像された画像内の前記ＡＲマーカに対応する付加情報を、外部の付加情報提供装置から取得する付加情報取得ステップと、
    前記撮像ステップにより撮像された画像を表示手段に表示すると共に、前記付加情報取得ステップにより取得された付加情報を前記ＡＲマーカの位置に重畳して表示する表示制御ステップと、
    前記原稿表示装置と自装置の少なくともいずれかにより、前記画像の表示倍率が変更されているときに、変更後の表示倍率を算出する表示倍率算出ステップと、
    を実行させ、
    前記表示制御ステップでは、前記付加情報取得ステップにより取得された付加情報を、前記表示倍率算出ステップにより算出された表示倍率に応じて加工して、前記表示手段に表示させる処理を、前記コンピュータに実行させるための情報表示プログラム。

Images