JP2016076021A - 表示制御プログラム、表示制御方法及び情報処理装置 - Google Patents
表示制御プログラム、表示制御方法及び情報処理装置 Download PDFInfo
- Publication number
- JP2016076021A JP2016076021A JP2014204778A JP2014204778A JP2016076021A JP 2016076021 A JP2016076021 A JP 2016076021A JP 2014204778 A JP2014204778 A JP 2014204778A JP 2014204778 A JP2014204778 A JP 2014204778A JP 2016076021 A JP2016076021 A JP 2016076021A
- Authority
- JP
- Japan
- Prior art keywords
- additional information
- data
- area
- captured image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
また、1つの態様では、制御部を有する情報処理装置が提供される。
[第1の実施の形態]
図1は、第1の実施の形態の情報処理システムの例を示す図である。
第2の実施の形態について説明する。第2の実施の形態の情報処理システムは、AR技術を用いて帳票の撮像画像と帳票に印字されていない付加情報とを重ねて表示し、帳票を使用した業務を支援する。
図2は、第2の実施の形態の情報処理システムの例を示す図である。
第2の実施の形態の情報処理システムは、端末装置100、帳票管理サーバ300、帳票登録端末400、ARサーバ200を含む。
ARサーバ200は、ネットワークNWを介して帳票管理サーバ300と通信できる。帳票管理サーバ300は、ネットワークNWを介してARサーバ200及び帳票登録端末400と通信できる。ネットワークNWは、有線又は無線の通信網である。
端末装置100は、帳票を撮像し、撮像画像を画面上に表示する。このとき、端末装置100は、撮像画像からARマーカを検出し、検出したARマーカに対応する付加情報をARサーバ200から取得する。
また、ARサーバ200は、端末装置100から撮像画像の表示位置を示す表示情報を受信した場合に、受信した表示情報に基づいて付加情報の表示位置を計算し、付加情報の表示位置を示す位置情報を端末装置100へ送信する。
ARマーカは正方形であり、内部の白領域及び白領域を囲う黒枠を有し、白領域の幅と黒枠の幅との比が2:1乃至14:3になるように定められる。ARマーカの検出は黒枠で行われる。ARマーカの判別は白領域内の画像パターンから抽出される特徴量に基づいて行われる。
図3は、第2の実施の形態の端末装置のハードウェアの例を示す図である。
端末装置100は、通信部101、CPU102、RAM103、不揮発性メモリ104、ディスプレイ105、キーパッド106、音声信号処理部107、スピーカ107a、マイクロホン107b、カメラ108及びバス109を有する。
無線LANの通信方式の場合、通信部101は、CPU102からの指示に応じてアクセスポイントをスキャンし、スキャン結果をCPU102に報告する。また、通信部101は、CPU102から指示されたアクセスポイントに接続する手続きを行う。これにより、当該アクセスポイントを介したデータ通信が可能となる。携帯電話網の通信方式の場合、通信部101は、CPU102からの指示に応じて基地局に接続し、基地局を介したデータ通信が可能となる。
ARサーバ200は、CPU201、RAM202、HDD203、画像信号処理部204、入力信号処理部205、媒体リーダ206及び通信インタフェース207を有する。上記のユニットは、それぞれバス208に接続されている。
図5は、第2の実施の形態の端末装置の機能の例を示すブロック図である。
端末装置100は、撮像部111、マーカ検出部112、付加情報取得部113、表示制御部114を有する。
マーカ検出部112は、撮像画像からARマーカを検出する。また、マーカ検出部112は、検出したARマーカの特徴量を抽出し、付加情報取得部113へ入力する。このとき、マーカ検出部112は、ARマーカの白領域を所定の分割数(例えば、256分割)で分割し、各分割領域の特徴(黒画素数など)を数値化して特徴量を計算する。
また、付加情報取得部113は、表示制御部114から、撮像画像をディスプレイ105に表示する場合の画面上の撮像画像の表示位置を示す表示情報を取得する。そして、付加情報取得部113は、取得した表示情報をARサーバ200へ送信し、付加情報を表示する位置を示す位置情報をARサーバ200から取得する。
図6は、第2の実施の形態のARサーバの機能の例を示すブロック図である。
ARサーバ200は、記憶部211、付加情報管理部212、表示可能領域設定部213、付加情報調整部214を有する。
図7は、第2の実施の形態のARデータベースの例を示す図である。
ARデータベース211aは、マーカ識別情報、付加情報、標準サイズ、帳票IDが登録されるデータベースである。
付加情報管理部212は、帳票管理サーバ300から、マーカ識別情報、付加情報、標準サイズ、帳票IDを取得する。そして、付加情報管理部212は、取得したマーカ識別情報、付加情報、標準サイズ、帳票IDをARデータベース211aに登録する。
図8は、第2の実施の形態の帳票管理サーバの機能の例を示すブロック図である。
帳票管理サーバ300は、記憶部311、帳票管理部312、付加情報登録部313、及びデータ部領域設定部314を有する。
図9は、第2の実施の形態の帳票データベースの例を示す図である。
帳票データベース311aは、帳票IDと、帳票様式と、帳票データとが登録されるデータベースである。
帳票管理部312は、帳票登録端末400から帳票様式を示すオーバレイ情報及び帳票データを取得し、取得したオーバレイ情報及び帳票データを帳票データベース311aに登録する。帳票管理部312は、帳票管理サーバ300に直接又はネットワークNWを介して接続されたプリンタ70を用い、帳票様式に従って帳票データを含む帳票を印刷する。このとき、帳票管理部312は、帳票にARマーカを印刷する。
図10は、第2の実施の形態の帳票の例を示す図である。
請求書T10は帳票の一例である。
帳票項目T14に含まれる日付と数値から棒グラフや円グラフなどのグラフを付加情報として生成することができる。帳票項目T15についても同様である。
データ部領域T20の情報が得られると、ARサーバ200の表示可能領域設定部213は、図12に示すように表示可能領域T30を設定できる。図12は、第2の実施の形態の付加情報の表示の例を示す図である。つまり、表示可能領域設定部213は、端末装置100のディスプレイ105の画面内で、請求書T10の表示位置からデータ部領域T20が占める範囲を割り出し、その範囲外に表示可能領域T30を設定する。
上記のように、帳票データが記入されている帳票項目を含むようにデータ部領域が設定され、データ部領域外に付加情報の表示可能領域が設定される。また、帳票項目に複数のフィールドを含み、そのフィールドに記入される帳票データの数(例えば、表の記入済み行数)が可変の帳票の場合、空欄になっているフィールドに重なるように表示可能領域を設定することができる。
図14は、第2の実施の形態の付加情報の登録の処理フローを示すシーケンス図である。
帳票様式を設計する場合、ユーザは、帳票様式の設計用プログラムを利用し、帳票の枠線のレイアウト、帳票データを記入するフィールドの設定、帳票項目の設定、フィールドと帳票項目との対応付けなどを行う。
図15は、第2の実施の形態の付加情報の表示の処理フローを示すシーケンス図である。
撮像画像がカラー画像である場合、マーカ検出部112は、撮像画像をグレースケール化し、二値化し、白黒反転した上で、ARマーカの白領域(反転しているため、実際には黒背景の領域)を所定の分割数で分割し、各分割領域の特徴を数値化する。これらの処理により得られた各分割領域に対応する数値の集合がARマーカの特徴量となる。
(S115)付加情報の要求を受けたARサーバ200の表示可能領域設定部213は、ARデータベース211aに登録されたARマーカの特徴量のうち、端末装置100から受信したARマーカの特徴量に最も近い特徴量を抽出する。
また、表示可能領域設定部213は、抽出した特徴量に対応する帳票IDをARデータベース211aから抽出する。
(S119)データ部領域情報を受信したARサーバ200の表示可能領域設定部213は、撮像画像が表示された場合における端末装置100の表示画面内でデータ部領域外の領域を計算し、計算した領域を表示可能領域とする(図12のT30参照)。
例えば、付加情報調整部214は、ARデータベース211aに登録された標準サイズを参照し、表示可能領域より大きな付加情報の画像サイズを縮小する。
表示可能領域に比べて標準サイズが小さい場合、付加情報調整部214は、表示可能領域に収まる範囲で付加情報を拡大してもよい。
(S121)付加情報調整部214は、S120で調整後の付加情報及び各付加情報の表示位置(付加情報等)を端末装置100へ送信する。
図15の例では、ARマーカから帳票IDが特定されているが、端末装置100にユーザが帳票IDを手入力し、端末装置100からARサーバ200へと送信されるシステムに変形することもできる。さらに、ユーザの手入力に代えて、端末装置100が撮像画像から帳票IDを自動認識するシステムに変形してもよい。例えば、帳票IDが印刷される場所が予め設定されていれば、その場所に記載された文字や数字のデータを、OCR(Optical Character Recognition)技術により撮像画像から読み取ることができる。
第2の実施の形態に係る技術によれば、帳票の作成に用いられた帳票データを参照して、帳票を撮像した撮像画像の中から表示可能領域が検出される。そして、帳票に対応する付加情報が、表示可能領域の外に表示される。これにより、付加情報によって帳票データの印刷内容が隠されてしまうのを抑制し、ユーザが印刷内容と付加情報の両方を同時に確認することが容易となる。すなわち、付加情報を重畳表示したときの撮像画像上での帳票の視認性を改善できる。
1a 制御部
2 撮像装置
3 表示装置
4 記憶手段
4a 帳票データ
5 撮像画像
5a 印字データ
6 付加情報
Claims (6)
- コンピュータに、
記憶手段に記憶された帳票データに基づいて、帳票を撮像した撮像画像の中で、前記帳票データを用いて印字された前記帳票上の印字データの領域を検出し、
表示装置に表示された前記撮像画像上の、検出した前記印字データの領域外に、前記帳票に対応する付加情報を前記撮像画像と重畳させて前記表示装置に表示させる、
処理を実行させる表示制御プログラム。 - 前記印字データの領域外に、前記帳票に設けられた複数のフィールドのうち前記印字データを含まない空のフィールドを含む、
請求項1記載の表示制御プログラム。 - 前記記憶手段には、前記複数のフィールドの位置を示すレイアウト情報が記憶され、
前記帳票データと前記レイアウト情報とに基づいて、前記複数のフィールドが、前記印字データを含む印字済フィールドと前記空のフィールドとに区分される、
請求項2記載の表示制御プログラム。 - 前記コンピュータに、
前記印字データの領域の外である前記撮像画像上の他の領域の大きさに基づいて、前記付加情報の表示サイズを決定する、
処理を実行させる請求項1乃至3の何れか一項に記載の表示制御プログラム。 - コンピュータが実行する表示制御方法であって、
記憶手段に記憶された帳票データに基づいて、帳票を撮像した撮像画像の中で、前記帳票データを用いて印字された前記帳票上の印字データの領域を検出し、
表示装置に表示された前記撮像画像上の、検出した前記印字データの領域外に、前記帳票に対応する付加情報を前記撮像画像と重畳させて前記表示装置に表示させる、
表示制御方法。 - 記憶手段に記憶された帳票データに基づいて、帳票を撮像した撮像画像の中で、前記帳票データを用いて印字された前記帳票上の印字データの領域を検出し、表示装置に表示された前記撮像画像上の、検出した前記印字データの領域外に、前記帳票に対応する付加情報を前記撮像画像と重畳させて前記表示装置に表示させる制御部、
を有する情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014204778A JP6421528B2 (ja) | 2014-10-03 | 2014-10-03 | 表示制御プログラム、表示制御方法及び情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014204778A JP6421528B2 (ja) | 2014-10-03 | 2014-10-03 | 表示制御プログラム、表示制御方法及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016076021A true JP2016076021A (ja) | 2016-05-12 |
JP6421528B2 JP6421528B2 (ja) | 2018-11-14 |
Family
ID=55949896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014204778A Active JP6421528B2 (ja) | 2014-10-03 | 2014-10-03 | 表示制御プログラム、表示制御方法及び情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6421528B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018173742A (ja) * | 2017-03-31 | 2018-11-08 | 株式会社 みずほ銀行 | 支払支援システム、支払支援方法及び支払支援プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003308310A (ja) * | 2002-04-15 | 2003-10-31 | Sharp Corp | 表示方法、表示装置、表示プログラム、および表示プログラムを記録した記録媒体 |
JP2006099227A (ja) * | 2004-09-28 | 2006-04-13 | Olympus Corp | 情報重畳表示システム |
JP2013080394A (ja) * | 2011-10-04 | 2013-05-02 | Canon Inc | 表示制御装置、表示制御装置の制御方法、プログラム |
JP2014106692A (ja) * | 2012-11-27 | 2014-06-09 | Canon Inc | 画像処理装置、画像処理方法、画像処理システム及びプログラム |
JP2014132478A (ja) * | 2014-02-18 | 2014-07-17 | Oki Electric Ind Co Ltd | 表示制御装置、表示制御方法及びプログラム |
-
2014
- 2014-10-03 JP JP2014204778A patent/JP6421528B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003308310A (ja) * | 2002-04-15 | 2003-10-31 | Sharp Corp | 表示方法、表示装置、表示プログラム、および表示プログラムを記録した記録媒体 |
JP2006099227A (ja) * | 2004-09-28 | 2006-04-13 | Olympus Corp | 情報重畳表示システム |
JP2013080394A (ja) * | 2011-10-04 | 2013-05-02 | Canon Inc | 表示制御装置、表示制御装置の制御方法、プログラム |
JP2014106692A (ja) * | 2012-11-27 | 2014-06-09 | Canon Inc | 画像処理装置、画像処理方法、画像処理システム及びプログラム |
JP2014132478A (ja) * | 2014-02-18 | 2014-07-17 | Oki Electric Ind Co Ltd | 表示制御装置、表示制御方法及びプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018173742A (ja) * | 2017-03-31 | 2018-11-08 | 株式会社 みずほ銀行 | 支払支援システム、支払支援方法及び支払支援プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6421528B2 (ja) | 2018-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6050843B2 (ja) | 情報処理装置、方法およびプログラム | |
JPWO2007004519A1 (ja) | 検索システム及び検索方法 | |
JP6992293B2 (ja) | 共有端末、通信システム、画像送信方法、及びプログラム | |
CN103019537A (zh) | 一种图像预览方法及装置 | |
US9614984B2 (en) | Electronic document generation system and recording medium | |
JP4660537B2 (ja) | 情報管理システム及び書類情報管理方法 | |
JP6464676B2 (ja) | 表示制御プログラム、表示制御方法および情報処理装置 | |
JP6134107B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6776778B2 (ja) | 共有端末、通信システム、通信方法、及びプログラム | |
JP6361432B2 (ja) | 表示制御プログラム、表示制御方法および表示制御装置 | |
JP7043913B2 (ja) | 共有端末、通信システム、通信方法、及びプログラム | |
JP2008204184A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
US11941672B2 (en) | Information processing system, information processing method, and non-transitory recording medium | |
US10002291B2 (en) | Method and system of identifying fillable fields of an electronic form | |
JP6191500B2 (ja) | 画像処理装置、画像処理システム及び画像処理プログラム | |
JP6421528B2 (ja) | 表示制御プログラム、表示制御方法及び情報処理装置 | |
JP2020017149A (ja) | 情報処理装置及び情報処理方法 | |
JP6168872B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6977384B2 (ja) | 情報処理装置、プログラムおよび画像出力システム | |
JP6682827B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP5804430B2 (ja) | 書籍情報処理装置、書籍情報処理方法、およびプログラム | |
JP2007011762A (ja) | 領域抽出装置及び領域抽出方法 | |
JP6712861B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2019175509A (ja) | データ入力装置、データ入力プログラム及びデータ入力システム | |
JP7040248B2 (ja) | 共有端末、通信システム、通信方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180918 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181001 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6421528 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |