JP2014510963A - キャプチャーされた画像データのスプレッドシートとの関連付け - Google Patents

キャプチャーされた画像データのスプレッドシートとの関連付け Download PDF

Info

Publication number
JP2014510963A
JP2014510963A JP2013551999A JP2013551999A JP2014510963A JP 2014510963 A JP2014510963 A JP 2014510963A JP 2013551999 A JP2013551999 A JP 2013551999A JP 2013551999 A JP2013551999 A JP 2013551999A JP 2014510963 A JP2014510963 A JP 2014510963A
Authority
JP
Japan
Prior art keywords
data
spreadsheet
captured image
updating
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013551999A
Other languages
English (en)
Other versions
JP6282116B2 (ja
JP2014510963A5 (ja
Inventor
リン，エイミー
プリシュ，シャハール
デル，シャーマン
キャンプベル，ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2014510963A publication Critical patent/JP2014510963A/ja
Publication of JP2014510963A5 publication Critical patent/JP2014510963A5/ja
Application granted granted Critical
Publication of JP6282116B2 publication Critical patent/JP6282116B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

スプレッドシートアプリケーションが、キャプチャーされた画像から得られるデータをスプレッドシートに関連付ける。例えば、物理的データの１又は複数の画像がキャプチャーされて、１又は複数のスプレッドシートと自動的に関連付けられた電子データに変換されることができる。キャプチャーされた画像の中に含まれるデータの書式と内在する数式は、スプレッドシート内に表現されることができる（例えば、ハイライトされたデータは電子的なスプレッドシート内でハイライトされたままとなる）。データは既存の電子データと比較されることもできる。例えば、キャプチャーされた画像の中のデータと既存のスプレッドシートの中のデータとの差分を用いて、既存のスプレッドシートを更新することができる。キャプチャーされた画像から得られるデータを用いて、当該キャプチャーされた画像の表示が拡張されることもできる。例えば、キャプチャーされた画像から得られるデータを用いて、グラフが作成され表示されることができる。
【選択図】図３

Description

[0001] データを取り扱うのに電子的なスプレッドシートを利用する人は多い。データは、しかしながら、常に電子的に記憶されている訳ではない。例えば、多くの人はいまだに、スプレッドシートを印刷したり、紙にリストを書いたり、印刷されたレシートを受け取ったりする。こうしたデータをスプレッドシートで使用するために、ユーザーは、望んだデータをスプレッドシートのそれぞれのセルにタイプ入力することになる。これは、時間のかかる、間違いやすいプロセスとなり得る。
[0002] この概要は、以下の詳細な説明において更に説明される概念の抜粋を簡潔な形で紹介するために提供される。この概要は、特許請求の範囲に記載された主題の主要な特徴又は本質的な特徴を特定することを意図しておらず、また、特許請求の範囲に記載された主題の範囲を決定付ける助けとして用いられることも意図していない。
[0003] スプレッドシートアプリケーションが、キャプチャーされた画像から得られるデータをスプレッドシートに関連付ける。例えば、データの１又は複数の画像がキャプチャーされて、１又は複数のスプレッドシートと自動的に関連付けられた電子データに変換されることができる。キャプチャーされた画像の中に含まれるデータの書式と内在する数式は、スプレッドシート内に表現されることができる（例えば、ハイライトされたデータは電子的なスプレッドシート内でハイライトされたままとなる）。データは既存の電子データと比較されることもできる。例えば、キャプチャーされた画像の中のデータと既存のスプレッドシートの中のデータとの差分を用いて、既存のスプレッドシートを更新することができる。キャプチャーされた画像から得られるデータを用いて、当該キャプチャーされた画像の表示が拡張されることもできる。例えば、キャプチャーされた画像から得られるデータを用いて、グラフが作成され表示されることができる。
[0004] 図１は、例示的なコンピューティング環境を示す。 [0005] 図２は、キャプチャーされた画像からのデータを自動的にスプレッドシートに組み込むためのシステムを示す。 [0006] 図３は、レシートのキャプチャー画像がスプレッドシートに統合されていることを示す。 [0007] 図４は、手書きの紙のキャプチャー画像がスプレッドシートに統合されたことを示す。 [0008] 図５は、ユーザーがキャプチャーされた画像の一部分を選択し当該選択した一部分をスプレッドシートに統合していることを示す。 [0009] 図６は、ユーザーがスプレッドシートに統合される３つの異なる画像をキャプチャーしていることを示す。 [0010] 図７は、キャプチャー画像が手書き文字を含んだスプレッドシートの一部分を含んでいることを示す。 [0011] 図８は、キャプチャーされた画像からのデータを用いて当該キャプチャーされた画像を拡張することを示す。 [0012] 図９は、画像をキャプチャーし当該キャプチャーされた画像を拡張する別の例を示す。 [0013] 図１０は、スプレッドシートに組み込まれる数式を含んだキャプチャー画像を示す。 [0014] 図１１は、キャプチャーされた画像からのデータをスプレッドシートと関連付けるための例示的な処理を示す。
[0015] ここで、同様の符号が同様の要素を表している図面を参照して、様々な実施態様が説明される。特に、図１とそれに対応する議論は、実施態様が実現可能な好適なコンピューティング環境の簡潔で概括的な説明を提供することを意図されている。
[0016] 概して、プログラムモジュールは、ルーチン、プログラム、コンポーネント、データ構造、及び、特定のタスクを実行し又は特定の抽象データ型を実現する他の種類の構造を含む。ハンドヘルドデバイス、マルチプロセッサーシステム、マイクロプロセッサーベース又はプログラム可能な家電製品、ミニコンピューター、メインフレームコンピューター等を含む、他のコンピューターシステム構成も利用可能である。通信ネットワークを通じてリンクされたリモートプロセッシングデバイスによってタスクが実行される、分散コンピューティング環境も利用可能である。分散コンピューティング環境では、プログラムモジュールは、ローカルのメモリー記憶デバイスとリモートのメモリー記憶デバイスの何れにも配置されることができる。
[0017] ここで図１を参照して、様々な実施態様において利用されるコンピューター１００の例示的なコンピューター環境が説明される。図１に示されたコンピューター環境は、それぞれがサーバー、デスクトップ若しくはモバイルコンピューター、又は何らかの他の種類のコンピューティングデバイスとして構成されることができ、中央処理装置５（「ＣＰＵ」）、ランダムアクセスメモリー９（「ＲＡＭ」）及びリードオンリーメモリー（「ＲＯＭ」）１０を含むシステムメモリー７、並びに、メモリーを中央処理装置（「ＣＰＵ」）５に結合するシステムバス１２を有している、コンピューティングデバイスを含む。
[0018] 例えば起動時にコンピューター内部の要素の間で情報を転送するのを容易にする基本ルーチンを備えた基本入出力システムは、ＲＯＭ１０に格納されている。コンピューター１００は、更に、オペレーティングシステム１６、スプレッドシート１１、スプレッドシートアプリケーション２４、他のプログラムモジュール２５、及び以下でより詳細に説明される画像マネージャー２６を格納するためのマスストレージデバイス１４を含んでいる。
[0019] マスストレージデバイス１４は、バス１２に接続されたマスストレージコントローラー（不図示）を通じてＣＰＵ５に接続されている。マスストレージデバイス１４とそれに関係するコンピューター読み取り可能媒体は、コンピューター１００のための不揮発性記憶を提供する。本明細書に含まれるコンピューター読み取り可能媒体の説明はハードディスクドライブ又はＣＤ−ＲＯＭドライブのようなマスストレージデバイスを引き合いに出しているけれども、コンピューター読み取り可能媒体は、コンピューター１００によってアクセスされることができる任意の利用可能な媒体であり得る。
[0020] 限定ではなく例として、コンピューター読み取り可能媒体は、コンピューター記憶媒体と通信媒体を含んでもよい。コンピューター記憶媒体は、コンピューター読み取り可能命令、データ構造、プログラムモジュール、若しくは他のデータといったような、情報の記憶のための任意の方法又は技術により実現された、揮発性及び不揮発性、リムーバブル及び非リムーバブルの媒体を含む。コンピューター記憶媒体は、ＲＡＭ、ＲＯＭ、消去可能プログラマブルリードオンリーメモリー（「ＥＰＲＯＭ」）、電気的消去可能プログラマブルリードオンリーメモリー（「ＥＥＰＲＯＭ」）、フラッシュメモリー若しくは他の固体メモリー技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（「ＤＶＤ」）、若しくは他の光学的ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ若しくは他の磁気記憶デバイス、又は、所望の情報を記憶するのに使用可能でありコンピューター１００によってアクセス可能な任意の他の媒体を含むが、これらには限定されない。
[0021] コンピューター１００は、インターネット等のネットワーク１８を通じたリモートコンピューターへの論理接続を用いるネットワーク環境において動作する。コンピューター１００は、バス１２に接続されたネットワークインターフェースユニット２０を通じてネットワーク１８に接続することができる。ネットワーク接続は、無線及び／又は有線であり得る。ネットワークインターフェースユニット２０はまた、他の種類のネットワーク及びリモートコンピューターシステムに接続するのにも利用可能である。コンピューター１００はまた、キーボード、マウス、又は電子スタイラス（図１には示されていない）を含む、他の多くのデバイスからの入力を受け取り処理するための入出力コントローラー２２も含むことができる。同様に、入出力コントローラー２２は、スキャナー、カメラ、ディスプレイ画面２３、プリンター、又は他の種類の入力及び／又は出力デバイスへの入出力を提供することができる。
[0022] 上で簡潔に触れたように、多くのプログラムモジュール及びデータファイルがコンピューター１００のマスストレージデバイス１４及びＲＡＭ９に格納されることができ、それには、ワシントン州レッドモンドのマイクロソフト社からのウィンドウズ７（登録商標）オペレーティングシステム等の、コンピューターの動作を制御するのに適したオペレーティングシステム１６が含まれる。マスストレージデバイス１４及びＲＡＭ９はまた、１又は複数のプログラムモジュールを格納することもできる。特に、マスストレージデバイス１４及びＲＡＭ９は、スプレッドシートアプリケーション２４及びプログラムモジュール２５を含む、１又は複数のアプリケーションプログラムを格納することができる。一実施態様によれば、スプレッドシートアプリケーション２４は、マイクロソフトのエクセルのスプレッドシートアプリケーションである。他のスプレッドシートアプリケーションもまた使用可能である。
[0023] 画像マネージャー２６は、キャプチャーされた画像から得られるデータをスプレッドシートと統合するように構成されている。画像マネージャー２６は、図示されるようにスプレッドシートアプリケーション２４とは別個に設けられてもよいし、あるいはスプレッドシートアプリケーション２４の一部分であってもよい。更に、画像マネージャー２６によって提供される機能の全て／いくつかは、スプレッドシートアプリケーション２４の内部／外部に設けられることができる。
[0024] スプレッドシートアプリケーション２４は、１又は複数のキャプチャーされた画像から得られるデータを統合するように構成されている。例えば、データを含んでいる１又は複数のキャプチャーされた画像は、画像マネージャー２６を用いて１又は複数のスプレッドシートと自動的に関連付けられる電子データに変換されることができる。キャプチャーされたデータの書式と内在する数式は、関連付けられたスプレッドシート内に表現されることができる（例えば、キャプチャーされた画像の中のハイライトされたデータは電子的なスプレッドシート内でハイライトされたままとなる）。キャプチャーされた画像から得られるデータは、既存の電子データと比較されて統合されることもできる。例えば、キャプチャーされた画像の中のデータと既存のスプレッドシートの中のデータとの差分を用いて、既存のスプレッドシートを更新することができる。キャプチャーされた画像からのデータを用いて、表示が拡張されることもできる。例えば、キャプチャーされた画像内に含まれているデータに基づいて、グラフが作成され表示されることができる。より詳しい内容は以下で説明される。
[0025] 図２は、キャプチャーされた画像からのデータを自動的にスプレッドシートに組み込むためのシステムを示す。図示されるように、システム２００は、画像マネージャー２６、アプリケーションプログラム２１０、コールバックコード２１２、ソース２２０、及びユーザー２１５を含む。使用されるコンピューティングデバイスは、データをキャプチャーし当該データをスプレッドシートと関連付けることに関する動作を実行するように構成された、任意の種類のコンピューティングデバイスであり得る。例えば、コンピューティングデバイスのいくつかは、モバイルコンピューティングデバイス（例えば、携帯電話端末、タブレット、スマートフォン、ラップトップ等）、デスクトップコンピューティングデバイス、及びサーバーであり得る。
[0026] 画像マネージャー２６との通信を容易にするために、コールバックコード２１２として図２に示されている１又は複数のコールバックルーチンが実装されることができる。一実施態様によれば、アプリケーションプログラム２４はスプレッドシートアプリケーションである。
[0027] 画像マネージャー２６は、１又は複数の異なるソースから画像データを取得するように構成されている。例えば、ソース２２０は、カメラ、スキャナー、写真、ビデオ、及び画像マネージャー２６が取得可能な他の画像データを示している。概して、画像マネージャー２６は、キャプチャーされ得る任意のデータを取得することができる。ソースは、静的（即ち１枚の写真）及び／又は動的（例えばビデオフィード）であり得る。一実施態様によれば、画像マネージャー２６は、動的フィードから画像をキャプチャーするように構成されている。
[0028] 画像（例えば、写真、ビデオ、ライブストリーム）が（スキャナー、ウェブカメラ、カメラ付き電話、ハンドヘルドカメラ等を用いて）キャプチャーされた後、画像マネージャー２６は、光学文字認識（ＯＣＲ）技術を利用して任意の光学的に認識可能なデータを検出する。例えば、キャプチャーされた画像には、１又は複数のライン上に同じパターンが続く空白スペースによって隔てられた列の形に並んだ表形式のデータが含まれる場合がある。一実施態様によれば、この間隔とラインによって、電子的なスプレッドシートにおいてそれぞれの数の列と行が作られる。キャプチャーされた画像には、スプレッドシートと一体化可能な写真が含まれる場合もある。キャプチャーされた画像には、スプレッドシートと一体化可能な書式が含まれる場合もある。例えば、文字は、キャプチャーされた画像内の他の文字とは異なる形に書式が設定されている場合がある。この書式は、関連付けされたスプレッドシートに取り込まれて表示されることができる。キャプチャーされた画像には、スプレッドシートに組み込まれることが可能な数式が含まれる場合もある。一実施態様によれば、画像マネージャー２６は、どんな数式であっても解析して、対応するスプレッドシートの数式を生成する。数式をスプレッドシートに変換するのを補助するために、ユーザーインターフェースがユーザーに提供されることができる。例えば、ユーザーインターフェースを用いて、数式の中の変数がスプレッドシートの要素と関連付けられることができる。
[0029] ディスプレイ２１５は、スプレッドシートから得られるデータの表現を表示するように構成されている。データは、スプレッドシートの表示の中に含められること、及び／又は、別のオブジェクトの表示を生成するのに利用されることができる。例えば、キャプチャーされた画像から得られるデータは、表示されるグラフの作成、値のリストの並び替え、１又は複数の値の書式の変更等に利用されることができる。
[0030] 図３−９は、キャプチャーされた画像データをスプレッドシートで利用することを表している例示的なシナリオを示す。
[0031] 図３は、スプレッドシートに統合されているレシートのキャプチャー画像を示す。図示されるように、図３は、レシート３１０の写真、レシート３１０を統合する前のスプレッドシート３２０、及びレシート３１０を統合した後のスプレッドシート３３０を含んでいる。
[0032] レシート３１０は、電子的に印刷されたレシート、手書きのレシート、及び／又は手書きとタイプされたデータの組み合わせであり得る。例えば、ユーザーは、レシート上の１又は複数の語をハイライトすることができる（例えば、図示されるように、２１．００がハイライトされている）。
[0033] スプレッドシート３２０は、商品（Ｉｔｅｍ）列と価格（Ｃｏｓｔ）列を含んだ例示的なスプレッドシートを示している。スプレッドシート３２０は、より多くの又はより少ない予め決められた列を含むことができる。例えば、スプレッドシート３２０は、初期状態では空のスプレッドシートであってもよい。スプレッドシート３２０は、１又は複数のレシートと関連付けられることができる。
[0034] スプレッドシート３３０は、レシート３１０からスプレッドシート３２０へのデータの統合を示している。図示されるように、スプレッドシート３３０の行２は、レシート３１０の第１行からのデータを含んでいる。行３は、レシート３１０の第２行からのデータを含んでいる。行４は、レシート３１０の第３行からのデータを含んでいる。レシート３１０のキャプチャー画像から得られるデータの統合は、手動／自動で行われることができる。例えば、ユーザーは、ユーザーインターフェース要素を選択して、レシートからのキャプチャー画像の統合を開始することができる。スプレッドシートはまた、レシートのキャプチャーと関連付けられて、レシートの写真がキャプチャーされた時に、当該キャプチャーされた画像から得られるデータが関連付けられたスプレッドシートに自動的に挿入されるようにすることもできる。例えば、ある店又はある種類の店からのレシートは特定のスプレッドシートと関連付けられることができ、一方、別の店からのレシートは別のスプレッドシートと関連付けられる。一実施態様によれば、レシート３１０上に含まれている書式は、スプレッドシート３３０に表示される。スプレッドシート３３０の行３は、レシート３１０上の対応するデータがボールド体であるので、ボールド体の書式で示されている。価格「２１．００」は、レシート３１０のキャプチャー画像上でハイライトされているので、ハイライトされて示されている。
[0035] 図４は、スプレッドシートに統合された手書きの紙のキャプチャー画像を表す。図示されるように、図４は、手書き文字４１０のキャプチャー画像、及び手書き文字を統合した後のスプレッドシート４２０を含んでいる。
[0036] 本例では、ユーザーは、来客（Ｇｕｅｓｔ）列と持参品（Ｂｒｉｎｇｉｎｇ）列を含んだ手書きの表の画像をキャプチャーしている。画像４１０がキャプチャーされた後、キャプチャーされた画像内に含まれているデータが、光学的に認識されてスプレッドシート４２０に組み込まれる。図示されるように、列の見出し「来客（Ｇｕｅｓｔ）」と「（Ｂｒｉｎｇｉｎｇ）」がスプレッドシート４２０と関連付けられている。書式（例えば下線）もスプレッドシート４２０に転写されている。画像マネージャーによって間違って認識された語を訂正するために、ユーザーインターフェース要素が利用可能である。一実施態様によれば、表の中のそれぞれの値は、スプレッドシート４２０の別個のセルに配置される。
[0037] 図５は、ユーザーがキャプチャーされた画像の一部分を選択し当該選択した一部分をスプレッドシートに統合していることを示す。
[0038] キャプチャーされた画像５１０は、データ１、データ２、写真及びデータ３を含んでいる。選択ボックス５１２は、写真及びデータ３がスプレッドシートへの統合のために選択されていることを示している。本例では、当該写真はセルＡ１に配置され、データ３はセルＡ２に配置される。より多数の又はより少数のセルが利用可能である。例えば、データ３は、スプレッドシート５２０のセル内にそれぞれが配置される値のリストであり得る。
[0039] 図６は、ユーザーがスプレッドシートに統合される３つの異なる画像をキャプチャーしていることを示す。時には１つの画像では全てのデータをキャプチャーすることができない場合があり、そのため、２以上の画像がキャプチャーされスプレッドシートに統合されてもよい。それらの画像は、１つのキャプチャーされた画像から、及び／又はビデオから由来することができる。
[0040] 図示されるように、３つの異なる画像（６２２、６２４、及び６２６）がデータ６１０から取得されている。これらの画像（６２２、６２４、及び６２６）は結合されて、当該キャプチャーされた画像のそれぞれに含まれている対応するデータが、スプレッドシート内に配置されている。スプレッドシート６３０は、当該３つの異なる画像のそれぞれからのデータの全てがスプレッドシートに組み込まれていることを示している。データは、キャプチャーされた画像における当該データのレイアウトに従って、及び／又は何らかの他の方法を用いて、スプレッドシート内に配置されることができる。例えば、ある種類のデータはスプレッドシートのある場所に配置されることができ、一方、別の種類のデータはスプレッドシートの異なる場所に配置されることができる。
[0041] 図７は、キャプチャー画像が手書き文字を含んだスプレッドシートの一部分を含んでいることを示す。
[0042] 画像７１０では、ユーザーは、スプレッドシート７１２内の「Ｔｉｍ」という名前を棒線で消して、「Ｊｏｅ」という名前を手書きしている。ユーザーはまた、「デザート（Ｄｅｓｓｅｒｔ）」を棒線で消して「チーズ（Ｃｈｅｅｓｅ）」を手書きしている。
[0043] スプレッドシート７１２の大部分は変更されていない。一実施態様によれば、既存のスプレッドシートからのデータがキャプチャー画像と照合される場合、当該既存のスプレッドシートと当該キャプチャー画像との差分が求められる。任意の差分が、既存の電子的なスプレッドシートの中に反映されることができる。例えば、スプレッドシート７２０は、手書きの変更によって更新されたスプレッドシート７１２を示している。スプレッドシート７２０は、Ｔｉｍという名前がＪｏｅで置き換えられ、デザート（Ｄｅｓｓｅｒｔ）のエントリーがチーズ（Ｃｈｅｅｓｅ）で置き換えられたことを示している。既存のスプレッドシートに変更が加えられる前に当該変更を確認／承諾するために、ユーザーインターフェース要素が利用可能である。別の実施態様によれば、データの全てがスプレッドシートに組み込まれる。スプレッドシート７３０は、データの全てがスプレッドシートに組み込まれたことを示している。
[0044] 図８は、キャプチャーされた画像からのデータを用いて当該キャプチャーされた画像を拡張することを示す。キャプチャーされた画像は、レシート、メニュー、銀行口座取引明細書、スポーツスコア欄、及びスプレッドシートの操作が実施可能なデータを含んでいる他の画像といったような、数多くの様々な種類の物理的な品目の画像であり得る。図示されるように、画像８１０は、様々な食べ物の品目を含んでいるメニューである。上で論じられたように、キャプチャーされた画像８１０からのデータは、スプレッドシートと関連付けられることができる。一実施態様によれば、スプレッドシートは表示されない。その代わりに、キャプチャーされた画像を利用した拡張画像が、ユーザーに対して表示される。表示８２０では、メニューの画像は、メニューの品目がカロリー値の順で並べ替えられて表示されている。表示８２０は、一番カロリーの低い品目を最初に、一番カロリーの高い品目を最後に示している。他の並び替え／表示の選択も利用可能である。例えば、一番高いものから一番低いもの、最も栄養的に良いもの、及び／又は何らかの他の条件が利用可能である。拡張された画像は、数多くの様々な方法で書式を設定されることができる。例えば、条件付きの書式／強調表示の組み合わせが適用可能である（例えば、列は、ある値によって並べ替えられることが可能であり、同じ／異なる値に基づいて同じ列／異なる列に適用された書式／強調表示を有することが可能である）。拡張された画像を生成するために、データの２以上の列が使用されることができる。
[0045] 表示８３０は、一番カロリーの低い品目が強調表示された元のメニュー８１０を示している。この例では、ハンバーガーのエントリーが強調されて示されている。一実施態様によれば、キャプチャーされた画像８１０が強調を付加されて示される。強調表示は、値を強調する任意の種類の書式であり得る（例えば、アイコンベース、写真ベース、グラデーション等）。
[0046] 表示８４０は、一番カロリーの低い品目が四角い枠で囲まれ、それぞれのメニュー品目の隣にカロリー含有量の順序を示す数字を含んだ、元のメニュー８１０を示している。
[0047] 表示８５０は、メニューのエントリーを含んだグラフを示している。図示されるように、グラフ８５０は、円グラフである。他のグラフも示されることができる（例えば、棒グラフ、折れ線グラフ、散布図）。
[0048] 図９は、画像をキャプチャーし当該キャプチャーされた画像を拡張する別の例を示す。
[0049] 図示されるように、表示９１０及び表示９２０は、銀行口座取引明細書の画像からキャプチャーされたデータ９１４から作成されるグラフで拡張された銀行口座取引明細書の表示を示している。表示９１０におけるグラフ９１２は、円グラフである。表示９２０におけるグラフ９２２は、棒グラフである。
[0050] グラフを作成するのに用いられるデータを得るために、銀行口座取引明細書から１又は複数の画像が取得されることができる。グラフは、ユーザーがキャプチャーされたデータを視覚化するのを手助けするのに利用される。作成されたグラフは、関連付けされたスプレッドシートと共に保存されることができ、及び／又は関連付けされたスプレッドシートの中に含まれているデータから必要な時に再作成されることができる。
[0051] 図１０は、スプレッドシートに組み込まれる数式を含んだキャプチャー画像を示す。
[0052] 画像１０１０は、キャプチャーされた画像の中にある選択された数式１０１２を示している。数式は、スプレッドシート内で表現可能な任意の種類の数式であり得る。例示のために、スプレッドシート１０２０が行１の列Ａ−Ｄのデータ及び行２−４の列Ｂ−Ｄのデータを含んでいると想定されたい。ユーザーインターフェース要素を用いて、数式１０１２は１又は複数のセル（例えばセルＡ２、Ａ３、及びＡ４）と関連付けられることができる。数式１０１２がセルと関連付けられた後に、スプレッドシートは更新されて計算結果を示すことができる。図示されるように、セルＡ２、Ａ３、及びＡ４は、対応するＢ、Ｃ、及びＤ列から得られた値を用いて更新されている。
[0053] ここで図１１を参照して、キャプチャーされた画像からのデータをスプレッドシートと関連付けるための例示的な処理が説明される。本明細書において提示されたルーチンに関する議論を読む際には、様々な実施態様の論理演算は、（１）コンピューティングシステム上で動作する一連のコンピューター実施行為又はプログラムモジュールとして、及び／又は（２）コンピューティングシステム内の相互接続されたマシン論理回路又は回路モジュールとして、実現可能であるということが認識されるべきである。実装は、本発明を実施するコンピューティングシステムの性能要件に依存する選択の問題である。したがって、本明細書で説明される実施態様を構成する例示された論理演算は、演算、構造的デバイス、動作、又はモジュールと様々に呼ばれる。これらの演算、構造的デバイス、動作、及びモジュールは、ソフトウェア、ファームウェア、特定用途向けデジタル論理、及びそれらの任意の組み合わせの形で実現されることができる。
[0054] 開始ブロックの後、処理１１００は動作１１１０へ移行し、画像がキャプチャーされる。画像は、静止画像又は動画像からキャプチャー可能である。例えば、画像は、ビデオからキャプチャーされること、又は、レシート、文章／手書き文字が書かれた１枚の紙切れ、若しくは何らかの他の物品の写真をとることによってキャプチャーされることができる。一実施態様によれば、画像は、スプレッドシート内で利用可能な文字を含んでいる。例えば、画像は、表形式の数字及び当該数字を説明する文章を含むことができる。画像はまた、手書きのメモ／コメント、及び／又は印刷されたデータを含むこともできる。
[0055] 動作１１２０へ移行すると、キャプチャーされた画像が処理される。一実施態様によれば、画像の処理は、キャプチャーされた画像に対して光学文字認識（ＯＣＲ）動作を実施することを含む。ＯＣＲ動作は、専用アプリケーションによって実施されること、及び／又は、画像マネージャー及び／又はスプレッドシートアプリケーションの機能の中に含まれることができる。ＯＣＲ動作は、キャプチャーされた画像内のデータがスプレッドシートオブジェクト、例えば表、リスト、又は何らかの他のスプレッドシートオブジェクトの形式である場合に、認識を行うように構成されている。例えば、ＯＣＲ動作は、キャプチャーされた画像の中の文字と線との間隔を判定し、その情報を用いてリスト／表の配列を決定することができるように構成されることができる。
[0056] 動作１１３０へ進むと、キャプチャーされた画像からデータが取得される。データは、画像の全部／一部分であり得る。例えば、ユーザーは、画像の一部分を処理することだけを選択することができる。データを取得するのに全体の画像が使用されることもできる。加えて、データを取得するのに２以上の画像が使用されることができる。例えば、単一の表からデータをキャプチャーするのに２以上のキャプチャーされた画像が使用されることができる。この場合、表全体のデータを取得するために、キャプチャーされた画像のそれぞれが結合されることができる。
[0057] 判定動作１１４０へ遷移すると、データが既存のスプレッドシートに関係するか否かに関する判定が行われる。例えば、キャプチャーされた画像から得られたデータの一部分は、既存のスプレッドシートの中に既に格納されている場合がある。ある種類の画像が既存のスプレッドシートと関連付けられることもできる。例えば、銀行口座取引明細書のキャプチャー画像は銀行口座取引明細書に関係した既存の取引明細書と関連付けられることができ、食料品のレシートは食料品の品目／支出を含んだ既存の取引明細書と関連付けられることができる等である。データは、手動で及び／又は自動でスプレッドシートと関連付けられることができる。例えば、ユーザーは、ユーザーインターフェースを用いて、キャプチャーされた画像の全部／一部分と関連付けるスプレッドシートを選択することができる。スプレッドシートを画像からキャプチャーされたデータと関連付けるのに、論理が使用されることもできる。例えば、デフォルトの銀行取引のスプレッドシートは銀行取引のデータと関連付けられることができ、一方、デフォルトの家計のスプレッドシートは一般的に用いられる家計のデータと関連付けられることができる。ユーザーはまた、スプレッドシートをキャプチャーされたデータと関連付けるように論理を記述することもできる。
[0058] 既存のスプレッドシートがキャプチャーされた画像と関連付けられていない場合、処理は動作１１５０へ移行し、新たなスプレッドシートが作成される。
[0059] 既存のスプレッドシートがキャプチャーされた画像と関連付けられている場合、処理は動作１１６０へ進む。
[0060] 動作１１６０において、スプレッドシート（新たなスプレッドシートと既存のスプレッドシートの何れも）が取得されたデータで更新される。スプレッドシートの更新は、スプレッドシートにセルを追加／削除すること、スプレッドシート内の値／数式／オブジェクトを更新すること等を含むことができる。一実施態様によれば、取得されたデータが既存のスプレッドシートに関係している場合、スプレッドシート内の更新するセルを決定するために、差分演算が実施される。
[0061] 動作１１７０へ進むと、スプレッドシート及び取得されたデータを使用している表示が更新される。当該表示は、スプレッドシートの表示、及び／又は取得されたデータを用いているオブジェクトの表示であり得る。例えば、当該表示は、グラフを作成するキャプチャー画像からのデータを用いたグラフであり得る。当該表示は、異なる形に書式設定されたキャプチャー画像であり得る（例えば、品目がキャプチャーされた画像内で強調表示される）。
[0062] 処理は、次いで、終了ブロックへ進み、他のアクションの処理へ戻る。
[0063] 上記の明細書、例、及びデータは、本発明の構成の製造及び使用に関する完全な説明を提供する。本発明の趣旨及び範囲から逸脱することなく本発明の数多くの実施態様がなされることが可能であるので、本発明は、以下に添付された特許請求の範囲に存している。

Claims (10)

  1. キャプチャーされた画像データをスプレッドシートと共に使用するための方法であって、
    キャプチャー画像を受け取るステップであって、前記キャプチャー画像は文字を含んだ光学的に認識可能なデータを含んでいる、ステップと、
    前記キャプチャー画像からデータを取得するステップであって、前記取得されたデータの少なくとも一部分は文字である、ステップと、
    前記データが既存のスプレッドシートと関連付けられていると判定された場合に、前記データでスプレッドシートを更新するステップであって、前記スプレッドシートを更新するステップは、前記スプレッドシートの少なくとも１つのセル内のデータを前記データで置き換えるステップ、及び前記データを前記スプレッドシートの少なくとも１つのセルに追加するステップ、のうちの少なくとも１つを含む、ステップと、
    前記データが前記既存のスプレッドシートと関連付けられていないと判定された場合に、前記データをスプレッドシートと関連付けるステップであって、前記データを関連付けるステップは、前記データを前記スプレッドシートの少なくとも１つのセル内に配置するステップを含む、ステップと、
    を含む、方法。
  2. 前記データが前記スプレッドシートと関連付けられる時に前記データの書式を保持して、前記データが表示される時に前記キャプチャー画像に含まれている書式が示されるようにするステップを更に含む、請求項１に記載の方法。
  3. 前記キャプチャー画像から前記データを取得する前記ステップは、前記キャプチャー画像内において数式が取得されるか否かを判定するステップと、前記数式を前記スプレッドシートに統合するステップとを含む、請求項１に記載の方法。
  4. 前記データが前記既存のスプレッドシートと関連付けられていると判定された場合に、前記データで前記スプレッドシートを更新する前記ステップは、前記キャプチャー画像から取得されたデータと前記既存のスプレッドシートにおけるデータとの差分を求めるステップと、前記差分を反映するように前記スプレッドシートを更新するステップとを含む、請求項１に記載の方法。
  5. 前記キャプチャー画像から取得された前記データを、前記キャプチャー画像の文章間の間隔に基づいて前記スプレッドシート内に配置するステップを更に含む、請求項１に記載の方法。
  6. キャプチャーされた画像データをスプレッドシートと共に使用するためのコンピューター実行可能命令を格納したコンピューター読み取り可能記憶媒体であって、
    キャプチャー画像を受け取るステップであって、前記キャプチャー画像は文字を含んだ光学的に認識可能なデータを含んでいる、ステップと、
    前記キャプチャー画像からデータを取得するステップであって、前記取得されたデータの少なくとも一部分は文字である、ステップと、
    前記キャプチャー画像に示されている前記データの書式を保持して、前記データが表示される時に前記キャプチャー画像に含まれている前記書式が示されるようにするステップと、
    前記キャプチャー画像内において数式が取得されるか否かを判定するステップと、
    前記データが既存のスプレッドシートと関連付けられていると判定された場合に、前記データでスプレッドシートを更新するステップであって、前記スプレッドシートを更新するステップは、前記スプレッドシートの少なくとも１つのセル内のデータを前記データで置き換えるステップ、及び前記データを前記スプレッドシートの少なくとも１つのセルに追加するステップ、のうちの少なくとも１つを含み、前記スプレッドシートを更新するステップは、前記キャプチャー画像から取得された前記データと前記既存のスプレッドシートにおけるデータとの差分を求めるステップと、前記差分を反映するように前記スプレッドシートを更新するステップとを含む、ステップと、
    前記データが前記既存のスプレッドシートと関連付けられていないと判定された場合に、前記データをスプレッドシートと関連付けるステップであって、前記データを関連付けるステップは、前記データを前記スプレッドシートの少なくとも１つのセル内に配置するステップを含む、ステップと、
    を含む、コンピューター読み取り可能記憶媒体。
  7. 前記キャプチャー画像から取得されたデータからのグラフを前記キャプチャー画像の少なくとも一部分の表示と共に表示するステップを更に含む、請求項６に記載のコンピューター読み取り可能記憶媒体。
  8. キャプチャーされた画像データをスプレッドシートと共に使用するためのシステムであって、
    ネットワークに接続するように構成されたネットワーク接続と、
    プロセッサー、メモリー、及びコンピューター読み取り可能記憶媒体と、
    前記コンピューター読み取り可能記憶媒体上に格納され前記プロセッサー上で実行する動作環境と、
    ディスプレイと、
    スプレッドシートアプリケーションと、
    セルを有したスプレッドシートと、
    前記スプレッドシートアプリケーションと連携して動作する画像マネージャーと、を備え、
    前記画像マネージャーは、
    キャプチャー画像を受け取るステップであって、前記キャプチャー画像は文字を含んだ光学的に認識可能なデータを含んでいる、ステップと、
    前記キャプチャー画像からデータを取得するステップであって、前記取得されたデータの少なくとも一部分は文字である、ステップと、
    前記キャプチャー画像に示されている前記データの書式を保持して、前記データが表示される時に前記キャプチャー画像に含まれている前記書式が示されるようにするステップと、
    前記キャプチャー画像内において数式が取得されるか否かを判定するステップと、
    前記データでスプレッドシートを更新するステップであって、前記スプレッドシートを更新するステップは、前記スプレッドシートの少なくとも１つのセル内のデータを前記データで置き換えるステップ、及び前記データを前記スプレッドシートの少なくとも１つのセルに追加するステップ、のうちの少なくとも１つを含む、ステップと、
    前記キャプチャー画像から取得され前記スプレッドシートと関連付けられた前記データを用いて前記ディスプレイを更新するステップと、
    を含む動作を実施するように構成されている、システム。
  9. 前記キャプチャー画像から取得された前記データを用いて前記ディスプレイを更新するステップは、前記キャプチャー画像から取得されたデータからのグラフを前記キャプチャー画像の少なくとも一部分の表示と共に表示するステップを含む、請求項８に記載のシステム。
  10. 前記キャプチャー画像の一部分の選択を受け取るステップと、前記選択された一部分から前記データを取得するステップと、を更に含む、請求項８に記載のシステム。
JP2013551999A 2011-01-24 2012-01-15 キャプチャーされた画像データのスプレッドシートとの関連付け Active JP6282116B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/012,718 2011-01-24
US13/012,718 US9042653B2 (en) 2011-01-24 2011-01-24 Associating captured image data with a spreadsheet
PCT/US2012/021399 WO2012102884A2 (en) 2011-01-24 2012-01-15 Associating captured image data with a spreadsheet

Publications (3)

Publication Number Publication Date
JP2014510963A true JP2014510963A (ja) 2014-05-01
JP2014510963A5 JP2014510963A5 (ja) 2015-03-05
JP6282116B2 JP6282116B2 (ja) 2018-02-21

Family

ID=46544204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013551999A Active JP6282116B2 (ja) 2011-01-24 2012-01-15 キャプチャーされた画像データのスプレッドシートとの関連付け

Country Status (6)

Country Link
US (2) US9042653B2 (ja)
EP (1) EP2668595A4 (ja)
JP (1) JP6282116B2 (ja)
KR (1) KR101955732B1 (ja)
CN (1) CN102637190B (ja)
WO (1) WO2012102884A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016105214A (ja) * 2014-12-01 2016-06-09 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2017037457A (ja) * 2015-08-10 2017-02-16 富士ゼロックス株式会社 部品管理システムおよびプログラム
JP2022052903A (ja) * 2020-09-24 2022-04-05 カシオ計算機株式会社 入力プログラム、入力装置及び入力方法

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9042653B2 (en) 2011-01-24 2015-05-26 Microsoft Technology Licensing, Llc Associating captured image data with a spreadsheet
CN104094282B (zh) 2012-01-23 2017-11-21 微软技术许可有限责任公司 无边框表格检测引擎
CN104067293B (zh) 2012-01-23 2017-07-25 微软技术许可有限责任公司 矢量图分类引擎
CN103778128B (zh) * 2012-10-18 2018-05-04 腾讯科技（深圳）有限公司 一种列表信息的绘制方法和装置
US9953008B2 (en) 2013-01-18 2018-04-24 Microsoft Technology Licensing, Llc Grouping fixed format document elements to preserve graphical data semantics after reflow by manipulating a bounding box vertically and horizontally
CN103093338A (zh) * 2013-01-28 2013-05-08 中国航空结算有限责任公司 民航客运联运电子数据处理方法及应用该方法生成的电子账单
US9449031B2 (en) * 2013-02-28 2016-09-20 Ricoh Company, Ltd. Sorting and filtering a table with image data and symbolic data in a single cell
US9558170B2 (en) * 2013-02-28 2017-01-31 Ricoh Company, Ltd. Creating and switching a view of a collection including image data and symbolic data
US20140358815A1 (en) * 2013-05-30 2014-12-04 Ron Bourque Virtual Plan Room
US9251413B2 (en) * 2013-06-14 2016-02-02 Lexmark International Technology, SA Methods for automatic structured extraction of data in OCR documents having tabular data
CN103716670A (zh) * 2013-11-27 2014-04-09 深圳市同洲电子股份有限公司 一种自定义栏位的方法和系统
US20150356068A1 (en) * 2014-06-06 2015-12-10 Microsoft Technology Licensing, Llc Augmented data view
US9977780B2 (en) * 2014-06-13 2018-05-22 International Business Machines Corporation Generating language sections from tabular data
KR101496691B1 (ko) * 2014-07-18 2015-02-27 주식회사 한글과컴퓨터 그리드 라인 유지 기반의 스프레드시트 문서 표시 장치 및 방법
US20160026613A1 (en) * 2014-07-28 2016-01-28 Microsoft Corporation Processing image to identify object for insertion into document
US9513671B2 (en) 2014-08-01 2016-12-06 Microsoft Technology Licensing, Llc Peripheral retention device
US10191986B2 (en) 2014-08-11 2019-01-29 Microsoft Technology Licensing, Llc Web resource compatibility with web applications
US9705637B2 (en) 2014-08-19 2017-07-11 Microsoft Technology Licensing, Llc Guard band utilization for wireless data communication
US9805483B2 (en) * 2014-08-21 2017-10-31 Microsoft Technology Licensing, Llc Enhanced recognition of charted data
US9524429B2 (en) * 2014-08-21 2016-12-20 Microsoft Technology Licensing, Llc Enhanced interpretation of character arrangements
US9397723B2 (en) 2014-08-26 2016-07-19 Microsoft Technology Licensing, Llc Spread spectrum wireless over non-contiguous channels
US9424048B2 (en) 2014-09-15 2016-08-23 Microsoft Technology Licensing, Llc Inductive peripheral retention device
CN104536946B (zh) * 2014-12-08 2018-03-27 广东欧珀移动通信有限公司 一种表格生成方法及终端
EP3295657B1 (en) 2015-09-22 2021-03-17 Samsung Electronics Co., Ltd. Screen grab method in electronic device
US9990349B2 (en) 2015-11-02 2018-06-05 Microsoft Technology Licensing, Llc Streaming data associated with cells in spreadsheets
US10599764B2 (en) 2015-11-02 2020-03-24 Microsoft Technology Licensing, Llc Operations on images associated with cells in spreadsheets
US20170220858A1 (en) * 2016-02-01 2017-08-03 Microsoft Technology Licensing, Llc Optical recognition of tables
US10540152B1 (en) 2016-09-23 2020-01-21 Massachusetts Mutual Life Insurance Company Systems, devices, and methods for software coding
US11210459B1 (en) 2016-09-23 2021-12-28 Massachusetts Mutual Life Insurance Company Systems, devices, and methods for software coding
US11138370B1 (en) 2016-09-23 2021-10-05 Massachusetts Mututal Life Insurance Company Modifying and using spreadsheets to create a GUI on another device
US10496737B1 (en) * 2017-01-05 2019-12-03 Massachusetts Mutual Life Insurance Company Systems, devices, and methods for software coding
US10437428B2 (en) * 2017-05-23 2019-10-08 Microsoft Technology Licensing, Llc Scatter copy supporting partial paste functionality
US11614857B2 (en) 2017-06-02 2023-03-28 Oracle International Corporation Importing, interpreting, and presenting data
US10917587B2 (en) * 2017-06-02 2021-02-09 Oracle International Corporation Importing and presenting data
US20190139280A1 (en) * 2017-11-06 2019-05-09 Microsoft Technology Licensing, Llc Augmented reality environment for tabular data in an image feed
JP7059034B2 (ja) 2018-02-14 2022-04-25 Ｊｆｅスチール株式会社 鋼矢板
KR102076550B1 (ko) * 2018-06-22 2020-02-12 주식회사 한글과컴퓨터 스프레드시트 편집 장치 및 방법
KR102036726B1 (ko) * 2018-08-29 2019-10-25 주식회사 한글과컴퓨터 고정된 틀을 기반으로 상단 영역과 하단 영역의 스크롤 처리를 수행하는 스프레드시트 문서 편집 장치 및 그 동작 방법
US10990814B2 (en) 2018-09-21 2021-04-27 Microsoft Technology Licensing, Llc Converting an image into a structured table
US10713524B2 (en) * 2018-10-10 2020-07-14 Microsoft Technology Licensing, Llc Key value extraction from documents
US10963723B2 (en) * 2018-12-23 2021-03-30 Microsoft Technology Licensing, Llc Digital image transcription and manipulation
CN111144256B (zh) * 2019-12-18 2023-04-25 南京大学 基于视频动态分析的电子表格公式合成与错误检测方法
US11341318B2 (en) 2020-07-07 2022-05-24 Kudzu Software Llc Interactive tool for modifying an automatically generated electronic form
US11403455B2 (en) * 2020-07-07 2022-08-02 Kudzu Software Llc Electronic form generation from electronic documents
WO2022023988A1 (en) * 2020-07-28 2022-02-03 Way2Vat Ltd. Systems and methods for document image analysis by alignment of document image sets to spreadsheets
CN111930776B (zh) * 2020-09-10 2021-01-05 北京维数统计事务所有限公司 表单处理方法、装置、电子设备和可读存储介质
US20220229974A1 (en) * 2021-01-20 2022-07-21 Workday, Inc. Formula generation by example
CN113657274B (zh) * 2021-08-17 2022-09-20 北京百度网讯科技有限公司 表格生成方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816630B1 (en) * 2000-05-22 2004-11-09 Electro-Sensors, Inc. System and method for creating and processing data forms
JP2007095102A (ja) * 2006-12-25 2007-04-12 Toshiba Corp 文書処理装置および文書処理方法
JP2008146104A (ja) * 2006-12-05 2008-06-26 Canon Inc 画像文書管理装置及び画像文書管理方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002799A (en) 1986-07-25 1999-12-14 Ast Research, Inc. Handwritten keyboardless entry computer system
US7266761B2 (en) 1999-06-15 2007-09-04 Microsoft Corporation Special API interface for interfacing an application with a TWAIN module, negotiating and presenting a user interface for inserting an image into a document
US6766069B1 (en) 1999-12-21 2004-07-20 Xerox Corporation Text selection from images of documents using auto-completion
US7131061B2 (en) 2001-11-30 2006-10-31 Xerox Corporation System for processing electronic documents using physical documents
JP2004102400A (ja) * 2002-09-05 2004-04-02 Beacon Information Technology:Kk データ管理システム、方法及びコンピュータプログラム
US20040103365A1 (en) * 2002-11-27 2004-05-27 Alan Cox System, method, and computer program product for an integrated spreadsheet and database
US7305129B2 (en) 2003-01-29 2007-12-04 Microsoft Corporation Methods and apparatus for populating electronic forms from scanned documents
US7882427B2 (en) * 2003-07-24 2011-02-01 Balenz Software, Inc. System and method for managing a spreadsheet
JP4928061B2 (ja) * 2003-11-14 2012-05-09 セイコーエプソン株式会社 受領書管理システム
US7607078B2 (en) * 2005-07-06 2009-10-20 International Business Machines Corporation Paper and electronic recognizable forms
US8200009B2 (en) 2007-04-22 2012-06-12 Bo-In Lin Control of optical character recognition (OCR) processes to generate user controllable final output documents
US20080320403A1 (en) * 2007-06-25 2008-12-25 Nechemia Glaberson Accessing data using its chart symbols
US20090083185A1 (en) * 2007-09-24 2009-03-26 Rent-A-Toll, Ltd. Reassigning toll violation information
CN101329731A (zh) 2008-06-06 2008-12-24 南开大学 图像中数学公式的自动识别方法
JP5361574B2 (ja) * 2009-07-01 2013-12-04 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5465015B2 (ja) * 2010-01-06 2014-04-09 キヤノン株式会社 文書を電子化する装置及び方法
US9042653B2 (en) 2011-01-24 2015-05-26 Microsoft Technology Licensing, Llc Associating captured image data with a spreadsheet

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816630B1 (en) * 2000-05-22 2004-11-09 Electro-Sensors, Inc. System and method for creating and processing data forms
JP2008146104A (ja) * 2006-12-05 2008-06-26 Canon Inc 画像文書管理装置及び画像文書管理方法
JP2007095102A (ja) * 2006-12-25 2007-04-12 Toshiba Corp 文書処理装置および文書処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016105214A (ja) * 2014-12-01 2016-06-09 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2017037457A (ja) * 2015-08-10 2017-02-16 富士ゼロックス株式会社 部品管理システムおよびプログラム
JP2022052903A (ja) * 2020-09-24 2022-04-05 カシオ計算機株式会社 入力プログラム、入力装置及び入力方法
JP7298573B2 (ja) 2020-09-24 2023-06-27 カシオ計算機株式会社 入力装置、入力支援方法及びプログラム
US11922545B2 (en) 2020-09-24 2024-03-05 Casio Computer Co., Ltd. Recording medium recording input program, input device, and input method

Also Published As

Publication number Publication date
KR101955732B1 (ko) 2019-03-07
US20120189203A1 (en) 2012-07-26
KR20140009295A (ko) 2014-01-22
EP2668595A2 (en) 2013-12-04
US9697193B2 (en) 2017-07-04
WO2012102884A3 (en) 2012-10-04
WO2012102884A2 (en) 2012-08-02
US20150254227A1 (en) 2015-09-10
JP6282116B2 (ja) 2018-02-21
US9042653B2 (en) 2015-05-26
CN102637190B (zh) 2016-03-16
EP2668595A4 (en) 2018-01-03
CN102637190A (zh) 2012-08-15

Similar Documents

Publication Publication Date Title
JP6282116B2 (ja) キャプチャーされた画像データのスプレッドシートとの関連付け
CN111753500B (zh) 版式化后的电子表单与ofd合并展现及目录生成的方法
US9213893B2 (en) Extracting data from semi-structured electronic documents
US20130191785A1 (en) Confident item selection using direct manipulation
US10552525B1 (en) Systems, methods and apparatuses for automated form templating
US20130191714A1 (en) Fill by example animation and visuals
US20160026858A1 (en) Image based search to identify objects in documents
US9747267B2 (en) Document editing synchronization
JP2016535899A (ja) 固定形式文書のリフロー済み形式での提示
US20120221594A1 (en) Electronic device and method of displaying design patents
AU2015202463B2 (en) Capturing specific information based on field information associated with a document class
US7971135B2 (en) Method and system for automatic data aggregation
US20160026613A1 (en) Processing image to identify object for insertion into document
JP7290391B2 (ja) 情報処理装置及びプログラム
JP4959501B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20150347376A1 (en) Server-based platform for text proofreading
WO2023239468A1 (en) Cross-application componentized document generation
CN112329409A (zh) 一种单元格颜色转换方法、装置及电子设备
CN112583603B (zh) 可视化签名方法、装置、电子设备和计算机可读存储介质
JP6855720B2 (ja) 情報処理装置及び情報処理プログラム
CN112149402A (zh) 文档对比方法、装置、电子设备和计算机可读存储介质
JP6874235B2 (ja) 商品情報管理装置、商品情報管理方法、およびプログラム
JP5569367B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8739015B2 (en) Placing multiple files as a contact sheet
CN105468226A (zh) 图片浏览系统及方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150109

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160816

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170116

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170220

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180123

R150 Certificate of patent or registration of utility model

Ref document number: 6282116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250