JP2016200883A - コンピュータプログラム及び画像処理装置 - Google Patents
コンピュータプログラム及び画像処理装置 Download PDFInfo
- Publication number
- JP2016200883A JP2016200883A JP2015078971A JP2015078971A JP2016200883A JP 2016200883 A JP2016200883 A JP 2016200883A JP 2015078971 A JP2015078971 A JP 2015078971A JP 2015078971 A JP2015078971 A JP 2015078971A JP 2016200883 A JP2016200883 A JP 2016200883A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- application
- computer program
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Document Processing Apparatus (AREA)
- Stored Programmes (AREA)
- Image Analysis (AREA)
Abstract
【課題】入力画像に対応したアプリケーションプログラムを自動的に実行可能なコンピュータプログラム及び画像処理装置を提供する。
【解決手段】画像処理サーバ１は、複数種類のアプリと、各アプリのフォーム特徴データとを対応付けて記憶するアプリ記憶部２２と、用紙６を撮影した画像データを取得する画像データ受信部１１と、受信した画像データを、アプリ記憶部２２のフォーム特徴データに基づいて分析する画像データ分析部１２と、画像データ分析部１２での分析により特定されたアプリ記憶部２２のフォーム特徴データに対応付けられたアプリを実行させるアプリ実行部１５とを備える。
【選択図】図１
【解決手段】画像処理サーバ１は、複数種類のアプリと、各アプリのフォーム特徴データとを対応付けて記憶するアプリ記憶部２２と、用紙６を撮影した画像データを取得する画像データ受信部１１と、受信した画像データを、アプリ記憶部２２のフォーム特徴データに基づいて分析する画像データ分析部１２と、画像データ分析部１２での分析により特定されたアプリ記憶部２２のフォーム特徴データに対応付けられたアプリを実行させるアプリ実行部１５とを備える。
【選択図】図１
Description
本発明は、コンピュータプログラム及び画像処理装置に関する。
従来、入力された画像を認識して出力ファイル形式を決定し、決定した出力ファイル形式に画像を変換して保存する画像処理方法が開示されている（例えば、特許文献１）。
ところで、編集等の操作をする場合には、アプリケーションプログラム（以下、「アプリ」ともいう。）を実行させて、アプリ上で行うことが必要である。特許文献１に記載の方法の場合には、保存されたファイルに適するアプリを、ユーザが起動させる必要があった。よって、ユーザは、ファイル形式に合ったアプリを、複数のアプリから選択して実行させなければならず、手間がかかるものであった。
そこで、本発明は、入力画像に対応したアプリケーションプログラムを自動的に実行可能なコンピュータプログラム及び画像処理装置を提供することを目的とする。
本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、コンピュータを、複数種類のアプリケーションプログラムと、各アプリケーションプログラムの特徴データとを対応付けて記憶するアプリ記憶手段と、紙媒体を撮影した撮影画像を取得する画像取得手段と、前記画像取得手段によって取得された撮影画像を、前記アプリ記憶手段の前記特徴データに基づいて分析する画像分析手段と、前記画像分析手段での分析により特定された前記アプリ記憶手段の前記特徴データに対応付けられた前記アプリケーションプログラムを実行させるアプリ実行手段と、として機能させること、を特徴とするコンピュータプログラムである。
第２の発明は、第１の発明のコンピュータプログラムにおいて、前記画像分析手段を、前記撮影画像から罫線を抽出して、その配置位置に関する分析をするように機能させること、を特徴とするコンピュータプログラムである。
第３の発明は、第１の発明又は第２の発明のコンピュータプログラムにおいて、前記コンピュータを、前記画像分析手段での分析により特定された特徴データに対応する前記撮影画像の特徴画像を除いた書込画像を抽出する入力抽出手段と、前記入力抽出手段により抽出された前記書込画像に対して文字認識処理により書込データを生成する書込データ生成手段と、して機能させ、前記書込データは、前記アプリ実行手段により実行された前記アプリケーションプログラムにおいて、編集可能なデータであること、を特徴とするコンピュータプログラムである。
第４の発明は、第１の発明又は第２の発明のコンピュータプログラムにおいて、前記コンピュータを、電子ペンを利用して前記紙媒体に書き込まれたストロークデータを受け付ける入力データ受付手段と、前記入力データ受付手段により受け付けたストロークデータから書込データを生成する書込データ生成手段と、して機能させ、前記書込データは、前記アプリ実行手段により実行された前記アプリケーションプログラムにおいて、編集可能なデータであること、を特徴とするコンピュータプログラムである。
第５の発明は、第３の発明又は第４の発明のコンピュータプログラムにおいて、前記コンピュータを、前記アプリ実行手段により前記アプリケーションプログラムが実行されることで表示装置に表示された処理画面に、前記書込データを、前記撮影画像と同じ配置位置に配置させる配置手段と、して機能させること、を特徴とするコンピュータプログラムである。
第６の発明は、第１の発明又は第２の発明のコンピュータプログラムにおいて、前記コンピュータを、前記画像分析手段での分析により特定された特徴データに対応する前記撮影画像の特徴画像を除いた書込画像を抽出する入力抽出手段と、前記アプリ実行手段により前記アプリケーションプログラムが実行されることで表示装置に表示された処理画面に、前記書込画像を、前記撮影画像と同じ配置位置に配置させる配置手段と、して機能させること、を特徴とするコンピュータプログラムである。
第７の発明は、第１の発明から第６の発明までのいずれかのコンピュータプログラムにおいて、前記複数種類のアプリケーションプログラムには、文書形式のファイルを対象にするワードプロセッサソフト及び表形式のファイルを対象にする表計算ソフトの少なくとも一方が含まれること、を特徴とするコンピュータプログラムである。
第８の発明は、第１の発明から第７の発明までのいずれかのコンピュータプログラムを記憶する記憶部と、前記記憶部に記憶された前記コンピュータプログラムに従って処理を実行する制御部と、を備える画像処理装置である。
第１の発明は、コンピュータを、複数種類のアプリケーションプログラムと、各アプリケーションプログラムの特徴データとを対応付けて記憶するアプリ記憶手段と、紙媒体を撮影した撮影画像を取得する画像取得手段と、前記画像取得手段によって取得された撮影画像を、前記アプリ記憶手段の前記特徴データに基づいて分析する画像分析手段と、前記画像分析手段での分析により特定された前記アプリ記憶手段の前記特徴データに対応付けられた前記アプリケーションプログラムを実行させるアプリ実行手段と、として機能させること、を特徴とするコンピュータプログラムである。
第２の発明は、第１の発明のコンピュータプログラムにおいて、前記画像分析手段を、前記撮影画像から罫線を抽出して、その配置位置に関する分析をするように機能させること、を特徴とするコンピュータプログラムである。
第３の発明は、第１の発明又は第２の発明のコンピュータプログラムにおいて、前記コンピュータを、前記画像分析手段での分析により特定された特徴データに対応する前記撮影画像の特徴画像を除いた書込画像を抽出する入力抽出手段と、前記入力抽出手段により抽出された前記書込画像に対して文字認識処理により書込データを生成する書込データ生成手段と、して機能させ、前記書込データは、前記アプリ実行手段により実行された前記アプリケーションプログラムにおいて、編集可能なデータであること、を特徴とするコンピュータプログラムである。
第４の発明は、第１の発明又は第２の発明のコンピュータプログラムにおいて、前記コンピュータを、電子ペンを利用して前記紙媒体に書き込まれたストロークデータを受け付ける入力データ受付手段と、前記入力データ受付手段により受け付けたストロークデータから書込データを生成する書込データ生成手段と、して機能させ、前記書込データは、前記アプリ実行手段により実行された前記アプリケーションプログラムにおいて、編集可能なデータであること、を特徴とするコンピュータプログラムである。
第５の発明は、第３の発明又は第４の発明のコンピュータプログラムにおいて、前記コンピュータを、前記アプリ実行手段により前記アプリケーションプログラムが実行されることで表示装置に表示された処理画面に、前記書込データを、前記撮影画像と同じ配置位置に配置させる配置手段と、して機能させること、を特徴とするコンピュータプログラムである。
第６の発明は、第１の発明又は第２の発明のコンピュータプログラムにおいて、前記コンピュータを、前記画像分析手段での分析により特定された特徴データに対応する前記撮影画像の特徴画像を除いた書込画像を抽出する入力抽出手段と、前記アプリ実行手段により前記アプリケーションプログラムが実行されることで表示装置に表示された処理画面に、前記書込画像を、前記撮影画像と同じ配置位置に配置させる配置手段と、して機能させること、を特徴とするコンピュータプログラムである。
第７の発明は、第１の発明から第６の発明までのいずれかのコンピュータプログラムにおいて、前記複数種類のアプリケーションプログラムには、文書形式のファイルを対象にするワードプロセッサソフト及び表形式のファイルを対象にする表計算ソフトの少なくとも一方が含まれること、を特徴とするコンピュータプログラムである。
第８の発明は、第１の発明から第７の発明までのいずれかのコンピュータプログラムを記憶する記憶部と、前記記憶部に記憶された前記コンピュータプログラムに従って処理を実行する制御部と、を備える画像処理装置である。
本発明によれば、入力画像に対応したアプリケーションプログラムを自動的に実行可能なコンピュータプログラム及び画像処理装置を提供することができる。
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（第１実施形態）
＜画像処理システム１００＞
図１は、第１実施形態に係る画像処理システム１００の機能ブロック図である。
図２は、第１実施形態に係る画像処理サーバ１のアプリ記憶部２２の例を示す図である。
図１に示すように、画像処理システム１００は、画像処理サーバ（画像処理装置）１と、携帯端末３と、用紙（紙媒体）６とを備える。画像処理サーバ１と、携帯端末３とは、通信ネットワークＮを介して通信可能に接続される。
画像処理システム１００は、携帯端末３によって用紙６を撮影し、携帯端末３が、取得した用紙６の画像データ（撮影画像）を、画像処理サーバ１に送信する。そして、画像処理システム１００では、画像処理サーバ１が、受信した画像データの特徴からアプリケーションプログラム（以下、「アプリ」ともいう。）を特定して実行し、携帯端末３に表示させる。
（第１実施形態）
＜画像処理システム１００＞
図１は、第１実施形態に係る画像処理システム１００の機能ブロック図である。
図２は、第１実施形態に係る画像処理サーバ１のアプリ記憶部２２の例を示す図である。
図１に示すように、画像処理システム１００は、画像処理サーバ（画像処理装置）１と、携帯端末３と、用紙（紙媒体）６とを備える。画像処理サーバ１と、携帯端末３とは、通信ネットワークＮを介して通信可能に接続される。
画像処理システム１００は、携帯端末３によって用紙６を撮影し、携帯端末３が、取得した用紙６の画像データ（撮影画像）を、画像処理サーバ１に送信する。そして、画像処理システム１００では、画像処理サーバ１が、受信した画像データの特徴からアプリケーションプログラム（以下、「アプリ」ともいう。）を特定して実行し、携帯端末３に表示させる。
＜画像処理サーバ１＞
画像処理サーバ１は、制御部１０と、記憶部２０と、通信インタフェース部２９とを備える。
制御部１０は、画像処理サーバ１の全体を制御するＣＰＵ（中央処理装置）である。制御部１０は、記憶部２０に記憶されているＯＳ（オペレーティングシステム）やアプリを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
画像処理サーバ１は、制御部１０と、記憶部２０と、通信インタフェース部２９とを備える。
制御部１０は、画像処理サーバ１の全体を制御するＣＰＵ（中央処理装置）である。制御部１０は、記憶部２０に記憶されているＯＳ（オペレーティングシステム）やアプリを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部１０は、画像データ受信部１１（画像取得手段）と、画像データ分析部１２（画像分析手段）と、入力抽出部１３（入力抽出手段）と、書込データ生成部１４（書込データ生成手段）と、アプリ実行部１５（アプリ実行手段）と、配置出力部１６（配置手段）とを備える。
画像データ受信部１１は、携帯端末３から画像データを受信する。
画像データ分析部１２は、受信した画像データを、アプリ記憶部（アプリ記憶手段）２２（後述する）のフォーム特徴データ（特徴データ）に基づいて分析する。例えば、画像データ分析部１２は、画像データから罫線を抽出して、その罫線の配置位置に関する分析をする。
画像データ受信部１１は、携帯端末３から画像データを受信する。
画像データ分析部１２は、受信した画像データを、アプリ記憶部（アプリ記憶手段）２２（後述する）のフォーム特徴データ（特徴データ）に基づいて分析する。例えば、画像データ分析部１２は、画像データから罫線を抽出して、その罫線の配置位置に関する分析をする。
入力抽出部１３は、画像データのうち特徴画像を除いた画像データである書込画像を抽出する。ここで、特徴画像とは、フォーム特徴データに対応する画像であり、具体的には、画像データに含まれる罫線等の画像をいう。
書込データ生成部１４は、抽出した書込画像に対して文字認識処理を行うことで、書込データを生成する。書込データについては、後述する。
アプリ実行部１５は、画像データ分析部１２での分析により特定されたアプリ記憶部２２のフォーム特徴データに対応付けられたアプリを実行する。
配置出力部１６は、アプリ実行によるアプリ処理画面（処理画面）において、元の画像データと同じ配置位置に、書込画像又は書込データを出力させる。
なお、各処理の詳細については、後述する。
書込データ生成部１４は、抽出した書込画像に対して文字認識処理を行うことで、書込データを生成する。書込データについては、後述する。
アプリ実行部１５は、画像データ分析部１２での分析により特定されたアプリ記憶部２２のフォーム特徴データに対応付けられたアプリを実行する。
配置出力部１６は、アプリ実行によるアプリ処理画面（処理画面）において、元の画像データと同じ配置位置に、書込画像又は書込データを出力させる。
なお、各処理の詳細については、後述する。
記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
なお、コンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、画像処理サーバ１は、制御部１０、記憶部２０等を備えた情報処理装置であり、コンピュータの概念に含まれる。
記憶部２０は、プログラム記憶部２１と、アプリ記憶部２２とを備える。
プログラム記憶部２１は、各種プログラムを記憶させるための記憶領域である。プログラム記憶部２１は、画像処理プログラム２１ａ（コンピュータプログラム）を記憶している。
画像処理プログラム２１ａは、画像処理サーバ１の制御部１０が実行する各種機能を行うためのプログラムである。
なお、コンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、画像処理サーバ１は、制御部１０、記憶部２０等を備えた情報処理装置であり、コンピュータの概念に含まれる。
記憶部２０は、プログラム記憶部２１と、アプリ記憶部２２とを備える。
プログラム記憶部２１は、各種プログラムを記憶させるための記憶領域である。プログラム記憶部２１は、画像処理プログラム２１ａ（コンピュータプログラム）を記憶している。
画像処理プログラム２１ａは、画像処理サーバ１の制御部１０が実行する各種機能を行うためのプログラムである。
アプリ記憶部２２は、アプリと、フォーム特徴データとを対応付けて記憶する。図２に示すように、アプリ記憶部２２は、アプリ種類２２ａと、フォーム特徴データ２２ｂと、アプリケーションプログラム２２ｃとを対応付けて記憶している。
アプリ種類２２ａは、アプリのカテゴリを示し、例えば、ワードプロセッサ、表計算ソフト等である。
フォーム特徴データ２２ｂは、フォーム（形式）に関する特徴データであり、アプリ種類２２ａに対応したフォームの特徴である。図２に示すように、例えば、ワードプロセッサソフトであれば、等間隔に罫線が引かれていることが特徴である。また、表計算ソフトであれば、格子状に罫線が引かれていることが特徴である。さらに、メディアプレーヤソフトであれば、五線譜があることが特徴である。そこで、フォーム特徴データ２２ｂには、そのような特徴を含んだデータが記憶されている。なお、図２では、フォーム特徴データ２２ｂを、分かりやすいように記載しているが、データ形式は、このような画像データに限定されるものではない。
アプリケーションプログラム２２ｃは、実際に実行して携帯端末３に処理画面を出力させるプログラムである。
アプリ種類２２ａは、アプリのカテゴリを示し、例えば、ワードプロセッサ、表計算ソフト等である。
フォーム特徴データ２２ｂは、フォーム（形式）に関する特徴データであり、アプリ種類２２ａに対応したフォームの特徴である。図２に示すように、例えば、ワードプロセッサソフトであれば、等間隔に罫線が引かれていることが特徴である。また、表計算ソフトであれば、格子状に罫線が引かれていることが特徴である。さらに、メディアプレーヤソフトであれば、五線譜があることが特徴である。そこで、フォーム特徴データ２２ｂには、そのような特徴を含んだデータが記憶されている。なお、図２では、フォーム特徴データ２２ｂを、分かりやすいように記載しているが、データ形式は、このような画像データに限定されるものではない。
アプリケーションプログラム２２ｃは、実際に実行して携帯端末３に処理画面を出力させるプログラムである。
図１に戻り、通信インタフェース部２９は、通信ネットワークを介して携帯端末３との通信を行うためのインタフェース部である。
＜携帯端末３＞
携帯端末３は、例えば、タブレット端末に代表されるコンピュータの機能を併せ持った携帯型の装置である。携帯端末３は、その他、スマートフォン等でもよいし、ＰＣ（パーソナルコンピュータ）等であってもよい。
携帯端末３は、制御部３０と、記憶部４０と、タッチパネルディスプレイ４５（表示装置）と、カメラ４７と、通信インタフェース部４９とを備える。
制御部３０は、携帯端末３の全体を制御するＣＰＵである。制御部３０は、記憶部４０に記憶されているＯＳやアプリを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
携帯端末３は、例えば、タブレット端末に代表されるコンピュータの機能を併せ持った携帯型の装置である。携帯端末３は、その他、スマートフォン等でもよいし、ＰＣ（パーソナルコンピュータ）等であってもよい。
携帯端末３は、制御部３０と、記憶部４０と、タッチパネルディスプレイ４５（表示装置）と、カメラ４７と、通信インタフェース部４９とを備える。
制御部３０は、携帯端末３の全体を制御するＣＰＵである。制御部３０は、記憶部４０に記憶されているＯＳやアプリを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部３０は、画像データ受付部３１と、画像データ送信部３２と、処理画面データ受信部３４と、処理画面データ出力部３５とを備える。
画像データ受付部３１は、カメラ４７が撮影した画像データを受け付ける。
画像データ送信部３２は、受け付けた画像データを、画像処理サーバ１に対して送信する。
処理画面データ受信部３４は、画像処理サーバ１から処理画面データを受信する。
処理画面データ出力部３５は、受信した処理画面データを、タッチパネルディスプレイ４５に出力させる。
画像データ受付部３１は、カメラ４７が撮影した画像データを受け付ける。
画像データ送信部３２は、受け付けた画像データを、画像処理サーバ１に対して送信する。
処理画面データ受信部３４は、画像処理サーバ１から処理画面データを受信する。
処理画面データ出力部３５は、受信した処理画面データを、タッチパネルディスプレイ４５に出力させる。
記憶部４０は、制御部３０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。
なお、コンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、携帯端末３は、制御部３０、記憶部４０等を備えた情報処理装置であり、コンピュータの概念に含まれる。
記憶部４０は、プログラム記憶部４１を備える。プログラム記憶部４１は、サーバ連携プログラム４１ａを記憶している。サーバ連携プログラム４１ａは、携帯端末３の制御部３０が実行する各種機能を行うためのプログラムである。携帯端末３が、例えば、アプリ配信サーバ（図示せず）に接続してサーバ連携プログラム４１ａをダウンロード及びインストールすることで、サーバ連携プログラム４１ａは、プログラム記憶部４１に記憶される。
なお、コンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、携帯端末３は、制御部３０、記憶部４０等を備えた情報処理装置であり、コンピュータの概念に含まれる。
記憶部４０は、プログラム記憶部４１を備える。プログラム記憶部４１は、サーバ連携プログラム４１ａを記憶している。サーバ連携プログラム４１ａは、携帯端末３の制御部３０が実行する各種機能を行うためのプログラムである。携帯端末３が、例えば、アプリ配信サーバ（図示せず）に接続してサーバ連携プログラム４１ａをダウンロード及びインストールすることで、サーバ連携プログラム４１ａは、プログラム記憶部４１に記憶される。
タッチパネルディスプレイ４５は、液晶パネル等で構成される表示部としての機能と、ユーザからの指等によるタッチ入力を検出する入力部としての機能とを有する。
カメラ４７は、撮影装置である。カメラ４７は、例えば、用紙６の画像データを取得する。
通信インタフェース部４９は、通信ネットワークを介して画像処理サーバ１等との通信を行うためのインタフェース部である。
＜用紙６＞
用紙６は、例えば、便箋や、プリント物等の紙媒体である。用紙６には、文字等の書き込みがされていても、されていなくてもよい。また、用紙６に文字等が書き込まれている場合に、その文字等は、手書きのものであっても、印刷等であってもよい。
カメラ４７は、撮影装置である。カメラ４７は、例えば、用紙６の画像データを取得する。
通信インタフェース部４９は、通信ネットワークを介して画像処理サーバ１等との通信を行うためのインタフェース部である。
＜用紙６＞
用紙６は、例えば、便箋や、プリント物等の紙媒体である。用紙６には、文字等の書き込みがされていても、されていなくてもよい。また、用紙６に文字等が書き込まれている場合に、その文字等は、手書きのものであっても、印刷等であってもよい。
＜画像処理システム１００の処理＞
次に、画像処理システム１００の処理について説明する。
図３は、第１実施形態に係る画像処理システム１００でのメイン処理を示すフローチャートである。
図４は、第１実施形態に係る携帯端末３での処理例を示す図である。
図５は、第１実施形態に係る画像処理サーバ１での画像分析処理を示すフローチャートである。
次に、画像処理システム１００の処理について説明する。
図３は、第１実施形態に係る画像処理システム１００でのメイン処理を示すフローチャートである。
図４は、第１実施形態に係る携帯端末３での処理例を示す図である。
図５は、第１実施形態に係る画像処理サーバ１での画像分析処理を示すフローチャートである。
まず、携帯端末３のユーザが、携帯端末３のカメラ４７の撮影方向に用紙６を置いて、カメラ４７を操作する。そうすることで、図３のステップＳ（以下、「Ｓ」という。）１０において、携帯端末３の制御部３０（画像データ受付部３１）は、カメラ４７を制御して用紙６を撮影して、撮影した用紙６の画像である画像データを受け付ける。
図４（Ａ）に示すように、ユーザは、携帯端末３を、「あいう」と手書きされた用紙６Ａの全体が入るようにカメラ４７の位置を調整し、用紙６Ａを撮影する。そうすると、図４（Ｂ）に示すように、携帯端末３のタッチパネルディスプレイ４５には、撮影画面６０が表示される。撮影画面６０は、用紙６Ａの画像を含む画像データを表示している。
そして、制御部３０は、受け付けた画像データを、記憶部４０に記憶させる。
図４（Ａ）に示すように、ユーザは、携帯端末３を、「あいう」と手書きされた用紙６Ａの全体が入るようにカメラ４７の位置を調整し、用紙６Ａを撮影する。そうすると、図４（Ｂ）に示すように、携帯端末３のタッチパネルディスプレイ４５には、撮影画面６０が表示される。撮影画面６０は、用紙６Ａの画像を含む画像データを表示している。
そして、制御部３０は、受け付けた画像データを、記憶部４０に記憶させる。
図３に戻り、Ｓ１１において、ユーザによるサーバ連携プログラム４１ａの起動を受け付けて、制御部３０は、サーバ連携プログラム４１ａを起動させる。ユーザは、例えば、タッチパネルディスプレイ２５に表示されているサーバ連携プログラム４１ａを起動させるためのアイコン（図示せず）をタッチ操作することで、サーバ連携プログラム４１ａの起動を指示する。
Ｓ１２において、制御部３０（画像データ送信部３２）は、記憶部４０に記憶された画像データを、画像処理サーバ１に対して送信する。
なお、ここでは、用紙６を撮影後にサーバ連携プログラム４１ａを起動させるものとして説明した。しかし、サーバ連携プログラム４１ａを起動後に用紙６を撮影して、取得した画像データを画像処理サーバ１に送信してもよい。
Ｓ１２において、制御部３０（画像データ送信部３２）は、記憶部４０に記憶された画像データを、画像処理サーバ１に対して送信する。
なお、ここでは、用紙６を撮影後にサーバ連携プログラム４１ａを起動させるものとして説明した。しかし、サーバ連携プログラム４１ａを起動後に用紙６を撮影して、取得した画像データを画像処理サーバ１に送信してもよい。
Ｓ２０において、画像処理サーバ１の制御部１０（画像データ受信部１１）は、画像データを受信する。
Ｓ２１において、制御部１０（画像データ分析部１２、入力抽出部１３、書込データ生成部１４）は、画像分析処理を行う。
Ｓ２１において、制御部１０（画像データ分析部１２、入力抽出部１３、書込データ生成部１４）は、画像分析処理を行う。
ここで、画像分析処理について、図５に基づいて説明する。
図５のＳ３０において、制御部１０（画像データ分析部１２）は、画像データを、アプリ記憶部２２のフォーム特徴データ２２ｂに基づいて分析する。具体的には、制御部１０は、画像データと、アプリ記憶部２２のフォーム特徴データ２２ｂとの類似度合いから、類似度合いが最も高いアプリ記憶部２２のフォーム特徴データを特定する。その際、制御部１０は、画像データに罫線がある場合には、画像データから罫線を抽出して、その罫線の配置位置と、アプリ記憶部２２のフォーム特徴データ２２ｂとの類似度合いから、フォーム特徴データを特定する。
例えば、図４（Ｂ）に示す撮影画面６０の場合には、制御部１０（画像データ分析部１２）は、アプリ記憶部２２のフォーム特徴データ２２ｂと、この撮影画面６０とを分析する。撮影画面６０には、罫線があるので、制御部１０は、撮影画面６０から抽出した罫線の配置位置とフォーム特徴データ２２ｂとの類似度合いから、ワードプロセッサソフトのフォーム特徴データを特定する。
図５のＳ３０において、制御部１０（画像データ分析部１２）は、画像データを、アプリ記憶部２２のフォーム特徴データ２２ｂに基づいて分析する。具体的には、制御部１０は、画像データと、アプリ記憶部２２のフォーム特徴データ２２ｂとの類似度合いから、類似度合いが最も高いアプリ記憶部２２のフォーム特徴データを特定する。その際、制御部１０は、画像データに罫線がある場合には、画像データから罫線を抽出して、その罫線の配置位置と、アプリ記憶部２２のフォーム特徴データ２２ｂとの類似度合いから、フォーム特徴データを特定する。
例えば、図４（Ｂ）に示す撮影画面６０の場合には、制御部１０（画像データ分析部１２）は、アプリ記憶部２２のフォーム特徴データ２２ｂと、この撮影画面６０とを分析する。撮影画面６０には、罫線があるので、制御部１０は、撮影画面６０から抽出した罫線の配置位置とフォーム特徴データ２２ｂとの類似度合いから、ワードプロセッサソフトのフォーム特徴データを特定する。
図５に戻り、Ｓ３１において、制御部１０（入力抽出部１３）は、書込画像を抽出する。具体的には、制御部１０は、Ｓ３０において特定したフォーム特徴データに対応する画像である特徴画像を、画像データから除くことで、書込画像を抽出する。
例えば、図４（Ｂ）に示す撮影画面６０の例の場合には、制御部１０（入力抽出部１３）は、ワードプロセッサソフトのフォーム特徴データに対応する特徴画像を撮影画面６０の画像データから除いて、「あいう」の文字からなる書込画像を抽出する。この時点で抽出した書込画像は、画像形式のデータである。
例えば、図４（Ｂ）に示す撮影画面６０の例の場合には、制御部１０（入力抽出部１３）は、ワードプロセッサソフトのフォーム特徴データに対応する特徴画像を撮影画面６０の画像データから除いて、「あいう」の文字からなる書込画像を抽出する。この時点で抽出した書込画像は、画像形式のデータである。
図５に戻り、Ｓ３２において、制御部１０は、アプリ記憶部２２を参照し、Ｓ３０で特定したフォーム特徴データに対応付けられたアプリ種類が、ワードプロセッサソフトであるか否かを判断する。ワードプロセッサソフトである場合（Ｓ３２：ＹＥＳ）には、制御部１０は、処理をＳ３４に移す。他方、ワードプロセッサソフトではない場合（Ｓ３２：ＮＯ）には、制御部１０は、処理をＳ３３に移す。
Ｓ３３において、制御部１０は、アプリ記憶部２２を参照し、Ｓ３０で特定したフォーム特徴データに対応付けられたアプリ種類が、表計算ソフトであるか否かを判断する。表計算ソフトである場合（Ｓ３３：ＹＥＳ）には、制御部１０は、処理をＳ３４に移す。他方、表計算ソフトではない場合（Ｓ３３：ＮＯ）には、制御部１０は、本処理を終了し、図３に戻る。
Ｓ３３において、制御部１０は、アプリ記憶部２２を参照し、Ｓ３０で特定したフォーム特徴データに対応付けられたアプリ種類が、表計算ソフトであるか否かを判断する。表計算ソフトである場合（Ｓ３３：ＹＥＳ）には、制御部１０は、処理をＳ３４に移す。他方、表計算ソフトではない場合（Ｓ３３：ＮＯ）には、制御部１０は、本処理を終了し、図３に戻る。
Ｓ３４において、制御部１０（書込データ生成部１４）は、書込画像に対して文字認識処理を実行し、書込データを生成する。制御部１０は、例えば、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）を用いる。書込みデータは、書込画像に含まれる文字を、テキスト形式のデータにしたものである。その後、制御部１０は、処理を図３に戻す。
このＳ３４での処理では、制御部１０は、特定したアプリがワードプロセッサソフトか表計算ソフトである場合には、用紙６に書き込まれた文字や、用紙６に印刷されていた文字等を、テキスト形式の書込データにする。そうすることで、後述するように、アプリ実行時に、書込データをアプリ上で編集等が行えるようにできる。
例えば、図４（Ｂ）に示す撮影画面６０の例の場合には、制御部１０（書込データ生成部１４）は、「あいう」の文字を含む書込画像から、「あ」「い」「う」の各文字からなる書込データを生成する。その後、制御部１０は、本処理を終了し、図３に戻る。
このＳ３４での処理では、制御部１０は、特定したアプリがワードプロセッサソフトか表計算ソフトである場合には、用紙６に書き込まれた文字や、用紙６に印刷されていた文字等を、テキスト形式の書込データにする。そうすることで、後述するように、アプリ実行時に、書込データをアプリ上で編集等が行えるようにできる。
例えば、図４（Ｂ）に示す撮影画面６０の例の場合には、制御部１０（書込データ生成部１４）は、「あいう」の文字を含む書込画像から、「あ」「い」「う」の各文字からなる書込データを生成する。その後、制御部１０は、本処理を終了し、図３に戻る。
図３に戻り、Ｓ２２において、制御部１０（アプリ実行部１５）は、図５のＳ３０で特定したフォーム特徴データに対応付けられたアプリケーションプログラムを起動させる。
Ｓ２３において、制御部１０（配置出力部１６）は、アプリが起動されたことで、携帯端末３に表示させるアプリ処理画面に対して編集処理を行い、処理画面データを作成する。Ｓ２１での画像分析処理において、書込データが生成された場合には、制御部１０は、編集処理において、アプリ上で書込データが画像データと同じ配置位置になるように、アプリ処理画面に書込データを配置させる。また、Ｓ２１での画像分析処理において、書込データが生成されなかった場合には、制御部１０は、編集処理において、アプリ上で書込画像が画像データと同じ配置位置になるように、アプリ処理画面に書込画像を配置させる。
Ｓ２４において、制御部１０（配置出力部１６）は、作成された処理画面データを、携帯端末３に対して送信する。その後、画像処理サーバ１の制御部１０は、本処理を終了する。
Ｓ２３において、制御部１０（配置出力部１６）は、アプリが起動されたことで、携帯端末３に表示させるアプリ処理画面に対して編集処理を行い、処理画面データを作成する。Ｓ２１での画像分析処理において、書込データが生成された場合には、制御部１０は、編集処理において、アプリ上で書込データが画像データと同じ配置位置になるように、アプリ処理画面に書込データを配置させる。また、Ｓ２１での画像分析処理において、書込データが生成されなかった場合には、制御部１０は、編集処理において、アプリ上で書込画像が画像データと同じ配置位置になるように、アプリ処理画面に書込画像を配置させる。
Ｓ２４において、制御部１０（配置出力部１６）は、作成された処理画面データを、携帯端末３に対して送信する。その後、画像処理サーバ１の制御部１０は、本処理を終了する。
Ｓ１３において、携帯端末３の制御部３０（処理画面データ受信部３４）は、画像処理サーバ１から処理画面データを受信する。
Ｓ１４において、制御部３０（処理画面データ出力部３５）は、タッチパネルディスプレイ４５に、処理画面データを出力することで、タッチパネルディスプレイ４５に、処理画面を表示させる。その後、携帯端末３の制御部３０は、本処理を終了する。
図４（Ｃ）は、携帯端末３のタッチパネルディスプレイ４５に表示された処理画面７０を示す。処理画面７０は、ワードプロセッサソフトの実行画面である。そして、処理画面７０には、書込データが、用紙６Ａ（図４（Ａ）参照）と同じ配置位置に配置された状態で表示される。また、この書込データは、実行中のアプリで編集が可能である。よって、ユーザは、用紙６Ａに書き込んだ文字等を、アプリで編集等行えるので、アプリで文字等を活用でき、便利である。
Ｓ１４において、制御部３０（処理画面データ出力部３５）は、タッチパネルディスプレイ４５に、処理画面データを出力することで、タッチパネルディスプレイ４５に、処理画面を表示させる。その後、携帯端末３の制御部３０は、本処理を終了する。
図４（Ｃ）は、携帯端末３のタッチパネルディスプレイ４５に表示された処理画面７０を示す。処理画面７０は、ワードプロセッサソフトの実行画面である。そして、処理画面７０には、書込データが、用紙６Ａ（図４（Ａ）参照）と同じ配置位置に配置された状態で表示される。また、この書込データは、実行中のアプリで編集が可能である。よって、ユーザは、用紙６Ａに書き込んだ文字等を、アプリで編集等行えるので、アプリで文字等を活用でき、便利である。
＜他の具体例＞
次に、他の具体例について説明する。
図６及び図７は、第１実施形態に係る携帯端末３での処理例を示す図である。
図６（Ａ）に示す用紙６Ｂは、格子状の罫線があり、文字等が印刷された紙である。
図６（Ｂ）は、ユーザが、携帯端末３を図６（Ａ）の用紙６Ｂの全体が入るようにカメラ４７の位置を調整し、用紙６Ｂを撮影した際に、携帯端末３のタッチパネルディスプレイ４５に表示される撮影画面６２である。
この場合、画像処理サーバ１では、制御部１０（画像データ分析部１２）は、アプリ記憶部２２のフォーム特徴データと、この撮影画面６２とを分析し、表計算ソフトのフォーム特徴データを特定する（図５のＳ３０）。また、制御部１０（入力抽出部１３）は、表計算ソフトのフォーム特徴データに対応する特徴画像を撮影画面６２の画像データから除いた書込画像を抽出する（図５のＳ３１）。そして、制御部１０（書込データ生成部１４）は、書込画像から、表計算ソフトで編集可能な書込データを生成する（図５のＳ３４）。
図６（Ｃ）は、携帯端末３のタッチパネルディスプレイ４５に表示された処理画面７２を示す。処理画面７２は、表計算ソフトの実行画面である。そして、処理画面７２には、書込データが、用紙６Ｂ（図６（Ａ）参照）と同じ位置に表示されている。また、この書込データは、実行中のアプリで編集が可能である。
次に、他の具体例について説明する。
図６及び図７は、第１実施形態に係る携帯端末３での処理例を示す図である。
図６（Ａ）に示す用紙６Ｂは、格子状の罫線があり、文字等が印刷された紙である。
図６（Ｂ）は、ユーザが、携帯端末３を図６（Ａ）の用紙６Ｂの全体が入るようにカメラ４７の位置を調整し、用紙６Ｂを撮影した際に、携帯端末３のタッチパネルディスプレイ４５に表示される撮影画面６２である。
この場合、画像処理サーバ１では、制御部１０（画像データ分析部１２）は、アプリ記憶部２２のフォーム特徴データと、この撮影画面６２とを分析し、表計算ソフトのフォーム特徴データを特定する（図５のＳ３０）。また、制御部１０（入力抽出部１３）は、表計算ソフトのフォーム特徴データに対応する特徴画像を撮影画面６２の画像データから除いた書込画像を抽出する（図５のＳ３１）。そして、制御部１０（書込データ生成部１４）は、書込画像から、表計算ソフトで編集可能な書込データを生成する（図５のＳ３４）。
図６（Ｃ）は、携帯端末３のタッチパネルディスプレイ４５に表示された処理画面７２を示す。処理画面７２は、表計算ソフトの実行画面である。そして、処理画面７２には、書込データが、用紙６Ｂ（図６（Ａ）参照）と同じ位置に表示されている。また、この書込データは、実行中のアプリで編集が可能である。
図７（Ａ）に示す用紙６Ｃは、五線譜上に音符が配置された紙である。
図７（Ｂ）は、用紙６Ｃを撮影し、携帯端末３のタッチパネルディスプレイ４５に表示される撮影画面６４である。
この場合、画像処理サーバ１では、制御部１０（画像データ分析部１２）は、アプリ記憶部２２のフォーム特徴データと、この撮影画面６４とを分析し、メディアプレーヤソフトのフォーム特徴データを特定する（図５のＳ３０）。また、制御部１０（入力抽出部１３）は、メディアプレーヤソフトのフォーム特徴データに対応する特徴画像を撮影画面６４の画像データから除いた書込画像を抽出する（図５のＳ３１）。
図７（Ｂ）は、用紙６Ｃを撮影し、携帯端末３のタッチパネルディスプレイ４５に表示される撮影画面６４である。
この場合、画像処理サーバ１では、制御部１０（画像データ分析部１２）は、アプリ記憶部２２のフォーム特徴データと、この撮影画面６４とを分析し、メディアプレーヤソフトのフォーム特徴データを特定する（図５のＳ３０）。また、制御部１０（入力抽出部１３）は、メディアプレーヤソフトのフォーム特徴データに対応する特徴画像を撮影画面６４の画像データから除いた書込画像を抽出する（図５のＳ３１）。
図７（Ｃ）は、携帯端末３のタッチパネルディスプレイ４５に表示された処理画面７４を示す。処理画面７４は、メディアプレーヤソフトの実行画面である。そして、処理画面７４には、書込画像が、用紙６Ｃ（図７（Ａ）参照）と同じ配置位置に配置された状態で表示される。よって、ユーザは、用紙６Ｃに印刷された音符等の記号を、アプリ上で表示できるように、データ化することができる。そして、書込画像を生成する処理は、画像データからフォーム特徴データに対応する特徴画像を除くことで生成できるため、簡単に行うことができる。
また、携帯端末３では、メディアプレーヤソフトによって、楽譜に記載された書込画像に対応した音が、スピーカ（図示せず）から出力される。これは、メディアプレーヤソフトが、データ化された画像から音符等の記号を判断することで、行うことができる。
また、携帯端末３では、メディアプレーヤソフトによって、楽譜に記載された書込画像に対応した音が、スピーカ（図示せず）から出力される。これは、メディアプレーヤソフトが、データ化された画像から音符等の記号を判断することで、行うことができる。
このように、第１実施形態の画像処理システム１００によれば、以下のような効果がある。
（１）ユーザが、携帯端末３のカメラ４７で用紙６を撮影するだけで、画像処理サーバ１が用紙６の画像データの分析をフォーム特徴データ２２ｂに基づいて行い、分析結果から適したアプリを特定して、アプリを実行できる。そして、携帯端末３には、アプリ実行による処理画面が表示される。よって、ユーザは、携帯端末３のカメラ４７で用紙６を撮影するという、簡易な操作をすれば、アプリ実行のための操作等を行うことなく、自動的にアプリを実行できるので、利便性が向上する。
より詳細には、画像処理サーバ１は、用紙６に含まれる罫線の配置位置により、アプリを特定して実行できる。よって、画像処理サーバ１は、用紙６の罫線に対応したアプリを実行できる。
（１）ユーザが、携帯端末３のカメラ４７で用紙６を撮影するだけで、画像処理サーバ１が用紙６の画像データの分析をフォーム特徴データ２２ｂに基づいて行い、分析結果から適したアプリを特定して、アプリを実行できる。そして、携帯端末３には、アプリ実行による処理画面が表示される。よって、ユーザは、携帯端末３のカメラ４７で用紙６を撮影するという、簡易な操作をすれば、アプリ実行のための操作等を行うことなく、自動的にアプリを実行できるので、利便性が向上する。
より詳細には、画像処理サーバ１は、用紙６に含まれる罫線の配置位置により、アプリを特定して実行できる。よって、画像処理サーバ１は、用紙６の罫線に対応したアプリを実行できる。
（２）画像処理サーバ１は、ユーザが用紙６に書き込んだ文字に対して文字認識処理によって書込データを生成して、アプリ上に配置する。よって、その書込データを、アプリで加工修正等の編集が可能にすることができる。
（３）携帯端末３では、用紙６を撮影した画像データを送信するだけで、アプリ実行によるアプリ処理画面を表示するので、携帯端末３での処理を、簡易なものにできる。
（３）携帯端末３では、用紙６を撮影した画像データを送信するだけで、アプリ実行によるアプリ処理画面を表示するので、携帯端末３での処理を、簡易なものにできる。
（第２実施形態）
第２実施形態では、他のシステム構成について説明する。なお、以降の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
第２実施形態では、他のシステム構成について説明する。なお、以降の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
＜画像処理システム２００＞
図８は、第２実施形態に係る画像処理システム２００の全体構成図及びＰＣ２０１の機能ブロック図である。
図９は、第２実施形態に係る電子ペン２０３と、使用形態とを示す図である。
図８に示す画像処理システム２００は、ＰＣ（画像処理装置）２０１と、電子ペン２０３と、用紙２０６とを備える。ＰＣ２０１と、電子ペン２０３とは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等の無線通信を利用して、通信可能に接続される。
画像処理システム２００では、電子ペン２０３によって用紙２０６に記入しつつ、用紙２０６を撮影し、電子ペン２０３が、取得した用紙２０６の画像データと、記入情報であるストロークデータとを、ＰＣ２０１に対して都度送信する。そして、ＰＣ２０１は、受信した画像データの特徴からアプリを特定して実行し、ストロークデータから書込データを生成して、事項したアプリ上に、書込データを表示させる。
図８は、第２実施形態に係る画像処理システム２００の全体構成図及びＰＣ２０１の機能ブロック図である。
図９は、第２実施形態に係る電子ペン２０３と、使用形態とを示す図である。
図８に示す画像処理システム２００は、ＰＣ（画像処理装置）２０１と、電子ペン２０３と、用紙２０６とを備える。ＰＣ２０１と、電子ペン２０３とは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等の無線通信を利用して、通信可能に接続される。
画像処理システム２００では、電子ペン２０３によって用紙２０６に記入しつつ、用紙２０６を撮影し、電子ペン２０３が、取得した用紙２０６の画像データと、記入情報であるストロークデータとを、ＰＣ２０１に対して都度送信する。そして、ＰＣ２０１は、受信した画像データの特徴からアプリを特定して実行し、ストロークデータから書込データを生成して、事項したアプリ上に、書込データを表示させる。
＜ＰＣ２０１＞
ＰＣ２０１は、制御部２１０と、記憶部２２０と、操作部２２５と、表示部２２６と、通信インタフェース部２９とを備える。
制御部２１０は、画像データ受信部２１１（画像取得手段）と、画像データ分析部１２と、入力データ受信部２１７（入力データ受付手段）と、書込データ生成部２１４（書込データ生成手段）と、アプリ実行部１５と、配置出力部２１６（配置手段）とを備える。
画像データ受信部２１１は、電子ペン２０３から画像データを受信する。
入力データ受信部２１７は、電子ペン２０３からストロークデータを受信する。
書込データ生成部２１４は、ストロークデータから書込データを生成する。
配置出力部２１６は、アプリ実行によるアプリ処理画面において、元の画像データと同じ配置位置に、書込データを出力させる。
ＰＣ２０１は、制御部２１０と、記憶部２２０と、操作部２２５と、表示部２２６と、通信インタフェース部２９とを備える。
制御部２１０は、画像データ受信部２１１（画像取得手段）と、画像データ分析部１２と、入力データ受信部２１７（入力データ受付手段）と、書込データ生成部２１４（書込データ生成手段）と、アプリ実行部１５と、配置出力部２１６（配置手段）とを備える。
画像データ受信部２１１は、電子ペン２０３から画像データを受信する。
入力データ受信部２１７は、電子ペン２０３からストロークデータを受信する。
書込データ生成部２１４は、ストロークデータから書込データを生成する。
配置出力部２１６は、アプリ実行によるアプリ処理画面において、元の画像データと同じ配置位置に、書込データを出力させる。
記憶部２２０は、プログラム記憶部２２１と、アプリ記憶部２２とを備える。
プログラム記憶部２２１に記憶された画像処理プログラム２２１ａは、ＰＣ２０１の制御部２１０が実行する各種機能を行うためのプログラムである。
操作部２２５は、キーボードやマウス等の入力装置である。
表示部２２６は、液晶パネル等の表示装置である。
プログラム記憶部２２１に記憶された画像処理プログラム２２１ａは、ＰＣ２０１の制御部２１０が実行する各種機能を行うためのプログラムである。
操作部２２５は、キーボードやマウス等の入力装置である。
表示部２２６は、液晶パネル等の表示装置である。
＜電子ペン２０３＞
電子ペン２０３は、電子ペン２０３により用紙２０６への記入時に、電子ペン２０３の軌跡（ストローク）を、ストロークデータとしてデータ化する。
電子ペン２０３は、図９に示すように、インクペンユニット２０３ａと、読取ユニット２０３ｂと、プロセッサ２０３ｃと、メモリ２０３ｄと、筆圧センサ２０３ｅと、通信ユニット２０３ｆとを備える。プロセッサ２０３ｃと、メモリ２０３ｄと、筆圧センサ２０３ｅと、通信ユニット２０３ｆとは、電子ペン２０３の内部に備えられる。なお、電子ペン２０３は、その内部に、図示しない電源やインクカートリッジ等も備えている。
このような電子ペン２０３の記入時の動作については、例えば、特開２０１４−４４５５４号公報等に記載されているものと同様である。
電子ペン２０３は、電子ペン２０３により用紙２０６への記入時に、電子ペン２０３の軌跡（ストローク）を、ストロークデータとしてデータ化する。
電子ペン２０３は、図９に示すように、インクペンユニット２０３ａと、読取ユニット２０３ｂと、プロセッサ２０３ｃと、メモリ２０３ｄと、筆圧センサ２０３ｅと、通信ユニット２０３ｆとを備える。プロセッサ２０３ｃと、メモリ２０３ｄと、筆圧センサ２０３ｅと、通信ユニット２０３ｆとは、電子ペン２０３の内部に備えられる。なお、電子ペン２０３は、その内部に、図示しない電源やインクカートリッジ等も備えている。
このような電子ペン２０３の記入時の動作については、例えば、特開２０１４−４４５５４号公報等に記載されているものと同様である。
簡単に説明すると、電子ペン２０３のインクペンユニット２０３ａにより、用紙２０６への記入を行うと、筆圧センサ２０３ｅが、筆圧を検出したことを示す筆圧検出信号をプロセッサ２０３ｃに送信する。プロセッサ２０３ｃは、筆圧検出信号が送られている間、読取ユニット２０３ｂで用紙２０６上のドットパターン２０６ａを読み取り、ドットパターン２０６ａのパターンデータを算出し、これに対応する用紙２０６の位置情報を取得する。
そして、プロセッサ２０３ｃは、ストロークデータとして、取得した位置情報と、その位置情報を取得した時間を示す時間情報とを、時系列順にメモリ２０３ｄに記憶する。こうして、電子ペン２０３による記入時にペン先が移動した軌跡が、ストロークデータとしてデータ化される。また、プロセッサ２０３ｃは、読取ユニット２０３ｂが読み取った画像データを、適宜メモリ２０３ｄに記憶する。
そして、プロセッサ２０３ｃは、ストロークデータとして、取得した位置情報と、その位置情報を取得した時間を示す時間情報とを、時系列順にメモリ２０３ｄに記憶する。こうして、電子ペン２０３による記入時にペン先が移動した軌跡が、ストロークデータとしてデータ化される。また、プロセッサ２０３ｃは、読取ユニット２０３ｂが読み取った画像データを、適宜メモリ２０３ｄに記憶する。
＜用紙２０６＞
用紙２０６は、図９に示すように、表面にドットパターン２０６ａが形成された用紙である。用紙２０６は、罫線を有したり、五線譜を有したりしてもよい。
ドットパターン２０６ａは、多数のドット２０６ｂを格子線２０６ｃ上に配列したものである。ドットパターン２０６ａは、各ドット２０６ｂが格子線２０６ｃの交点２０６ｄに対し、いずれの方向にあるかをパターンデータとしてデータ化できる。本実施形態では、このパターンデータが、ドットパターン２０６ａが存在する用紙２０６上の位置に対応付けられている。これらを対応付けたデータは、例えば、電子ペン２０３のメモリ２０３ｄ内に記憶される。
なお、本実施形態では、ドットパターン２０６ａを用紙２０６に形成しているが、これに限らず、用紙２０６上の位置に対応するパターンであれば、ドットパターン２０６ａに替えて用いることができる。
用紙２０６は、図９に示すように、表面にドットパターン２０６ａが形成された用紙である。用紙２０６は、罫線を有したり、五線譜を有したりしてもよい。
ドットパターン２０６ａは、多数のドット２０６ｂを格子線２０６ｃ上に配列したものである。ドットパターン２０６ａは、各ドット２０６ｂが格子線２０６ｃの交点２０６ｄに対し、いずれの方向にあるかをパターンデータとしてデータ化できる。本実施形態では、このパターンデータが、ドットパターン２０６ａが存在する用紙２０６上の位置に対応付けられている。これらを対応付けたデータは、例えば、電子ペン２０３のメモリ２０３ｄ内に記憶される。
なお、本実施形態では、ドットパターン２０６ａを用紙２０６に形成しているが、これに限らず、用紙２０６上の位置に対応するパターンであれば、ドットパターン２０６ａに替えて用いることができる。
＜画像処理システム２００の処理＞
次に、画像処理システム２００の処理について説明する。
図１０は、第２実施形態に係る画像処理システム２００でのメイン処理を示すフローチャートである。
Ｓ２１０において、電子ペン２０３を用いて用紙２０６に書き込みが行われることで、上述したように、電子ペン２０３のプロセッサ２０３ｃは、画像データと、ストロークデータを生成する。
Ｓ２１１において、電子ペン２０３のプロセッサ２０３ｃは、通信ユニット２０３ｆを制御して、画像データと、ストロークデータとを、ＰＣ２０１に対して送信する。
この電子ペン２０３によるデータ送信処理は、例えば、用紙２０６への書き込みの都度、又は、所定のタイミング（例えば、１０秒ごと）に行われる。
なお、電子ペン２０３での処理は、電子ペン２０３によって用紙２０６に書き込みがされている間は、繰り返し行われる。
次に、画像処理システム２００の処理について説明する。
図１０は、第２実施形態に係る画像処理システム２００でのメイン処理を示すフローチャートである。
Ｓ２１０において、電子ペン２０３を用いて用紙２０６に書き込みが行われることで、上述したように、電子ペン２０３のプロセッサ２０３ｃは、画像データと、ストロークデータを生成する。
Ｓ２１１において、電子ペン２０３のプロセッサ２０３ｃは、通信ユニット２０３ｆを制御して、画像データと、ストロークデータとを、ＰＣ２０１に対して送信する。
この電子ペン２０３によるデータ送信処理は、例えば、用紙２０６への書き込みの都度、又は、所定のタイミング（例えば、１０秒ごと）に行われる。
なお、電子ペン２０３での処理は、電子ペン２０３によって用紙２０６に書き込みがされている間は、繰り返し行われる。
Ｓ２２０において、ＰＣ２０１の制御部２１０（画像データ受信部２１１、入力データ受信部２１７）は、画像データと、ストロークデータとを受信する。
Ｓ２２１において、ＰＣ２０１の制御部２１０は、受信した画像データと、そのストロークデータとを、初めて受信したか否かについて判断する。上述したように、電子ペン２０３では、繰り返し処理が行われることで、逐次データを送信する。そのため、ＰＣ２０１では、電子ペン２０３から逐次データを受信している。初めて受信したものである場合（Ｓ２２１：ＹＥＳ）には、制御部２１０は、処理をＳ２２２に移す。他方、初めて受信したものではない場合（Ｓ２２１：ＮＯ）には、制御部２１０は、処理をＳ２２４に移す。
Ｓ２２１において、ＰＣ２０１の制御部２１０は、受信した画像データと、そのストロークデータとを、初めて受信したか否かについて判断する。上述したように、電子ペン２０３では、繰り返し処理が行われることで、逐次データを送信する。そのため、ＰＣ２０１では、電子ペン２０３から逐次データを受信している。初めて受信したものである場合（Ｓ２２１：ＹＥＳ）には、制御部２１０は、処理をＳ２２２に移す。他方、初めて受信したものではない場合（Ｓ２２１：ＮＯ）には、制御部２１０は、処理をＳ２２４に移す。
Ｓ２２２において、制御部２１０（画像データ分析部１２）は、画像分析処理を行う。画像分析処理では、制御部２１０（画像データ分析部１２）は、画像データを、アプリ記憶部２２のフォーム特徴データ２２ｂに基づいて分析する。そして、制御部２１０は、アプリ記憶部２２のフォーム特徴データを特定する。この処理は、第１実施形態（図５）のＳ３０での処理と同様である。
Ｓ２２３において、制御部２１０（アプリ実行部１５）は、Ｓ２２２で特定したフォーム特徴データに対応付けられたアプリケーションプログラムを起動させる。
Ｓ２２４において、制御部２１０（書込データ生成部２１４）は、ストロークデータから、文字等のデータである書込データを生成する。
Ｓ２２３において、制御部２１０（アプリ実行部１５）は、Ｓ２２２で特定したフォーム特徴データに対応付けられたアプリケーションプログラムを起動させる。
Ｓ２２４において、制御部２１０（書込データ生成部２１４）は、ストロークデータから、文字等のデータである書込データを生成する。
Ｓ２２５において、制御部２１０（配置出力部２１６）は、起動されたアプリのアプリ処理画面に対して編集処理を行い、処理画面データを作成する。制御部２１０は、編集処理において、アプリ上で書込データが画像データと同じ配置位置になるように、アプリ処理画面に書込データを配置させる。
Ｓ２２６において、制御部２１０（配置出力部２１６）は、処理画面データを、表示部２２６に表示させる。その後、ＰＣ２０１の制御部２１０は、本処理を終了する。
Ｓ２２６において、制御部２１０（配置出力部２１６）は、処理画面データを、表示部２２６に表示させる。その後、ＰＣ２０１の制御部２１０は、本処理を終了する。
このように、第２実施形態の画像処理システム２００によれば、以下のような効果がある。
ＰＣ２０１は、電子ペン２０３を使用して書き込んだ文字等のストロークデータと、電子ペン２０３が撮影した用紙２０６の画像データとから、適したアプリを特定して実行できる。
また、アプリ上に、ストロークデータから生成された書込データを、編集可能な状態で表示できる。
ＰＣ２０１は、電子ペン２０３を使用して書き込んだ文字等のストロークデータと、電子ペン２０３が撮影した用紙２０６の画像データとから、適したアプリを特定して実行できる。
また、アプリ上に、ストロークデータから生成された書込データを、編集可能な状態で表示できる。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
（変形形態）
（１）第１実施形態では、書込画像に対して文字認識処理を行って書込データを生成し、ワードプロセッサソフトや表計算ソフトを実行した際に、実行したアプリ上に書込データを配置するものを説明したが、これに限定されない。例えば、書込画像を、実行したアプリ上に配置するようにしてもよい。そのようにすることで、アプリ上での編集は行えないが、簡易な処理で用紙に書き込まれた文字等を表示できる。
（２）第１実施形態では、カメラを、用紙全体が入るように調整して撮影することで、用紙全体の画像データを取得するものを例に説明したが、これに限定されない。用紙の一部分を撮影して画像データを取得してもよい。但し、その場合には、書き込まれた文字等が、画像データに含まれるものだけがアプリ上に表示されることになる。
（３）第１実施形態では、画像処理サーバと、携帯端末とを用いた画像処理システムについて説明したが、これに限定されない。例えば、画像処理サーバの機能を、携帯端末に持たせることで、携帯端末のみの構成で同様の処理を行うことができる。
（１）第１実施形態では、書込画像に対して文字認識処理を行って書込データを生成し、ワードプロセッサソフトや表計算ソフトを実行した際に、実行したアプリ上に書込データを配置するものを説明したが、これに限定されない。例えば、書込画像を、実行したアプリ上に配置するようにしてもよい。そのようにすることで、アプリ上での編集は行えないが、簡易な処理で用紙に書き込まれた文字等を表示できる。
（２）第１実施形態では、カメラを、用紙全体が入るように調整して撮影することで、用紙全体の画像データを取得するものを例に説明したが、これに限定されない。用紙の一部分を撮影して画像データを取得してもよい。但し、その場合には、書き込まれた文字等が、画像データに含まれるものだけがアプリ上に表示されることになる。
（３）第１実施形態では、画像処理サーバと、携帯端末とを用いた画像処理システムについて説明したが、これに限定されない。例えば、画像処理サーバの機能を、携帯端末に持たせることで、携帯端末のみの構成で同様の処理を行うことができる。
（４）各実施形態では、アプリ記憶部は、４種類のアプリを記憶するものとして説明したが、これに限定されない。アプリ記憶部のアプリ種類は、一例にすぎず、他のアプリがあってもよいし、ないアプリがあってもよい。
１ 画像処理サーバ
３ 携帯端末
６，６Ａ，６Ｂ，６Ｃ，２０６ 用紙
１０，３０，２１０ 制御部
１１，２１１ 画像データ受信部
１２ 画像データ分析部
１３ 入力抽出部
１４，２１４ 書込データ生成部
１５ アプリ実行部
１６，２１６ 配置出力部
２１ａ，２２１ａ 画像処理プログラム
２２ アプリ記憶部
４５ タッチパネルディスプレイ
４７ カメラ
１００，２００ 画像処理システム
２０１ ＰＣ
２０３ 電子ペン
２０３ｂ 読取ユニット
２０３ｃ プロセッサ
２０３ｄ メモリ
２０３ｆ 通信ユニット
２１７ 入力データ受信部
２２６ 表示部
３ 携帯端末
６，６Ａ，６Ｂ，６Ｃ，２０６ 用紙
１０，３０，２１０ 制御部
１１，２１１ 画像データ受信部
１２ 画像データ分析部
１３ 入力抽出部
１４，２１４ 書込データ生成部
１５ アプリ実行部
１６，２１６ 配置出力部
２１ａ，２２１ａ 画像処理プログラム
２２ アプリ記憶部
４５ タッチパネルディスプレイ
４７ カメラ
１００，２００ 画像処理システム
２０１ ＰＣ
２０３ 電子ペン
２０３ｂ 読取ユニット
２０３ｃ プロセッサ
２０３ｄ メモリ
２０３ｆ 通信ユニット
２１７ 入力データ受信部
２２６ 表示部
Claims (8)
- コンピュータを、
複数種類のアプリケーションプログラムと、各アプリケーションプログラムの特徴データとを対応付けて記憶するアプリ記憶手段と、
紙媒体を撮影した撮影画像を取得する画像取得手段と、
前記画像取得手段によって取得された撮影画像を、前記アプリ記憶手段の前記特徴データに基づいて分析する画像分析手段と、
前記画像分析手段での分析により特定された前記アプリ記憶手段の前記特徴データに対応付けられた前記アプリケーションプログラムを実行させるアプリ実行手段と、
として機能させること、
を特徴とするコンピュータプログラム。 - 請求項１に記載のコンピュータプログラムにおいて、
前記画像分析手段を、前記撮影画像から罫線を抽出して、その配置位置に関する分析をするように機能させること、
を特徴とするコンピュータプログラム。 - 請求項１又は請求項２に記載のコンピュータプログラムにおいて、
前記コンピュータを、
前記画像分析手段での分析により特定された特徴データに対応する前記撮影画像の特徴画像を除いた書込画像を抽出する入力抽出手段と、
前記入力抽出手段により抽出された前記書込画像に対して文字認識処理により書込データを生成する書込データ生成手段と、
して機能させ、
前記書込データは、前記アプリ実行手段により実行された前記アプリケーションプログラムにおいて、編集可能なデータであること、
を特徴とするコンピュータプログラム。 - 請求項１又は請求項２に記載のコンピュータプログラムにおいて、
前記コンピュータを、
電子ペンを利用して前記紙媒体に書き込まれたストロークデータを受け付ける入力データ受付手段と、
前記入力データ受付手段により受け付けたストロークデータから書込データを生成する書込データ生成手段と、
して機能させ、
前記書込データは、前記アプリ実行手段により実行された前記アプリケーションプログラムにおいて、編集可能なデータであること、
を特徴とするコンピュータプログラム。 - 請求項３又は請求項４に記載のコンピュータプログラムにおいて、
前記コンピュータを、
前記アプリ実行手段により前記アプリケーションプログラムが実行されることで表示装置に表示された処理画面に、前記書込データを、前記撮影画像と同じ配置位置に配置させる配置手段と、
して機能させること、
を特徴とするコンピュータプログラム。 - 請求項１又は請求項２に記載のコンピュータプログラムにおいて、
前記コンピュータを、
前記画像分析手段での分析により特定された特徴データに対応する前記撮影画像の特徴画像を除いた書込画像を抽出する入力抽出手段と、
前記アプリ実行手段により前記アプリケーションプログラムが実行されることで表示装置に表示された処理画面に、前記書込画像を、前記撮影画像と同じ配置位置に配置させる配置手段と、
して機能させること、
を特徴とするコンピュータプログラム。 - 請求項１から請求項６までのいずれかに記載のコンピュータプログラムにおいて、
前記複数種類のアプリケーションプログラムには、文書形式のファイルを対象にするワードプロセッサソフト及び表形式のファイルを対象にする表計算ソフトの少なくとも一方が含まれること、
を特徴とするコンピュータプログラム。 - 請求項１から請求項７までのいずれかに記載のコンピュータプログラムを記憶する記憶部と、
前記記憶部に記憶された前記コンピュータプログラムに従って処理を実行する制御部と、
を備える画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015078971A JP6561547B2 (ja) | 2015-04-08 | 2015-04-08 | コンピュータプログラム及び画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015078971A JP6561547B2 (ja) | 2015-04-08 | 2015-04-08 | コンピュータプログラム及び画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016200883A true JP2016200883A (ja) | 2016-12-01 |
| JP6561547B2 JP6561547B2 (ja) | 2019-08-21 |
Family
ID=57424418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015078971A Active JP6561547B2 (ja) | 2015-04-08 | 2015-04-08 | コンピュータプログラム及び画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6561547B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019078072A1 (ja) * | 2017-10-18 | 2019-04-25 | ヤマハ株式会社 | 画像解析方法、画像解析装置およびプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012137921A (ja) * | 2010-12-27 | 2012-07-19 | Kyocera Document Solutions Inc | 情報処理システム |
| JP2013097393A (ja) * | 2011-10-27 | 2013-05-20 | O-Rid Co Ltd | 手書き文字テキスト化システム |
| JP2013171294A (ja) * | 2012-02-17 | 2013-09-02 | Konica Minolta Inc | 画像処理装置 |
-
2015
- 2015-04-08 JP JP2015078971A patent/JP6561547B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012137921A (ja) * | 2010-12-27 | 2012-07-19 | Kyocera Document Solutions Inc | 情報処理システム |
| JP2013097393A (ja) * | 2011-10-27 | 2013-05-20 | O-Rid Co Ltd | 手書き文字テキスト化システム |
| JP2013171294A (ja) * | 2012-02-17 | 2013-09-02 | Konica Minolta Inc | 画像処理装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019078072A1 (ja) * | 2017-10-18 | 2019-04-25 | ヤマハ株式会社 | 画像解析方法、画像解析装置およびプログラム |
| JP2019074998A (ja) * | 2017-10-18 | 2019-05-16 | ヤマハ株式会社 | 画像解析方法およびプログラム |
| US11398100B2 (en) | 2017-10-18 | 2022-07-26 | Yamaha Corporation | Image analysis method and image analysis device for identifying musical information |
| JP7197263B2 (ja) | 2017-10-18 | 2022-12-27 | ヤマハ株式会社 | 画像解析方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6561547B2 (ja) | 2019-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7262166B2 (ja) | 手書き装置の文書の入力領域に用いる方法およびシステム | |
| JP5015954B2 (ja) | ビデオ・ベースの手書き入力方法および装置 | |
| CN104636322A (zh) | 一种文本复制的方法及装置 | |
| US20140368869A1 (en) | Method of printing web page by using mobile terminal and mobile terminal for performing the method | |
| KR20130093672A (ko) | 중첩 수기를 위한 방법, 장치 및 컴퓨터 프로그램 제품 | |
| US10452943B2 (en) | Information processing apparatus, control method of information processing apparatus, and storage medium | |
| US11829597B2 (en) | Electronic device and method for processing handwriting input thereof | |
| US20170344206A1 (en) | Writing system, information processing apparatus, and non-transitory computer readable medium | |
| JP6561547B2 (ja) | コンピュータプログラム及び画像処理装置 | |
| KR20140008773A (ko) | 문자입력 어플리케이션의 개인 필체 적용 방법 및 이를 위한 개인 필체 적용 프로그램을 기록한 컴퓨터로 판독가능한 기록매체 | |
| JP5459046B2 (ja) | 情報処理装置、情報処理方法、およびプログラム、並びに情報処理システム | |
| US9342739B2 (en) | Character recognition apparatus, non-transitory computer readable medium, and character recognition method | |
| US9442576B2 (en) | Method and system for combining paper-driven and software-driven design processes | |
| JP2009122887A (ja) | 端末装置及びそのプログラム | |
| JP6639257B2 (ja) | 情報処理装置及びその制御方法 | |
| KR102160249B1 (ko) | 휴대용 디바이스에서 복수의 메모 페이지들을 편집하는 방법 및 장치 | |
| JP4957296B2 (ja) | 端末装置、処理システム及びプログラム | |
| CN105323402B (zh) | 便携终端和印刷请求方法 | |
| JP7246610B2 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
| US11030473B2 (en) | Information processing apparatus and non-transitory computer readable medium storing information processing program | |
| JP2004021760A (ja) | 文字認識装置及びその制御方法 | |
| KR101669799B1 (ko) | 잉크 텍스트 처리 장치 및 방법 | |
| US20120268776A1 (en) | Mobile phone and method for copying and processing data | |
| KR20240066878A (ko) | 전자 장치 및 누락된 필기 보완 방법 | |
| JP2009042970A (ja) | 端末装置、プログラム及び電子ペン処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160928 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180226 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190708 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6561547 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |