JP2019139423A - 情報処理装置、画像形成装置、及び画像選択方法 - Google Patents
情報処理装置、画像形成装置、及び画像選択方法 Download PDFInfo
- Publication number
- JP2019139423A JP2019139423A JP2018020871A JP2018020871A JP2019139423A JP 2019139423 A JP2019139423 A JP 2019139423A JP 2018020871 A JP2018020871 A JP 2018020871A JP 2018020871 A JP2018020871 A JP 2018020871A JP 2019139423 A JP2019139423 A JP 2019139423A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- unit
- output
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】ノート等として印刷するのに最適な画像データを自動的に選択する情報処理装置を提供する。【解決手段】画像形成装置１は、画像取得部１００、画像認識部１１０、及び出力データ選択部１２０を備える情報処理装置である。画像取得部１００は、記録媒体２を読み出し、指定された期間に撮像された複数の画像データ３００を選択する。画像認識部１１０は、取得された複数の画像データ３００を、撮像の時系列順に並べた際の同一性を認識する。出力データ選択部１２０は、同一性を認識された複数の画像データ３００から、閾値群３２０により、重複した画像データ３００、又は適切でない画像データ３００を除外して、出力画像データ３３０を選択する。【選択図】図２
Description
本発明は、情報処理装置、画像形成装置、及び画像選択方法に係り、特にユーザーによりノート記載代わりに撮像された画像データ等を出力する情報処理装置、画像形成装置、及び画像選択方法に関する。
従来から、文書や画像を印刷可能な複合機（Multifunctional Peripheral, MFP）等の画像形成装置が存在する。
これらの画像形成装置は、ユーザーがスマートフォンやデジタルカメラ等で撮像した画像データを印刷等して出力可能なものも存在する。
また、近年、これらスマートフォン等の普及により、大学や講義現場等で、学生や聴衆等が、黒板、ホワイトボード、壁、スクリーン等（以下、「黒板等」という。）の内容をノートに記載する代わりに撮像するようなケースも増えてきた。
これらの画像形成装置は、ユーザーがスマートフォンやデジタルカメラ等で撮像した画像データを印刷等して出力可能なものも存在する。
また、近年、これらスマートフォン等の普及により、大学や講義現場等で、学生や聴衆等が、黒板、ホワイトボード、壁、スクリーン等（以下、「黒板等」という。）の内容をノートに記載する代わりに撮像するようなケースも増えてきた。
ここで、特許文献１を参照すると、写真の撮影日時順にプリント出力を行うことができる入力端末及びプリントシステム並びにプリント出力順序制御方法が記載されている。特許文献１の技術では、入力端末とプリントサーバーと複数のプリンターとを備える。そして、入力端末に、デジタルカメラＣやメディアＭから画像データを読み取る手段と、各々の画像データを分析して撮影日時特定情報を抽出する手段と、撮影日時特定情報を参照して複数の画像データを撮影日時順に並び替える手段と、複数の画像データを撮影日時順にプリントサーバーに送信する手段とを備える。プリントサーバーには、転送された画像データをプリント出力するためのプリントオーダを作成し、複数のプリンターに振り分ける処理を行うオーダ制御部と、プリントオーダが登録されたら画像データを取り込んで指定されたプリント条件で所定のプリンターに出力するプリント制御部とを備える。
ここで、学生等がノートやメモ代わり（以下、「ノート等」という。）として黒板等を撮像した画像データは、撮りなおし等により同様の画像が並ぶことがあった。
しかしながら、特許文献１の技術は、画像データを撮影日時順にソートし印刷を行うだけであった。このため、同様の画像が大量に画像形成装置で印刷されてしまっていた。これを防ぐためには、どの画像データを印刷するか、ユーザー自身で選択する必要があった。
しかしながら、特許文献１の技術は、画像データを撮影日時順にソートし印刷を行うだけであった。このため、同様の画像が大量に画像形成装置で印刷されてしまっていた。これを防ぐためには、どの画像データを印刷するか、ユーザー自身で選択する必要があった。
本発明は、このような状況に鑑みてなされたものであって、上述の問題点を解消し、ノート等として印刷するのに最適な画像データを自動的に選択する情報処理装置を提供することを課題とする。
本発明の情報処理装置は、指定された期間に撮像された複数の画像データを取得する画像取得部と、前記画像取得部により取得された前記複数の画像データを、撮像の時系列順に並べた際の同一性を認識する画像認識部と、前記画像認識部により前記同一性を認識された前記複数の画像データから、特定の除外条件により、重複した画像データ、又は適切でない画像データを除外して、出力画像データを選択する出力データ選択部とを備えることを特徴とする。
本発明の画像形成装置は、前記情報処理装置と、前記出力データ選択部により選択された前記出力画像データを画像形成する画像形成部とを備えることを特徴とする。
本発明の画像選択方法は、情報処理装置により実行される画像選択方法であって、前記情報処理装置は、指定された期間に撮像された複数の画像データを取得し、取得された前記複数の画像データを、撮像の時系列順に並べた際の同一性を認識し、前記同一性を認識された前記複数の画像データから、特定の除外条件により、重複した画像データ、又は適切でない画像データを除外して、出力画像データを選択することを特徴とする。
本発明の画像形成装置は、前記情報処理装置と、前記出力データ選択部により選択された前記出力画像データを画像形成する画像形成部とを備えることを特徴とする。
本発明の画像選択方法は、情報処理装置により実行される画像選択方法であって、前記情報処理装置は、指定された期間に撮像された複数の画像データを取得し、取得された前記複数の画像データを、撮像の時系列順に並べた際の同一性を認識し、前記同一性を認識された前記複数の画像データから、特定の除外条件により、重複した画像データ、又は適切でない画像データを除外して、出力画像データを選択することを特徴とする。
本発明によれば、指定された期間に撮像された複数の画像データを選択し、同一性を認識して、特定の除外条件により、重複した画像データ、又は適切でない画像データを除外して、出力画像データを選択することで、ノート等として印刷するのに最適な画像データを自動的に選択することが可能な情報処理装置を提供することができる。
＜実施の形態＞
〔画像形成装置１のシステム構成〕
まず、図１を参照して、本発明の情報処理装置の実施形態に係る画像形成装置１のシステム構成について説明する。
〔画像形成装置１のシステム構成〕
まず、図１を参照して、本発明の情報処理装置の実施形態に係る画像形成装置１のシステム構成について説明する。
画像形成装置１は、画像処理部１１、原稿読取部１２、原稿給送部１３、給紙部１４、ネットワーク送受信部１５、操作パネル部１６、画像形成部１７、ＦＡＸ送受信部１８、及び記憶部１９等を含む。各部は、制御部１０に接続され、制御部１０によって動作制御される。
制御部１０は、ＧＰＰ（General Purpose Processor）、ＣＰＵ（Central Processing Unit、中央処理装置）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Processor、特定用途向けプロセッサー）等の情報処理部である。
制御部１０は、記憶部１９のＲＯＭやＨＤＤに記憶されている制御プログラムを読み出して、この制御プログラムをＲＡＭに展開させて実行することで、後述する機能ブロックの各部として動作させられる。また、制御部１０は、図示しない外部の端末や操作パネル部１６から入力された所定の指示情報に応じて、装置全体の制御を行う。
制御部１０は、記憶部１９のＲＯＭやＨＤＤに記憶されている制御プログラムを読み出して、この制御プログラムをＲＡＭに展開させて実行することで、後述する機能ブロックの各部として動作させられる。また、制御部１０は、図示しない外部の端末や操作パネル部１６から入力された所定の指示情報に応じて、装置全体の制御を行う。
画像処理部１１は、ＤＳＰ（Digital Signal Processor）やＧＰＵ（Graphics Processing Unit）等の制御演算手段である。画像処理部１１は、原稿読取部１２で取得された画像データ、記録媒体２から取得された画像データ３００（図２）等に対して所定の画像処理を行う。この所定の画像処理は、例えば、拡大縮小、濃度調整、階調調整、画像改善等の処理であってもよい。
また、画像処理部１１は、原稿読取部１２で読み取られた画像を、記憶部１９に印刷データとして記憶する。この際、画像処理部１１は、印刷データを、ＰＤＦ等の電子文書やＴＩＦＦ等のファイルに変換することも可能である。また、画像処理部１１は、光学文字認識（Optical Character Recognition、以下「ＯＣＲ」という。）の少なくとも一部の処理を実行可能であってもよい。
また、画像処理部１１は、原稿読取部１２で読み取られた画像を、記憶部１９に印刷データとして記憶する。この際、画像処理部１１は、印刷データを、ＰＤＦ等の電子文書やＴＩＦＦ等のファイルに変換することも可能である。また、画像処理部１１は、光学文字認識（Optical Character Recognition、以下「ＯＣＲ」という。）の少なくとも一部の処理を実行可能であってもよい。
原稿読取部１２は、セットされた原稿を読み取る。また、原稿読取部１２は、画像形成装置１の本体部の上部に配設される。
原稿読取部１２は、スキャナーと、プラテンガラスと、原稿読取スリットとを備えている。原稿読取部１２は、プラテンガラスに載置された原稿を読み取る場合には、スキャナーをプラテンガラスに対向する位置に移動させ、プラテンガラスに載置された原稿を走査しながら読み取って画像データを取得し、取得した画像データを制御部１０に出力する。
原稿読取部１２は、スキャナーと、プラテンガラスと、原稿読取スリットとを備えている。原稿読取部１２は、プラテンガラスに載置された原稿を読み取る場合には、スキャナーをプラテンガラスに対向する位置に移動させ、プラテンガラスに載置された原稿を走査しながら読み取って画像データを取得し、取得した画像データを制御部１０に出力する。
また、原稿読取部１２は、原稿給送部１３から給送された原稿を読み取る場合には、スキャナーを、原稿読取スリットと対向する位置に移動させる。そして、原稿読取部１２は、原稿読取スリットを介し、原稿給送部１３による原稿の搬送動作と同期して原稿を読み取って、画像データを取得する。原稿読取部１２は、取得した画像データを、制御部１０に出力する。
原稿給送部１３は、原稿読取部１２で読み取られる原稿を搬送する。原稿給送部１３は、原稿読取部１２の上部に配設されている。
原稿給送部１３は、原稿載置部と、原稿搬送機構とを備えている。原稿給送部１３は、原稿載置部に載置された原稿を、原稿搬送機構によって１枚ずつ順に繰り出して、原稿読取部１２に給送する。
原稿給送部１３は、原稿載置部と、原稿搬送機構とを備えている。原稿給送部１３は、原稿載置部に載置された原稿を、原稿搬送機構によって１枚ずつ順に繰り出して、原稿読取部１２に給送する。
給紙部１４は、記録紙を１枚ずつ画像形成部１７に向けて繰り出す。給紙部１４は、本体部に備えられている。
ネットワーク送受信部１５は、ＬＡＮ、無線ＬＡＮ、ＷＡＮ、携帯電話網等の外部ネットワークに接続するためのＬＡＮボードや無線送受信機等を含むネットワーク接続部である。
ネットワーク送受信部１５は、データ通信用の回線ではデータを送受信し、音声電話回線では音声信号を送受信する。
ネットワーク送受信部１５は、データ通信用の回線ではデータを送受信し、音声電話回線では音声信号を送受信する。
操作パネル部１６は、ボタンやタッチパネル等の入力部と、ＬＣＤ(Liquid Crystal Display)や有機ＥＬディスプレイ等の表示部とを備えている。また、操作パネル部１６は、画像形成装置１のフロント側に配設されている。
操作パネル部１６の入力部のボタンは、テンキー、スタート、キャンセル、動作モードの切り換え、ジョブの実行に係る指示を行うボタン等である。この動作モードは、複写、ＦＡＸ送信、スキャナー、ネットワークスキャナー等の種類のモードを備えていてもよい。また、ジョブは、選択された文書の印刷、送信、保存、及び記録等を含んでいる。操作パネル部１６の入力部は、ユーザーによる画像形成装置１の各種ジョブの指示、ノート印刷の指示等を取得する。また、操作パネル部１６から取得したユーザーの指示により、各ユーザーの情報を入力、変更することも可能である。
操作パネル部１６の入力部のボタンは、テンキー、スタート、キャンセル、動作モードの切り換え、ジョブの実行に係る指示を行うボタン等である。この動作モードは、複写、ＦＡＸ送信、スキャナー、ネットワークスキャナー等の種類のモードを備えていてもよい。また、ジョブは、選択された文書の印刷、送信、保存、及び記録等を含んでいる。操作パネル部１６の入力部は、ユーザーによる画像形成装置１の各種ジョブの指示、ノート印刷の指示等を取得する。また、操作パネル部１６から取得したユーザーの指示により、各ユーザーの情報を入力、変更することも可能である。
また、操作パネル部１６は、記録媒体２を接続することも可能である。
記録媒体２は、複数の画像データ３００（図２）を含んでいる一時的でない記録媒体である。記録媒体２は、例えば、ＵＳＢ（Universal Serial Bus）等で接続されたＵＳＢメモリー、ＳＤカード、ＣＦカード、ｘＤカード、メモリースティック等の各種フラッシュメモリーカード、デジタルカメラ、ビデオカメラ、携帯電話、スマートフォン、タブレット、ＰＤＡ（Personal Data Assistant）、ＵＳＢ接続ＨＤＤ、ＲＦＩＤ（Radio Frequency IDentification）カード等であってもよい。これらは、例えば、ＵＳＢを介した有線、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣ（Near field Communication）等の無線により画像形成装置１と接続可能である。また、図示しないイントラネットやインターネット等のネットワークを介して、記録媒体２を接続することが可能であってもよい。この場合、記録媒体２は、いわゆる「クラウド」上で画像データ３００を格納するサービスにおけるユーザーのディレクトリー等であってもよい。
記録媒体２は、複数の画像データ３００（図２）を含んでいる一時的でない記録媒体である。記録媒体２は、例えば、ＵＳＢ（Universal Serial Bus）等で接続されたＵＳＢメモリー、ＳＤカード、ＣＦカード、ｘＤカード、メモリースティック等の各種フラッシュメモリーカード、デジタルカメラ、ビデオカメラ、携帯電話、スマートフォン、タブレット、ＰＤＡ（Personal Data Assistant）、ＵＳＢ接続ＨＤＤ、ＲＦＩＤ（Radio Frequency IDentification）カード等であってもよい。これらは、例えば、ＵＳＢを介した有線、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣ（Near field Communication）等の無線により画像形成装置１と接続可能である。また、図示しないイントラネットやインターネット等のネットワークを介して、記録媒体２を接続することが可能であってもよい。この場合、記録媒体２は、いわゆる「クラウド」上で画像データ３００を格納するサービスにおけるユーザーのディレクトリー等であってもよい。
画像形成部１７は、ユーザーの出力指示により、記録媒体２から取得され、記憶部１９に記憶され、原稿読取部１２で読み取られ、又は外部の端末から取得されたデータから記録紙への画像形成を行わせる。
画像形成部１７は、感光体ドラム、露光部、現像部、転写部、及び定着部等を備えている。画像形成部１７は、帯電、露光、現像、転写、定着からなる画像形成プロセスを実行することで記録紙にトナー像を記録する。
画像形成部１７は、感光体ドラム、露光部、現像部、転写部、及び定着部等を備えている。画像形成部１７は、帯電、露光、現像、転写、定着からなる画像形成プロセスを実行することで記録紙にトナー像を記録する。
ＦＡＸ送受信部１８は、ファクシミリの送受信を行う。ＦＡＸ送受信部１８は、音声回線により、他のＦＡＸ装置（図示せず）からファクシミリ受信して、記憶部１９に保存し、画像形成部１７で画像形成させることが可能である。また、ＦＡＸ送受信部１８は、原稿読取部１２で読み取られた原稿や外部の端末から送信されたネットワークＦＡＸのデータを画像データに変換して、他のＦＡＸ装置へ音声回線でファクシミリ送信することが可能である。
記憶部１９は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリーやＨＤＤ（Hard Disk Drive）等の一時的でない記録媒体である。
記憶部１９のＲＯＭやＨＤＤには画像形成装置１の動作制御を行うための制御プログラムが記憶されている。これに加えて、記憶部１９は、ユーザーのアカウント設定も記憶している。また、記憶部１９には、ユーザー毎の保存フォルダー（文書ボックス）の領域が含まれていてもよい。この文書ボックスに、記録媒体２や図示しないユーザーの端末から画像データ３００（図２）が転送されてもよい。
記憶部１９のＲＯＭやＨＤＤには画像形成装置１の動作制御を行うための制御プログラムが記憶されている。これに加えて、記憶部１９は、ユーザーのアカウント設定も記憶している。また、記憶部１９には、ユーザー毎の保存フォルダー（文書ボックス）の領域が含まれていてもよい。この文書ボックスに、記録媒体２や図示しないユーザーの端末から画像データ３００（図２）が転送されてもよい。
なお、画像形成装置１において、制御部１０及び画像処理部１１は、ＧＰＵ内蔵ＣＰＵ、チップ・オン・モジュールパッケージ、ＳＯＣ（System On a Chip）のように、一体的に形成されていてもよい。
また、制御部１０及び画像処理部１１は、ＲＡＭやＲＯＭやフラッシュメモリー等を内蔵していてもよい。
また、制御部１０及び画像処理部１１は、ＲＡＭやＲＯＭやフラッシュメモリー等を内蔵していてもよい。
〔画像形成装置１の機能構成〕
ここで、図２を参照し、本実施形態の画像形成装置１の機能構成について説明する。
画像形成装置１の制御部１０は、画像取得部１００、画像認識部１１０、及び出力データ選択部１２０を備えている。
記憶部１９は、画像データ３００、テンプレート画像３１０、閾値群３２０、出力画像データ３３０を記憶している。
ここで、図２を参照し、本実施形態の画像形成装置１の機能構成について説明する。
画像形成装置１の制御部１０は、画像取得部１００、画像認識部１１０、及び出力データ選択部１２０を備えている。
記憶部１９は、画像データ３００、テンプレート画像３１０、閾値群３２０、出力画像データ３３０を記憶している。
画像取得部１００は、記録媒体２を読み出し、格納されたデータから、指定された期間に撮像された複数の画像データ３００を取得し、記憶部１９に格納する。画像取得部１００は、例えば、画像データ３００を、タイムスタンプやタイムラインにより選択して取得してもよい。
画像認識部１１０は、画像取得部１００により取得された複数の画像データ３００を、撮像の時系列順に並べた際に前後に撮像された画像データ３００の同一性を認識する。つまり、画像認識部１１０は、画像データ３００間の同一性の割合の値を算出する。本実施形態において、この算出された同一性の割合の値は、比較する画像データ３００間において、差異が大きい場合に小さくなる。すなわち、比較した画像データ３００間が完全に異なっている場合には０％となり、逆に、まったく差異がない場合には１００％となる。
また、画像認識部１１０は、特定のテンプレート画像３１０と、複数の画像データ３００のそれぞれとの同一性を認識してもよい。
また、画像認識部１１０は、複数の画像データ３００において、分割された複数の面を認識してもよい。この場合、画像認識部１１０は、複数の面のそれぞれにおいて同一性を認識してもよい。
また、画像認識部１１０は、テンプレート画像３１０として認識された箇所内に、更にヒト又は物体がいることを認識してもよい。
また、画像認識部１１０は、複数の画像データ３００のそれぞれについてＯＣＲを行ってもよい。
また、画像認識部１１０は、特定のテンプレート画像３１０と、複数の画像データ３００のそれぞれとの同一性を認識してもよい。
また、画像認識部１１０は、複数の画像データ３００において、分割された複数の面を認識してもよい。この場合、画像認識部１１０は、複数の面のそれぞれにおいて同一性を認識してもよい。
また、画像認識部１１０は、テンプレート画像３１０として認識された箇所内に、更にヒト又は物体がいることを認識してもよい。
また、画像認識部１１０は、複数の画像データ３００のそれぞれについてＯＣＲを行ってもよい。
出力データ選択部１２０は、画像認識部１１０により同一性を認識された複数の画像データ３００から、特定の除外条件により、重複した画像データ３００、及び／又は適切でない画像データ３００を除外して、出力画像データ３３０を選択する。
また、出力データ選択部１２０は、複数の画像データ３００から、画像認識部１１０により認識された同一性の割合が、重複した画像データ３００を除外するための重複閾値３２１以上の画像データ３００については除外してもよい。また、出力データ選択部１２０は、画像認識部１１０により認識された同一性の割合が、重複閾値３２１未満の画像データ３００については、出力画像データ３３０として選択してもよい。また、出力データ選択部１２０は、画像認識部１１０により認識された同一性の割合が、重複閾値３２１より大きいものの、一部変更閾値３２２以下であった場合には、画像の情報量が少ない画像データ３００を除外し、情報量が多い画像データ３００を出力画像データ３３０として選択してもよい。
また、出力データ選択部１２０は、画像認識部１１０により、テンプレート画像３１０の少なくとも一部が認識できなかった画像データ３００を、適切でない画像データ３００として除外してもよい。
また、出力データ選択部１２０は、画像認識部１１０により、ヒト又は物体がいると認識された画像データ３００を、適切でない画像データ３００であるとして除外してもよい。
また、出力データ選択部１２０は、画像認識部１１０によるＯＣＲの認識率が認識閾値３２５未満の画像データ３００について、当該認識閾値３２５未満の画像データ３００の撮像時刻の前後特定期間に、認識閾値３２５以上の画像データ３００が存在した場合には、この認識閾値３２５未満の画像データ３００を除外してもよい。この前後特定期間としては、数秒〜数分程度の期間を指定してもよい。一方、出力データ選択部１２０は、認識閾値３２５以上の画像データ３００が存在しなかった場合には、その旨を出力時に通知してもよい。具体的には、出力データ選択部１２０は、この通知を、操作パネル部１６に対して行っても、外部記録媒体２のログとして出力しても、白紙ページを印刷することで行ってもよい。
また、出力データ選択部１２０は、画像認識部１１０により分割された複数の面が認識された場合、面のそれぞれにおいて、認識された同一性の割合が重複閾値３２１未満の面は除外してもよい。一方、出力データ選択部１２０は、認識された同一性の割合が重複閾値３２１以上の面の箇所は切り出して、出力画像データ３３０として選択してもよい。
また、出力データ選択部１２０は、複数の画像データ３００から、画像認識部１１０により認識された同一性の割合が、重複した画像データ３００を除外するための重複閾値３２１以上の画像データ３００については除外してもよい。また、出力データ選択部１２０は、画像認識部１１０により認識された同一性の割合が、重複閾値３２１未満の画像データ３００については、出力画像データ３３０として選択してもよい。また、出力データ選択部１２０は、画像認識部１１０により認識された同一性の割合が、重複閾値３２１より大きいものの、一部変更閾値３２２以下であった場合には、画像の情報量が少ない画像データ３００を除外し、情報量が多い画像データ３００を出力画像データ３３０として選択してもよい。
また、出力データ選択部１２０は、画像認識部１１０により、テンプレート画像３１０の少なくとも一部が認識できなかった画像データ３００を、適切でない画像データ３００として除外してもよい。
また、出力データ選択部１２０は、画像認識部１１０により、ヒト又は物体がいると認識された画像データ３００を、適切でない画像データ３００であるとして除外してもよい。
また、出力データ選択部１２０は、画像認識部１１０によるＯＣＲの認識率が認識閾値３２５未満の画像データ３００について、当該認識閾値３２５未満の画像データ３００の撮像時刻の前後特定期間に、認識閾値３２５以上の画像データ３００が存在した場合には、この認識閾値３２５未満の画像データ３００を除外してもよい。この前後特定期間としては、数秒〜数分程度の期間を指定してもよい。一方、出力データ選択部１２０は、認識閾値３２５以上の画像データ３００が存在しなかった場合には、その旨を出力時に通知してもよい。具体的には、出力データ選択部１２０は、この通知を、操作パネル部１６に対して行っても、外部記録媒体２のログとして出力しても、白紙ページを印刷することで行ってもよい。
また、出力データ選択部１２０は、画像認識部１１０により分割された複数の面が認識された場合、面のそれぞれにおいて、認識された同一性の割合が重複閾値３２１未満の面は除外してもよい。一方、出力データ選択部１２０は、認識された同一性の割合が重複閾値３２１以上の面の箇所は切り出して、出力画像データ３３０として選択してもよい。
また、本実施形態において、操作パネル部１６は、記録媒体２と接続され、ユーザーからのノート印刷等による出力の指示を取得する。
また、画像形成部１７は、記録媒体２から取得され、出力データ選択部１２０により選択された出力画像データ３３０を画像形成する。
画像データ３００は、記録媒体２から選択された複数の画像データである。画像データ３００は、ユーザーにより撮像された黒板等の画像であってもよい。また、画像データ３００は、教師や講師等により、記載が追記、更新されたものをユーザーが撮像したものであってもよい。また、画像データ３００は、投影されたスライド等の一枚一枚に対応したもの、又は、プロジェクターやＯＨＰシート上で記載が加えられたものであってもよい。また、画像データ３００は、例えば、一般的なｊｐｅｇ等の画像であってもよい。また、各種コンテナに格納された動画像データであってもよい。この場合、画像データ３００は、ｍｏｖや３ｇｐやｈ．２６４やｈ．２６５等のフォーマットのデータであってもよい。また、画像データ３００として、動画像データから、特定の間隔で、フレーム画像として画像データ３００を取得可能であってもよい。
また、画像データ３００は、文字、絵、図等を含んでいてもよい。この文字は、教師や講師等による手書き文字であってもよい。また、これらの文字、絵、図等は、黒板等内に記載されてもよい。
また、画像データ３００は、文字、絵、図等を含んでいてもよい。この文字は、教師や講師等による手書き文字であってもよい。また、これらの文字、絵、図等は、黒板等内に記載されてもよい。
テンプレート画像３１０は、「テンプレート」として比較するための画像データである。テンプレート画像３１０は、例えば、記録媒体２に格納された画像データ、又は取得された画像データ３００から選択された、例えば、講義開始前や後の黒板等の画像であってもよい。この場合、テンプレート画像３１０内の黒板等には、何も記載されておらず、ヒトや物体等が映り込んでいないことが好適である。また、テンプレート画像３１０として、画像データそのものではなく、黒板等の輪郭や特徴量等が抽出されたデータを用いてもよい。また、テンプレート画像３１０として、取得された画像データ３００が平均化された画像データを用いたり、黒板等の画像を平均化したものを用いたりしてもよい。また、テンプレート画像３１０は、ユーザーに指定させず、あらかじめ記憶部１９に格納しておいた画像データを用いてもよい。
閾値群３２０は、出力データ選択部１２０により画像データ３００を除外するか出力画像データ３３０として選択するかについての特定の除外条件となる複数の閾値（パラメーター）群である。
閾値群３２０の詳細については後述する。
閾値群３２０の詳細については後述する。
出力画像データ３３０は、画像データ３００から選択されて、ノート等として出力される画像データを含むファイル等である。出力画像データ３３０は、ｊｐｅｇやビットマップ等の複数の画像データや、これがアーカイブ等されたものであってもよい。また、出力画像データ３３０は、ＰＤＦやＰＳや「．ｄｏｃｘ」ファイルやｅＰＵＢファイル等（以下、「ＰＤＦ等」という。）のように電子文書化されたデータであってもよい。また、出力画像データ３３０は、動画像データやプレゼンテーション用のファイルであってもよい。
ここで、図３により、図２に示す閾値群３２０の詳細について説明する。
本実施形態において、閾値群３２０は、重複閾値３２１、一部変更閾値３２２、テンプレート閾値３２３、ヒト物体閾値３２４、及び認識閾値３２５を含んでいる。
重複閾値３２１は、画像認識部１１０により認識された同一性の割合が、重複した画像データ３００を除外するための閾値である。重複閾値３２１は、例えば、同一性の割合が９０％以上である等の値に設定可能である。
一部変更閾値３２２は、重複閾値３２１より大きく設定された、同一性の割合の閾値である。一部変更閾値３２２は、前後で一部更新された際に、この更新された「情報量が多い」画像データ３００を出力画像データ３３０として選択するために用いる。一部変更閾値３２２は、例えば、同一性の割合が７０〜９０％である等の値に設定可能である。
テンプレート閾値３２３は、テンプレート画像３１０の少なくとも一部を認識できなかったことを判断するための閾値である。テンプレート閾値３２３は、例えば、テンプレート画像３１０の５〜２０％程度が認識できなかったことを示す値等に設定可能である。
ヒト物体閾値３２４は、ヒト又は物体がいると認識されることを判断するための閾値である。このヒト物体閾値３２４は、画像認識部１１０のヒト又は物体を認識する認識エンジン等が出力した認識の確からしさの値に対応して、例えば、３０〜８０％程度の値等に設定可能である。
認識閾値３２５は、ＯＣＲの認識率の閾値である。認識閾値３２５として、例えば、文字のエリアと認識した箇所における、実際の文字認識の確からしさの値に対応して、４０〜９０％程度の値等に設定可能である。
本実施形態において、閾値群３２０は、重複閾値３２１、一部変更閾値３２２、テンプレート閾値３２３、ヒト物体閾値３２４、及び認識閾値３２５を含んでいる。
重複閾値３２１は、画像認識部１１０により認識された同一性の割合が、重複した画像データ３００を除外するための閾値である。重複閾値３２１は、例えば、同一性の割合が９０％以上である等の値に設定可能である。
一部変更閾値３２２は、重複閾値３２１より大きく設定された、同一性の割合の閾値である。一部変更閾値３２２は、前後で一部更新された際に、この更新された「情報量が多い」画像データ３００を出力画像データ３３０として選択するために用いる。一部変更閾値３２２は、例えば、同一性の割合が７０〜９０％である等の値に設定可能である。
テンプレート閾値３２３は、テンプレート画像３１０の少なくとも一部を認識できなかったことを判断するための閾値である。テンプレート閾値３２３は、例えば、テンプレート画像３１０の５〜２０％程度が認識できなかったことを示す値等に設定可能である。
ヒト物体閾値３２４は、ヒト又は物体がいると認識されることを判断するための閾値である。このヒト物体閾値３２４は、画像認識部１１０のヒト又は物体を認識する認識エンジン等が出力した認識の確からしさの値に対応して、例えば、３０〜８０％程度の値等に設定可能である。
認識閾値３２５は、ＯＣＲの認識率の閾値である。認識閾値３２５として、例えば、文字のエリアと認識した箇所における、実際の文字認識の確からしさの値に対応して、４０〜９０％程度の値等に設定可能である。
ここで、画像形成装置１の制御部１０は、記憶部１９に記憶された制御プログラムを実行することで、画像取得部１００、画像認識部１１０、及び出力データ選択部１２０として機能させられる。
また、上述の画像形成装置１の各部は、本実施形態の画像選択方法を実行するハードウェア資源となる。
なお、上述の機能構成の一部又は任意の組み合わせをＩＣやプログラマブルロジックやＦＰＧＡ（Field-Programmable Gate Array）等でハードウェア的に構成してもよい。
また、上述の画像形成装置１の各部は、本実施形態の画像選択方法を実行するハードウェア資源となる。
なお、上述の機能構成の一部又は任意の組み合わせをＩＣやプログラマブルロジックやＦＰＧＡ（Field-Programmable Gate Array）等でハードウェア的に構成してもよい。
〔画像形成装置１による画像選択出力処理〕
次に、図４〜図８を参照して、本発明の実施の形態に係る画像形成装置１による画像選択出力処理の説明を行う。
本実施形態の画像選択出力処理では、まず、指定された期間に撮像された複数の画像データ３００を取得する。また、取得された複数の画像データ３００を、撮像の時系列順に並べた際の同一性を認識する。次に、同一性を認識された複数の画像データ３００から、特定の除外条件により、重複した画像データ３００、及び／又は適切でない画像データ３００を除外して、出力画像データ３３０を選択する。選択された出力画像データ３３０は、画像形成部で画像形成される。
本実施形態の画像選択出力処理は、主に制御部１０が、記憶部１９に記憶されたプログラムを、各部と協働し、ハードウェア資源を用いて実行する。
以下で、図４のフローチャートを参照して、画像選択出力処理の詳細をステップ毎に説明する。
次に、図４〜図８を参照して、本発明の実施の形態に係る画像形成装置１による画像選択出力処理の説明を行う。
本実施形態の画像選択出力処理では、まず、指定された期間に撮像された複数の画像データ３００を取得する。また、取得された複数の画像データ３００を、撮像の時系列順に並べた際の同一性を認識する。次に、同一性を認識された複数の画像データ３００から、特定の除外条件により、重複した画像データ３００、及び／又は適切でない画像データ３００を除外して、出力画像データ３３０を選択する。選択された出力画像データ３３０は、画像形成部で画像形成される。
本実施形態の画像選択出力処理は、主に制御部１０が、記憶部１９に記憶されたプログラムを、各部と協働し、ハードウェア資源を用いて実行する。
以下で、図４のフローチャートを参照して、画像選択出力処理の詳細をステップ毎に説明する。
（ステップＳ１０１）
まず、画像取得部１００が、画像データ群取得処理を行う。
ここでは、ユーザーが記録媒体２を画像形成装置１の操作パネル部１６に接続し、タッチパネル等から「ノート印刷」等の指示を行う。
すると、画像取得部１００は、記録媒体２を読み出して、格納された画像データを検索する。そして、画像取得部１００は、ユーザーに、どの期間の画像を印刷するのかについて指定させる。この期間の指定は、月日指定の後、授業や講義等の時刻に合わせて、この開始時刻から〜分のように、終了までの時刻の範囲を指定させることが可能である。また、開始時刻と終了時刻とを直接、指定させることも可能である。このように、開始時刻の指定を行い、時刻の範囲の指定を行うことで、出力対象となる画像データを自動的に絞り込むことが可能となる。
画像取得部１００は、記録媒体２から、各画像データの撮影時刻のタイムスタンプ等を検索し、ユーザーに指定された期間に撮像された画像データを読み出して取得する。画像取得部１００は、取得された画像データ３００を、一時的に記憶部１９に格納する。
まず、画像取得部１００が、画像データ群取得処理を行う。
ここでは、ユーザーが記録媒体２を画像形成装置１の操作パネル部１６に接続し、タッチパネル等から「ノート印刷」等の指示を行う。
すると、画像取得部１００は、記録媒体２を読み出して、格納された画像データを検索する。そして、画像取得部１００は、ユーザーに、どの期間の画像を印刷するのかについて指定させる。この期間の指定は、月日指定の後、授業や講義等の時刻に合わせて、この開始時刻から〜分のように、終了までの時刻の範囲を指定させることが可能である。また、開始時刻と終了時刻とを直接、指定させることも可能である。このように、開始時刻の指定を行い、時刻の範囲の指定を行うことで、出力対象となる画像データを自動的に絞り込むことが可能となる。
画像取得部１００は、記録媒体２から、各画像データの撮影時刻のタイムスタンプ等を検索し、ユーザーに指定された期間に撮像された画像データを読み出して取得する。画像取得部１００は、取得された画像データ３００を、一時的に記憶部１９に格納する。
また、画像取得部１００は、ユーザーにテンプレート画像３１０を指定させてもよい。この際、画像取得部１００は、「何も書かれていない黒板等の画像を指定して下さい」等と操作パネル部１６の表示部に表示して、ユーザーに指定させてもよい。また、画像取得部１００は、テンプレート画像３１０の候補として、開始時刻又は終了時刻の直前又は直後に撮像された画像データ３００を操作パネル部１６に表示し、ユーザーに確認して指定させてもよい。また、画像取得部１００は、指定された期間の画像データ３００を平均化してテンプレート画像３１０を作成し、これを表示してユーザーに確認して指定させてもよい。また、画像取得部１００は、黒板等が複数の面に分割されている場合に、これをテンプレート画像３１０中で指定させてもよい。
画像取得部１００は、指定されたテンプレート画像３１０を記憶部１９に、一時的に格納する。
画像取得部１００は、指定されたテンプレート画像３１０を記憶部１９に、一時的に格納する。
（ステップＳ１０２）
次に、画像認識部１１０が、画像認識処理を行う。
まず、画像認識部１１０は、画像取得部１００により取得され、記憶部１９に格納された複数の画像データ３００のそれぞれについて、タイムスタンプやタイムライン等を取得して、撮像の時系列順にソートする。
この上で、画像認識部１１０は、時系列の前後で画像の同一性の割合を算出する。この際、画像認識部１１０は、例えば、同一性を比較する前後の画像データ３００において、各ピクセル単位でＲＧＢの明度差の絶対値等を加算して算出する微分処理を行い、この合計値を画像の総ピクセル数で割って、同一性の割合を算出してもよい。また、画像認識部１１０は、各画像データ３００を回転、拡大、縮小等したり、レンズの物理モデルを用いて補正したりして、最も大きな同一性の割合を算出可能である。これらの計算を行う際に、画像認識部１１０は、画像処理部１１やＧＰＵやベクトル演算器等を用いて高速に処理してもよい。
次に、画像認識部１１０が、画像認識処理を行う。
まず、画像認識部１１０は、画像取得部１００により取得され、記憶部１９に格納された複数の画像データ３００のそれぞれについて、タイムスタンプやタイムライン等を取得して、撮像の時系列順にソートする。
この上で、画像認識部１１０は、時系列の前後で画像の同一性の割合を算出する。この際、画像認識部１１０は、例えば、同一性を比較する前後の画像データ３００において、各ピクセル単位でＲＧＢの明度差の絶対値等を加算して算出する微分処理を行い、この合計値を画像の総ピクセル数で割って、同一性の割合を算出してもよい。また、画像認識部１１０は、各画像データ３００を回転、拡大、縮小等したり、レンズの物理モデルを用いて補正したりして、最も大きな同一性の割合を算出可能である。これらの計算を行う際に、画像認識部１１０は、画像処理部１１やＧＰＵやベクトル演算器等を用いて高速に処理してもよい。
また、画像認識部１１０は、テンプレート画像３１０がある場合には、このテンプレート画像３１０と、同一性を比較する画像データ３００のそれぞれとの同一性の割合を算出してもよい。
さらに、画像認識部１１０は、テンプレート画像３１０として認識された箇所内に、ヒト又は物体がいることを認識して、認識の確からしさの値を出力してもよい。この認識は、畳み込みニューラルネットや各種画像認識エンジンを用いて行ってもよい。
また、画像認識部１１０は、複数の画像データ３００のそれぞれについてＯＣＲを行って、認識の確からしさの値と文字列等とを出力してもよい。
また、画像認識部１１０は、黒板等を認識したり、テンプレート画像３１０の指定に基づいたりして、分割された複数の面があることを認識してもよい。この場合、本実施形態において、画像認識部１１０は、後述するように、複数の面のそれぞれにおいて同一性の割合を算出する。
画像認識部１１０は、この算出された同一性の割合、各認識の確からしさの値、文字列等を認識の判断データとして、出力データ選択部１２０へ出力する。
さらに、画像認識部１１０は、テンプレート画像３１０として認識された箇所内に、ヒト又は物体がいることを認識して、認識の確からしさの値を出力してもよい。この認識は、畳み込みニューラルネットや各種画像認識エンジンを用いて行ってもよい。
また、画像認識部１１０は、複数の画像データ３００のそれぞれについてＯＣＲを行って、認識の確からしさの値と文字列等とを出力してもよい。
また、画像認識部１１０は、黒板等を認識したり、テンプレート画像３１０の指定に基づいたりして、分割された複数の面があることを認識してもよい。この場合、本実施形態において、画像認識部１１０は、後述するように、複数の面のそれぞれにおいて同一性の割合を算出する。
画像認識部１１０は、この算出された同一性の割合、各認識の確からしさの値、文字列等を認識の判断データとして、出力データ選択部１２０へ出力する。
（ステップＳ１０３）
次に、出力データ選択部１２０が、閾値判断処理を行う。
出力データ選択部１２０は、画像認識部１１０により取得した各認識の判断データに基づいて、認識された各画像データ３００について、重複しているか及び／又は適切でないかを、閾値群３２０の各閾値を用いて判断する。これにより、出力データ選択部１２０は、この画像データ３００を除外するか、出力するかを選択する。
次に、出力データ選択部１２０が、閾値判断処理を行う。
出力データ選択部１２０は、画像認識部１１０により取得した各認識の判断データに基づいて、認識された各画像データ３００について、重複しているか及び／又は適切でないかを、閾値群３２０の各閾値を用いて判断する。これにより、出力データ選択部１２０は、この画像データ３００を除外するか、出力するかを選択する。
ここで、図５〜図８を参照して、除外又は出力の判断の例について説明する。
［複数の面の重複する画像の除外］
図５により、画像認識部１１０により分割された複数の面が認識された場合、つまり、黒板等に複数の面がある場合における重複する画像データ３００の除外の例について説明する。黒板等は有限資源のため、記載されては消されることを繰り返す。黒板が複数面あったとして、撮影時にはその複数面が一つの画像に含まれるような場合には、前に撮像された画像データ３００と比較する。そして、一つの面が同様の内容であった場合には、出力データ選択部１２０は、当該面について、重複を避けるために出力画像データ３３０には選択せず、除外する。
図５（ａ）は、黒板が左右の二面、面Ａと面Ｂがある場合のテンプレート画像３１０ａの例を示している。図５（ｂ）は、この場合において、面Ａ、面Ｂの順に使用され、その後、面Ａが消去され新たな内容が記載された際の画像データ３００ａが撮像順に並べられた例を示している。出力データ選択部１２０は、時系列順で一つ前の画像データ３００と比較し、これら面Ａ、面Ｂにおいて、認識された同一性の割合が重複閾値３２１以上となった面は除外してもよい。一方、出力データ選択部１２０は、認識された同一性の割合が重複閾値３２１未満の面を検出して、出力画像データ３３０ａとして選択する。この際に、出力データ選択部１２０は、この面の箇所を切り出して、出力画像データ３３０ａとして選択する。
図５により、画像認識部１１０により分割された複数の面が認識された場合、つまり、黒板等に複数の面がある場合における重複する画像データ３００の除外の例について説明する。黒板等は有限資源のため、記載されては消されることを繰り返す。黒板が複数面あったとして、撮影時にはその複数面が一つの画像に含まれるような場合には、前に撮像された画像データ３００と比較する。そして、一つの面が同様の内容であった場合には、出力データ選択部１２０は、当該面について、重複を避けるために出力画像データ３３０には選択せず、除外する。
図５（ａ）は、黒板が左右の二面、面Ａと面Ｂがある場合のテンプレート画像３１０ａの例を示している。図５（ｂ）は、この場合において、面Ａ、面Ｂの順に使用され、その後、面Ａが消去され新たな内容が記載された際の画像データ３００ａが撮像順に並べられた例を示している。出力データ選択部１２０は、時系列順で一つ前の画像データ３００と比較し、これら面Ａ、面Ｂにおいて、認識された同一性の割合が重複閾値３２１以上となった面は除外してもよい。一方、出力データ選択部１２０は、認識された同一性の割合が重複閾値３２１未満の面を検出して、出力画像データ３３０ａとして選択する。この際に、出力データ選択部１２０は、この面の箇所を切り出して、出力画像データ３３０ａとして選択する。
［複数の面の内容の一部更新］
図６により、内容の一部更新による出力画像データ３３０の除外の例について説明する。この例は、図５と同様に画像データ３００ｂにおいて、複数の面が認識された場合に、各面に対する処理について説明する。図６において、各面のいずれかについて、前回に撮像した内容に後から追加され、同一性の割合が重複閾値３２１以上であるものの、一部変更閾値３２２以下になった場合、内容の追加があったとして出力画像データ３３０を差し換える。すなわち、出力データ選択部１２０は、前回に撮像した面の画像データのうち、「画像の情報量が少ない」ものを削除し、内容の追加があった面を「情報量が多い」として切り出し、出力画像データ３３０ｂとして選択する。
図６により、内容の一部更新による出力画像データ３３０の除外の例について説明する。この例は、図５と同様に画像データ３００ｂにおいて、複数の面が認識された場合に、各面に対する処理について説明する。図６において、各面のいずれかについて、前回に撮像した内容に後から追加され、同一性の割合が重複閾値３２１以上であるものの、一部変更閾値３２２以下になった場合、内容の追加があったとして出力画像データ３３０を差し換える。すなわち、出力データ選択部１２０は、前回に撮像した面の画像データのうち、「画像の情報量が少ない」ものを削除し、内容の追加があった面を「情報量が多い」として切り出し、出力画像データ３３０ｂとして選択する。
［不適当な画像データ３００の除外］
図７及び図８により、指定された期間の画像データ３００中に、ノート印刷等にそぐわない画像が含まれていた場合、その画像データ３００を出力画像データ３３０から除外する例について説明する。
図７及び図８により、指定された期間の画像データ３００中に、ノート印刷等にそぐわない画像が含まれていた場合、その画像データ３００を出力画像データ３３０から除外する例について説明する。
図７（ａ）は、あらかじめ黒板等を撮像したテンプレート画像３１０ｃをユーザーに指定させた例を示す。この例において、出力データ選択部１２０は、テンプレート画像３１０ｃとの同一性の割合で、除外又は出力を判断する。同一性の割合が著しく低い場合には対象外とする。具体的には、出力データ選択部１２０は、テンプレート画像３１０ｃの少なくとも一部が認識できなかった画像データ３００を、適切でない画像データ３００として除外する。つまり、出力データ選択部１２０は、指定された期間内の画像データ３００であっても、黒板等を撮像しておらず、例えば、足下、天井、窓の外の風景が撮像されたような画像データ３００は除外する。
図７（ｂ）は、撮像に失敗した画像の例として、教師や講師等が映り込んで黒板の記載内容を確認できない画像データ３００ｃを示す。この場合、出力データ選択部１２０は、ヒトがいると認識された画像データ３００ｃを、適切でない画像データとして除外する。逆に、出力データ選択部１２０は、教師や講師等が映り込んでおらず、ヒトが認識されていない画像データ３００を、出力画像データ３３０ｃとして選択する。
図７（ｂ）は、撮像に失敗した画像の例として、教師や講師等が映り込んで黒板の記載内容を確認できない画像データ３００ｃを示す。この場合、出力データ選択部１２０は、ヒトがいると認識された画像データ３００ｃを、適切でない画像データとして除外する。逆に、出力データ選択部１２０は、教師や講師等が映り込んでおらず、ヒトが認識されていない画像データ３００を、出力画像データ３３０ｃとして選択する。
図８（ａ）は、黒板を撮影してはいるものの、焦点があっておらずピントがずれて撮影されたブレ画像として、ノート印刷に不適当だと考えられる画像データ３００ｄも除外する例を示す。この場合、ＯＣＲにて文字として認識できないため、ＯＣＲの認識率が認識閾値３２５未満となる。出力データ選択部１２０は、このような画像データ３００ｄは、ノイズ画像であるとして除外する。
図８（ｂ）によると、識閾値未満の画像データ３００ｄの撮像時刻の前後特定期間に、認識閾値３２５以上の画像データ３００が存在した場合には、ユーザーがブレを認識して再撮影していると判断できる。このため、出力データ選択部１２０は、この認識閾値３２５以上の画像データ３００を、出力画像データ３３０ｄとして選択する。
また、出力データ選択部１２０は、この前後特定期間に、認識閾値３２５以上の画像データ３００が存在しなかった場合には、その旨を出力時に通知する。これは、撮像された画像がブレ画像になっていることにユーザー本人が気づいていない可能性が考えられるためである。そのような場合には、出力データ選択部１２０は、確認のために操作パネル部１６に警告の通知を行うか、又は、白紙ページを挿入する。これにより、後日、ユーザーが該当部分を手書きで補間する等できるようにすることができる。
図８（ｂ）によると、識閾値未満の画像データ３００ｄの撮像時刻の前後特定期間に、認識閾値３２５以上の画像データ３００が存在した場合には、ユーザーがブレを認識して再撮影していると判断できる。このため、出力データ選択部１２０は、この認識閾値３２５以上の画像データ３００を、出力画像データ３３０ｄとして選択する。
また、出力データ選択部１２０は、この前後特定期間に、認識閾値３２５以上の画像データ３００が存在しなかった場合には、その旨を出力時に通知する。これは、撮像された画像がブレ画像になっていることにユーザー本人が気づいていない可能性が考えられるためである。そのような場合には、出力データ選択部１２０は、確認のために操作パネル部１６に警告の通知を行うか、又は、白紙ページを挿入する。これにより、後日、ユーザーが該当部分を手書きで補間する等できるようにすることができる。
（ステップＳ１０４）
次に、出力データ選択部１２０が、画像データ３００が出力されるよう選択されたか否かを判定する。出力データ選択部１２０は、上述の閾値判断処理において、認識された画像データ３００が除外されず、出力すると判断された場合に、Ｙｅｓと判定する。出力データ選択部１２０は、この画像データ３００を除外すると判断された場合には、Ｎｏと判定する。
Ｙｅｓの場合、出力データ選択部１２０は、処理をステップＳ１０５に進める。
Ｎｏの場合、出力データ選択部１２０は、処理をステップＳ１０６に進める。
次に、出力データ選択部１２０が、画像データ３００が出力されるよう選択されたか否かを判定する。出力データ選択部１２０は、上述の閾値判断処理において、認識された画像データ３００が除外されず、出力すると判断された場合に、Ｙｅｓと判定する。出力データ選択部１２０は、この画像データ３００を除外すると判断された場合には、Ｎｏと判定する。
Ｙｅｓの場合、出力データ選択部１２０は、処理をステップＳ１０５に進める。
Ｎｏの場合、出力データ選択部１２０は、処理をステップＳ１０６に進める。
（ステップＳ１０５）
画像データ３００が出力すると選択された場合、出力データ選択部１２０が、出力データ選択処理を行う。出力データ選択部１２０は、この画像データ３００を出力画像データ３３０として、記憶部１９に格納する。
画像データ３００が出力すると選択された場合、出力データ選択部１２０が、出力データ選択処理を行う。出力データ選択部１２０は、この画像データ３００を出力画像データ３３０として、記憶部１９に格納する。
（ステップＳ１０６）
ここで、出力データ選択部１２０が、全ての画像データ３００の選択が終了したか否かを判定する。出力データ選択部１２０は、記録媒体２から取得された全ての画像データ３００について、除外されるか、出力画像データ３３０として選択されるかした場合に、Ｙｅｓと判定する。出力データ選択部１２０は、まだ除外又は出力の選択が終了していない場合には、Ｎｏと判定する。
Ｙｅｓの場合、出力データ選択部１２０は、処理をステップＳ１０７に進める。
Ｎｏの場合、出力データ選択部１２０は、処理をステップＳ１０２に戻して、残りの画像データ３００についての除外又は出力の選択を進める。
ここで、出力データ選択部１２０が、全ての画像データ３００の選択が終了したか否かを判定する。出力データ選択部１２０は、記録媒体２から取得された全ての画像データ３００について、除外されるか、出力画像データ３３０として選択されるかした場合に、Ｙｅｓと判定する。出力データ選択部１２０は、まだ除外又は出力の選択が終了していない場合には、Ｎｏと判定する。
Ｙｅｓの場合、出力データ選択部１２０は、処理をステップＳ１０７に進める。
Ｎｏの場合、出力データ選択部１２０は、処理をステップＳ１０２に戻して、残りの画像データ３００についての除外又は出力の選択を進める。
（ステップＳ１０７）
全ての画像データ３００について、除外又は出力の選択が終了した場合、画像形成部１７が、出力データ出力処理を行う。
画像形成部１７は、記憶部１９に格納された出力画像データ３３０を、記録紙に画像形成して出力する。
また、制御部１０により、ユーザーの文書ボックスやクラウドのサービスや記録媒体２に、出力画像データ３３０を格納してもよい。この際に、出力画像データ３３０は、ＰＤＦ等で電子文書化されてもよい。
以上により、本発明の実施の形態に係る画像選択出力処理を終了する。
全ての画像データ３００について、除外又は出力の選択が終了した場合、画像形成部１７が、出力データ出力処理を行う。
画像形成部１７は、記憶部１９に格納された出力画像データ３３０を、記録紙に画像形成して出力する。
また、制御部１０により、ユーザーの文書ボックスやクラウドのサービスや記録媒体２に、出力画像データ３３０を格納してもよい。この際に、出力画像データ３３０は、ＰＤＦ等で電子文書化されてもよい。
以上により、本発明の実施の形態に係る画像選択出力処理を終了する。
以上のように構成することで、以下のような効果を得ることができる。
従来、スマートフォン等の普及により、大学等で学生が黒板の内容をノートに記載する代わりに、撮像することがあった。しかしながら、特許文献１の技術では、撮像された画像中に重複した画像があっても、そのまま出力されてしまっていた。このため、ユーザーがどの画像を出力するか、手動で選択する必要があった。
これに対して、本発明の実施の形態に係る画像形成装置１は、指定された期間に撮像された複数の画像データ３００を取得する画像取得部１００と、画像取得部１００により取得された複数の画像データ３００を、撮像の時系列順に並べた際の同一性を認識する画像認識部１１０と、画像認識部１１０により同一性を認識された複数の画像データ３００から、特定の除外条件により、重複した画像データ３００、及び／又は適切でない画像データ３００を除外して、出力画像データ３３０を選択する出力データ選択部１２０とを備えることを特徴とする情報処理装置である。
このように構成することで、まず、画像取得部１００により、開始時刻と時刻範囲により期間を指定して、必要な画像データ３００を取得することが可能となる。つまり、撮像した画像をノートやルーズリーフ等へ出力する場合、開始時刻と範囲時刻を指定することで、その範囲時刻内のタイムスタンプを持つ画像を自動的に取得可能となる。たとえば、「ＡＭ８：４５から９０分以内に撮影された画像」を一講義内で撮影された画像として取得できる。これに加えて、本実施形態では、時系列順に並べた上で、撮像内容によっては、撮りなおし等で同じ内容が含まれることもあるため、これを特定の除外条件で除外し、必要なもの出力画像データ３３０として自動で選択することができる。
従来、スマートフォン等の普及により、大学等で学生が黒板の内容をノートに記載する代わりに、撮像することがあった。しかしながら、特許文献１の技術では、撮像された画像中に重複した画像があっても、そのまま出力されてしまっていた。このため、ユーザーがどの画像を出力するか、手動で選択する必要があった。
これに対して、本発明の実施の形態に係る画像形成装置１は、指定された期間に撮像された複数の画像データ３００を取得する画像取得部１００と、画像取得部１００により取得された複数の画像データ３００を、撮像の時系列順に並べた際の同一性を認識する画像認識部１１０と、画像認識部１１０により同一性を認識された複数の画像データ３００から、特定の除外条件により、重複した画像データ３００、及び／又は適切でない画像データ３００を除外して、出力画像データ３３０を選択する出力データ選択部１２０とを備えることを特徴とする情報処理装置である。
このように構成することで、まず、画像取得部１００により、開始時刻と時刻範囲により期間を指定して、必要な画像データ３００を取得することが可能となる。つまり、撮像した画像をノートやルーズリーフ等へ出力する場合、開始時刻と範囲時刻を指定することで、その範囲時刻内のタイムスタンプを持つ画像を自動的に取得可能となる。たとえば、「ＡＭ８：４５から９０分以内に撮影された画像」を一講義内で撮影された画像として取得できる。これに加えて、本実施形態では、時系列順に並べた上で、撮像内容によっては、撮りなおし等で同じ内容が含まれることもあるため、これを特定の除外条件で除外し、必要なもの出力画像データ３３０として自動で選択することができる。
また、本発明の実施の形態に係る画像形成装置１は、出力データ選択部１２０は、複数の画像データ３００から、画像認識部１１０により認識された同一性の割合が、重複した画像データ３００を除外するための重複閾値３２１以上の画像データ３００については除外し、重複閾値３２１未満の画像データ３００については出力画像データ３３０として選択し、更に、同一性の割合が重複閾値３２１より大きい一部変更閾値３２２以下であった場合には、画像の情報量が少ない画像データ３００を除外し、情報量が多い画像データ３００を出力画像データ３３０として選択することを特徴とする。
このように構成することで、特定の除外条件として、重複した画像データ３００を確実に除外することができる。また、重複していても、一部追記されたような画像データ３００については、追記された方の画像データ３００を出力画像データ３３０として選択することが可能となる。
このように構成することで、特定の除外条件として、重複した画像データ３００を確実に除外することができる。また、重複していても、一部追記されたような画像データ３００については、追記された方の画像データ３００を出力画像データ３３０として選択することが可能となる。
また、黒板等は有限資源のため、書かれては消されることを繰り返す。この際に、複数の面に分かれた黒板等では、教師や講師は、通常、面毎に更新していた。このため、各面についてのみ更新されたものをそのまま印刷すると、面の画像が重複して印刷されることがあり、資源の無駄となっていた。
これに対して、本発明の実施の形態に係る画像形成装置１は、画像認識部１１０は、複数の画像データ３００において、分割された複数の面を認識した場合、複数の面のそれぞれにおいて同一性を認識し、出力データ選択部１２０は、面のそれぞれにおいて、画像認識部１１０により認識された同一性の割合が重複閾値３２１未満の面は除外しつつ、重複閾値３２１以上の面の箇所は切り出して、出力画像データ３３０として選択することを特徴とする。
このように構成することで、黒板が複数面ありその複数面が一つの画像データ３００に含まれるような場合には、同様の内容であった面は既に撮像済みと判断し、重複を避けるために除外することが可能となる。このため、必要な画像データ３００のみ出力可能となる。また、面の部分を切り取ることで、結果として出力画像データ３３０を大きく印刷でき、視認性を高めることができる。
これに対して、本発明の実施の形態に係る画像形成装置１は、画像認識部１１０は、複数の画像データ３００において、分割された複数の面を認識した場合、複数の面のそれぞれにおいて同一性を認識し、出力データ選択部１２０は、面のそれぞれにおいて、画像認識部１１０により認識された同一性の割合が重複閾値３２１未満の面は除外しつつ、重複閾値３２１以上の面の箇所は切り出して、出力画像データ３３０として選択することを特徴とする。
このように構成することで、黒板が複数面ありその複数面が一つの画像データ３００に含まれるような場合には、同様の内容であった面は既に撮像済みと判断し、重複を避けるために除外することが可能となる。このため、必要な画像データ３００のみ出力可能となる。また、面の部分を切り取ることで、結果として出力画像データ３３０を大きく印刷でき、視認性を高めることができる。
また、本発明の実施の形態に係る画像形成装置１は、画像認識部１１０は、特定のテンプレート画像３１０と、複数の画像データ３００のそれぞれとの同一性を認識し、出力データ選択部１２０は、テンプレート画像３１０の少なくとも一部が認識できなかった画像データ３００を、適切でない画像データ３００として除外することを特徴とする。
このように構成することで、黒板等のテンプレート画像３１０と比較して、記載内容の変化により出力画像データ３３０を抽出可能となる。また、テンプレート画像３１０を減算することで、記載された内容のみ出力し、ＯＣＲ等するような構成も可能となる。
このように構成することで、黒板等のテンプレート画像３１０と比較して、記載内容の変化により出力画像データ３３０を抽出可能となる。また、テンプレート画像３１０を減算することで、記載された内容のみ出力し、ＯＣＲ等するような構成も可能となる。
また、本発明の実施の形態に係る画像形成装置１は、画像認識部１１０は、テンプレート画像３１０として認識された箇所内に、更にヒト又は物体がいることを認識し、出力データ選択部１２０は、ヒト又は物体がいると認識された画像データ３００を、適切でない画像データ３００として除外することを特徴とする。
このように構成することで、教師や講師等が撮像されていたり、物体の通過等で遮られたりした画像データ３００を除外することが可能となる。
このように構成することで、教師や講師等が撮像されていたり、物体の通過等で遮られたりした画像データ３００を除外することが可能となる。
また、本発明の実施の形態に係る画像形成装置１は、画像認識部１１０は、複数の画像データ３００のそれぞれについてＯＣＲを行い、出力データ選択部１２０は、ＯＣＲの認識率が認識閾値３２５未満の画像データ３００について、当該認識閾値３２５未満の画像データ３００の撮像時刻の前後特定期間に、認識閾値３２５以上の画像データ３００が存在した場合には、認識閾値３２５未満の画像データ３００を除外し、認識閾値３２５以上の画像データ３００が存在しなかった場合には、その旨を出力時に通知することを特徴とする。
このように構成することで、ブレ画像が撮像されてしまった場合に、取り直したものを出力画像データ３３０として選択できる。また、取り直した画像データ３００がないと推測される場合には、ユーザーに通知することが可能となる。
このように構成することで、ブレ画像が撮像されてしまった場合に、取り直したものを出力画像データ３３０として選択できる。また、取り直した画像データ３００がないと推測される場合には、ユーザーに通知することが可能となる。
また、本発明の実施の形態に係る画像形成装置１は、出力データ選択部１２０により選択された出力画像データ３３０を画像形成する画像形成部１７を備えることを特徴とする。
このように構成することで、出力画像データ３３０を、ノート印刷可能な画像形成装置１を提供できる。
このように構成することで、出力画像データ３３０を、ノート印刷可能な画像形成装置１を提供できる。
〔他の実施の形態〕
なお、上述の実施の形態では、画像形成装置１にて、画像データ３００を選択するような構成について説明した。しかしながら、ユーザーのスマートフォンやＰＣ等の端末（情報処理装置）にて、画像データ３００から出力画像データ３３０を自動手的に選択するような構成も可能である。また、いわゆる「クラウド」上のサーバー等（情報処理装置）にて、画像データ３００から出力画像データ３３０を自動的に選択するようにしてもよい。これらの場合、選択された出力画像データ３３０を画像形成装置１に自動的に転送して印刷できるようにしてもよい。
このように構成することで、スマートフォンやＰＣやサーバー等で出力画像データ３３０の選択ができ、画像形成装置１の制御部１０等の負荷を抑えることが可能となる。また、印刷しない空き時間に上述の処理を行うことも可能であるため、ユーザーの見かけ上の待ち時間も抑えられる。
なお、上述の実施の形態では、画像形成装置１にて、画像データ３００を選択するような構成について説明した。しかしながら、ユーザーのスマートフォンやＰＣ等の端末（情報処理装置）にて、画像データ３００から出力画像データ３３０を自動手的に選択するような構成も可能である。また、いわゆる「クラウド」上のサーバー等（情報処理装置）にて、画像データ３００から出力画像データ３３０を自動的に選択するようにしてもよい。これらの場合、選択された出力画像データ３３０を画像形成装置１に自動的に転送して印刷できるようにしてもよい。
このように構成することで、スマートフォンやＰＣやサーバー等で出力画像データ３３０の選択ができ、画像形成装置１の制御部１０等の負荷を抑えることが可能となる。また、印刷しない空き時間に上述の処理を行うことも可能であるため、ユーザーの見かけ上の待ち時間も抑えられる。
また、本発明は、画像形成装置以外の情報処理装置にも適用できる。つまり、ネットワークスキャナー、スキャナーをＵＳＢ等で別途接続したサーバー等を用いる構成であってもよい。
また、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
１ 画像形成装置
２ 記録媒体
１０ 制御部
１１ 画像処理部
１２ 原稿読取部
１３ 原稿給送部
１４ 給紙部
１５ ネットワーク送受信部
１６ 操作パネル部
１７ 画像形成部
１８ ＦＡＸ送受信部
１９ 記憶部
１００ 画像取得部
１１０ 画像認識部
１２０ 出力データ選択部
３００、３００ａ、３００ｂ、３００ｃ、３００ｄ 画像データ
３１０、３１０ａ、３１０ｃ テンプレート画像
３２０ 閾値群
３２１ 重複閾値
３２２ 一部変更閾値
３２３ テンプレート閾値
３２４ ヒト物体閾値
３２５ 認識閾値
３３０、３３０ａ、３３０ｂ、３３０ｃ、３３０ｄ 出力画像データ
２ 記録媒体
１０ 制御部
１１ 画像処理部
１２ 原稿読取部
１３ 原稿給送部
１４ 給紙部
１５ ネットワーク送受信部
１６ 操作パネル部
１７ 画像形成部
１８ ＦＡＸ送受信部
１９ 記憶部
１００ 画像取得部
１１０ 画像認識部
１２０ 出力データ選択部
３００、３００ａ、３００ｂ、３００ｃ、３００ｄ 画像データ
３１０、３１０ａ、３１０ｃ テンプレート画像
３２０ 閾値群
３２１ 重複閾値
３２２ 一部変更閾値
３２３ テンプレート閾値
３２４ ヒト物体閾値
３２５ 認識閾値
３３０、３３０ａ、３３０ｂ、３３０ｃ、３３０ｄ 出力画像データ
Claims (8)
- 指定された期間に撮像された複数の画像データを取得する画像取得部と、
前記画像取得部により取得された前記複数の画像データを、撮像の時系列順に並べた際の同一性を認識する画像認識部と、
前記画像認識部により前記同一性を認識された前記複数の画像データから、特定の除外条件により、重複した画像データ、又は適切でない画像データを除外して、出力画像データを選択する出力データ選択部とを備える
ことを特徴とする情報処理装置。 - 前記出力データ選択部は、
前記複数の画像データから、
前記画像認識部により認識された前記同一性の割合が、前記重複した画像データを除外するための重複閾値以上の画像データについては除外し、前記重複閾値未満の画像データについては前記出力画像データとして選択し、更に、
前記同一性の割合が前記重複閾値より大きい一部変更閾値以下であった場合には、画像の情報量が少ない画像データを除外し、前記情報量が多い画像データを前記出力画像データとして選択する
ことを特徴とする請求項１に記載の情報処理装置。 - 前記画像認識部は、
前記複数の画像データにおいて、分割された複数の面を認識した場合、前記複数の面のそれぞれにおいて同一性を認識し、
前記出力データ選択部は、
前記面のそれぞれにおいて、前記画像認識部により認識された同一性の割合が前記重複閾値未満の面は除外しつつ、前記重複閾値以上の面の箇所は切り出して、前記出力画像データとして選択する
ことを特徴とする請求項２に記載の情報処理装置。 - 前記画像認識部は、
特定のテンプレート画像と、前記複数の画像データのそれぞれとの同一性を認識し、
前記出力データ選択部は、
前記テンプレート画像の少なくとも一部が認識できなかった画像データを、前記適切でない画像データとして除外する
ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。 - 前記画像認識部は、
前記テンプレート画像として認識された箇所内に、更にヒト又は物体がいることを認識し、
前記出力データ選択部は、
前記ヒト又は物体がいると認識された画像データを、前記適切でない画像データとして除外する
ことを特徴とする請求項４に記載の情報処理装置。 - 前記画像認識部は、
前記複数の画像データのそれぞれについて光学文字認識を行い、
前記出力データ選択部は、
前記光学文字認識の認識率が認識閾値未満の画像データについて、
当該認識閾値未満の画像データの撮像時刻の前後特定期間に、前記認識閾値以上の画像データが存在した場合には、前記認識閾値未満の画像データを除外し、
前記認識閾値以上の画像データが存在しなかった場合には、その旨を出力時に通知する
ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。 - 請求項１乃至６に記載の情報処理装置と、
前記出力データ選択部により選択された前記出力画像データを画像形成する画像形成部とを備える
ことを特徴とする画像形成装置。 - 情報処理装置により実行される画像選択方法であって、前記情報処理装置は、
指定された期間に撮像された複数の画像データを取得し、
取得された前記複数の画像データを、撮像の時系列順に並べた際の同一性を認識し、
前記同一性を認識された前記複数の画像データから、特定の除外条件により、重複した画像データ、又は適切でない画像データを除外して、出力画像データを選択する
ことを特徴とする画像選択方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018020871A JP2019139423A (ja) | 2018-02-08 | 2018-02-08 | 情報処理装置、画像形成装置、及び画像選択方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018020871A JP2019139423A (ja) | 2018-02-08 | 2018-02-08 | 情報処理装置、画像形成装置、及び画像選択方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019139423A true JP2019139423A (ja) | 2019-08-22 |
Family
ID=67694028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018020871A Pending JP2019139423A (ja) | 2018-02-08 | 2018-02-08 | 情報処理装置、画像形成装置、及び画像選択方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019139423A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7404836B2 (ja) | 2019-12-10 | 2023-12-26 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置及び画像形成装置 |
-
2018
- 2018-02-08 JP JP2018020871A patent/JP2019139423A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7404836B2 (ja) | 2019-12-10 | 2023-12-26 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置及び画像形成装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4375578B2 (ja) | 画像形成装置及び画像形成装置における設定方法 | |
| US9723177B2 (en) | Image processing system, image processing apparatus, and image forming apparatus | |
| US9521279B2 (en) | Image reproducing method and digital processing machine using such method | |
| JP2006341614A (ja) | 画像形成装置及び画像形成方法 | |
| US11212397B1 (en) | Image reading system, image forming system, and image reading method for dividing each area into blockchains | |
| US10656890B2 (en) | Image forming apparatus, storage medium, and control method | |
| JP2009048096A (ja) | 画像処理装置、画像形成装置、処理条件設定方法および処理条件設定プログラム | |
| JPWO2019008919A1 (ja) | 原稿読取装置 | |
| JP2019139423A (ja) | 情報処理装置、画像形成装置、及び画像選択方法 | |
| US10291805B1 (en) | Image processing apparatus | |
| US10171688B2 (en) | Management server to receive scanned images and align the scanned images based on page numbers included in the scanned images | |
| US10694054B2 (en) | Information processing apparatus, image reading apparatus, image forming apparatus, and non-transitory computer readable medium | |
| US20150365561A1 (en) | Image forming apparatus and method for controlling the same | |
| JP7404836B2 (ja) | 情報処理装置及び画像形成装置 | |
| US9357099B2 (en) | Image processing apparatus and image processing method for appropriately processing and unnecessary text area or image area | |
| US11089179B2 (en) | Image processing apparatus, system, and computer program product capable of performing image processing on target image with respect to image data of the target image corresponding to target image state by acquired display image | |
| US20110038014A1 (en) | Method and apparatus for generating image data of document, and computer-readable storage medium for computer program | |
| US10198222B2 (en) | Information display system | |
| US20160072966A1 (en) | Non-transitory computer readable medium and image processing device | |
| US11212419B1 (en) | Image reading system, image forming system, and image reading method that perform image processing for each area | |
| JP2018185710A (ja) | プログラム及び携帯端末 | |
| JP2017159594A (ja) | 画像処理装置および制御方法 | |
| US9955032B2 (en) | Scanner capable of reading double sides of sheet once | |
| JP2020160502A (ja) | 情報処理システム、情報処理装置及びプログラム | |
| JP2022054710A (ja) | 画像処理装置、画像処理方法 |