JP2019212000A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】筆記対象に筆記された筆記情報の記録をより適切に行うことを可能にする仕組みを提供する。【解決手段】情報処理装置１００は、筆記対象２に筆記された筆記情報の変化を検出し、検出された変化に基づいて筆記情報を含む筆記対象を示す画像を特定する制御部、を備える。制御部は、筆記情報の変化量の時間変化に基づいて、筆記情報の変化が一時的な変化であるか否かを判定し、筆記情報の変化が一時的な変化ではないと判定した場合に、画像を特定する。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

一般的に、黒板又は白板等の筆記対象に情報が筆記されたり消去されたりしながら、会議又は講義等が進行することが多い。筆記対象に筆記された情報を記録しておくことは、後に参照することが可能となるため利便性が高い。他方、常時記録しておくことは、記憶容量の無駄遣いにもなり得る。そのため、筆記対象に筆記された情報を効率的に記録する技術が求められている。

例えば、下記特許文献１では、筆記者が黒板消しを保持する（例えば、持ち上げる）と、デジタルカメラによって黒板の情報を撮影することで、黒板に記載された情報が消し取られる前に黒板の情報を記録する技術が開示されている。

特開２００５−１２５６２８号公報

しかし、筆記者が黒板消しを保持すると、必ず黒板が消し取られるとは限らない。筆記者は、一旦保持した黒板消しをまた置いたり、黒板消しを単に移動させるために保持したりし得るためである。そのため、上記特許文献１に記載の技術では、無駄な記録が発生する場合がある。また、筆記者が黒板消しを保持してから消去が開始されるまで時間は不明である。そのため、上記特許文献１に記載の技術では、記録した際に既に消去が始まっている等、情報が欠落した状態で記録されるおそれがある。

そこで、本開示では、筆記対象に筆記された筆記情報の記録をより適切に行うことを可能にする仕組みを提案する。

本開示によれば、筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定する制御部、を備える情報処理装置が提供される。

また、本開示によれば、筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定すること、を含む、プロセッサにより実行される情報処理方法が提供される。

また、本開示によれば、コンピュータに、筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定することを、実行させるためのプログラムが提供される。

以上説明したように本開示によれば、筆記対象に筆記された筆記情報の記録をより適切に行うことを可能にする仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係るシステムの概要を説明するための図である。 同実施形態に係るシステムの構成の一例を説明するための図である。 同実施形態に係る板書画像の比較処理の一例を説明するための図である。 同実施形態に係る筆記情報の変化率の計算例を説明するための図である。 同実施形態に係る変化の開始点の検出の一例を説明するためのグラフである。 同実施形態に係る変化の確定点の検出の一例を説明するためのグラフである。 同実施形態に係る変化の終了点の検出の一例を説明するためのグラフである。 同実施形態に係る変化領域の特定の一例を説明するための図である。 同実施形態に係る記録画像の出力例を説明するための図である。 同実施形態に係る記録画像の出力例を説明するための図である。 同実施形態に係る記録画像の出力例を説明するための図である。 同実施形態に係る記録画像の出力例を説明するための図である。 同実施形態に係る情報処理装置により実行される板書画像の記録処理の流れの一例を示すフローチャートである。 同実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．はじめに
２．構成例
３．技術的特徴
３．１．板書画像のバッファリング
３．２．筆記情報の変化の検出
３．３．板書画像の記録
３．４．変化領域の特定
３．５．記録画像の出力
３．６．処理の流れ
３．７．変形例
４．ハードウェア構成例
５．まとめ

＜＜１．はじめに＞＞
まず、図１を参照しながら、本開示の一実施形態に係るシステムの概要を説明する。

図１は、本開示の一実施形態に係るシステムの概要を説明するための図である。図１に示すように、システム１は、情報処理装置１００及び情報処理装置１００に接続される入力装置２００を含む。

筆記対象２は、点、線、文字、文章、数式、記号、絵、図形又は画像等の視覚的な情報（以下、筆記情報）が筆記される物体である。筆記対象２は、黒板、ホワイトボード、電子ペーパー、又はタッチパネル等であり、筆記情報は、チョーク、マーカー、スタイラス又は指等により筆記対象２に筆記され、黒板消し又はイレーサー等により筆記対象２から消去される。筆記対象２は、筆記面とも称される場合がある。

筆記者３は、筆記対象２に対して動作を行う人である。筆記者３は、筆記対象２に筆記情報を筆記し、及び筆記対象２に筆記された筆記情報を消去する。典型的には、筆記者３は、講義又は会議等において、筆記対象２に筆記された筆記情報を、手又は手に持つレーザーポインタ若しくは指示棒等の指示器で指示しながら、筆記情報に関する説明を行う。

入力装置２００は、入力装置２００が設置された物理空間に関する情報を入力する装置である。入力装置２００は、例えば、撮像装置及び音声入力装置を含む。撮像装置は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を含む。音声入力装置は、周囲の音を収音するマイクロフォン、マイクロフォンで得られた音声信号を増幅処理するマイクアンプ回路、Ａ／Ｄ変換器、及びノイズキャンセラ等の信号処理回路を含む。入力装置２００は、デジタル信号とされた画像データ及び撮像時の音声データを出力する。

入力装置２００は、物理空間における物体を撮像対象として、画像を撮像可能である。本実施形態では、入力装置２００は、物理空間における筆記情報が筆記された筆記対象２を撮像対象として画像を撮像し、撮像時刻と撮像した画像とを対応付けて情報処理装置１００に出力する。ただし、撮像された画像には、筆記対象２以外も含まれ得る。その場合、入力装置２００は、撮像された画像に基づいて取得される画像を、情報処理装置１００に出力する。ここで、撮像された画像に基づいて取得される画像とは、例えば、撮像された画像から筆記対象２が映った領域が抽出された画像である。入力装置２００としての機能は、筆記対象２に有されていてもよい。例えば、入力装置２００及び筆記対象２は、筆記対象２の状態をスキャニングすることで画像を取得し出力する電子黒板として実現される。その場合、入力装置２００は、筆記対象２の画像を取得し、取得時刻と取得した画像とを対応付けて情報処理装置１００に出力する。

入力装置２００により入力される画像は、動画であってもよい。動画とは、複数の静止画（画像データ）及び各々の静止画の再生時刻（撮像時刻に対応する）を含むデータである。動画が再生される際には、再生時刻の順に静止画が連続的に再生される。動画を構成する静止画は、フレームとも称される。単位時間当たりのフレーム数は、フレームレートとも称され、１秒間当たりのフレームの数（ＦＰＳ：Frame Per Second）で表される。

入力装置２００により入力される画像は、静止画であってもよい。その場合、入力装置２００は、連続的に画像を入力する。本明細書では、単位時間当たりに入力される画像数を、動画にならいフレームレートとも称する。

以下では、入力装置２００により入力される、筆記情報が筆記された筆記対象２の画像を、板書画像とも称する。板書画像は、静止画であるものとする。入力装置２００により入力される画像が動画であれば、板書画像は、動画を構成する１枚の静止画である。

情報処理装置１００は、入力装置２００により入力される板書画像のうち、記録すべき板書画像を選択的に記録する。本明細書において、記録とは、記憶媒体／記録媒体に情報を記憶することを指す。情報処理装置１００は、板書画像をモニタリングして、筆記対象２に筆記された筆記情報に変化が発生したことを検出することで、変化開始前又は変化開始後の板書画像を、記録する。このように、筆記情報の変化に基づいて選択的に記録される板書画像を、以下では記録画像とも称する。

筆記情報の変化とは、筆記情報の消去であってもよい。その場合、情報処理装置１００は、消去開始前の板書画像を記録画像として記録する。典型的には、筆記情報の消去開始前の筆記対象２には、筆記情報が最も多く筆記されている。従って、消去開始前の板書画像を選択的に記録することで、無駄な記録が抑制され、板書画像を効率的に記録することが可能となる。

筆記情報の変化とは、筆記情報の筆記（即ち、追加）であってもよい。その場合、情報処理装置１００は、追加終了後の板書画像を記録画像として記録する。典型的には、筆記情報の追加終了後の筆記対象２には、筆記情報が最も多く筆記されている。従って、追加終了後の板書画像を選択的に記録することで、無駄な記録が抑制され、板書画像を効率的に記録することが可能となる。

＜＜２．構成例＞＞
図２は、本実施形態に係るシステム１の構成の一例を説明するための図である。図２に示すように、システム１は、情報処理装置１００、入力装置２００、及び出力装置３００を含む。

入力装置２００は、上述したように連続的に板書画像を入力し、その各々を情報処理装置１００に出力する。

出力装置３００は、情報処理装置１００による制御に基づき情報を出力する装置である。出力装置３００は、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置により実現される。例えば、出力装置３００は、記録画像を出力する。

情報処理装置１００は、システム１の動作全体を制御する装置である。情報処理装置１００は、ＰＣ（Personal Computer）、スマートフォン又はタブレット端末等の任意の装置により実現される。図２に示すように、情報処理装置１００は、取得部１１０、第１の記憶部１２０、検出部１３０、第２の記憶部１４０、及び出力制御部１５０を含む。これらの構成要素を、システム１全体の動作を制御するための制御部として捉えることもできる。

取得部１１０は、入力装置２００により入力された板書画像を取得する機能を有する。第１の記憶部１２０は、取得された板書画像を一時的に記憶する機能を有する。検出部１３０は、取得部１１０により取得された現時刻の板書画像と第１の記憶部１２０に記憶された過去の板書画像とを比較することで、筆記対象２に筆記された筆記情報の変化を検出する機能を有する。第２の記憶部１４０は、検出部１３０により検出された情報に基づいて記録すべき板書画像を特定し、特定された記録すべき板書画像を記録する制御を行う記録制御部としての機能、及び特定された板書画像を記憶する記憶媒体としての機能を有する。また、第２の記憶部１４０は、板書画像に関する各種情報を記憶する。出力制御部１５０は、第２の記憶部１４０に記憶された板書画像に基づいて出力情報を生成し、第２の記憶部１４０に記憶させたり、出力装置３００により出力させたりする機能を有する。

情報処理装置１００による動作処理について、以下に詳しく説明する。

＜＜３．技術的特徴＞＞
＜３．１．板書画像のバッファリング＞
第１の記憶部１２０は、入力装置２００により入力された板書画像をバッファリングする。バッファリングは、後述する筆記情報の変化の検出のために用いられる、過去の板書画像を保持しておくために行われる。

＜３．２．筆記情報の変化の検出＞
検出部１３０は、筆記対象２に筆記された筆記情報の変化を検出する。具体的には、検出部１３０は、検出対象のタイミングにおける板書画像（第１の板書画像とも称する）と、検出対象のタイミングの所定時間前のタイミングにおける過去の板書画像（第２の板書画像とも称する）とを比較することで、筆記対象に筆記された筆記情報の変化を検出する。筆記対象２に筆記された筆記情報の変化の検出の一例として、検出部１３０は、筆記対象に筆記された筆記情報の変化に関する情報（変化情報に相当）を検出する。ここで、あるタイミングにおける板書画像とは、当該タイミングにおいて入力装置２００により入力された板書画像を指す。検出部１３０は、入力装置２００に板書画像が入力される度に、筆記情報の変化に関する情報を検出する。検出対象のタイミングは、第１の板書画像が入力された時刻（例えば、撮像時刻）である。検出対象のタイミングを、以下では現時刻とも称する。

検出される変化に関する情報としては、筆記対象２に筆記された筆記情報の変化量、筆記情報の変化が開始するタイミングである変化の開始点、筆記情報の変化が確定するタイミングである変化の確定点、及び筆記情報の変化が終了するタイミングである変化の終了点が挙げられる。なお、変化とは、筆記情報の消去であってもよいし、筆記情報の追加であってもよい。以下、各情報の検出方法について詳しく説明する。

（１）変化量の計算
検出部１３０は、現時刻に入力装置２００により入力された第１の板書画像を取得部１１０から取得し、過去に入力装置２００により入力された第２の板書画像を第１の記憶部１２０から取得する。次いで、検出部１３０は、第１の板書画像と第２の板書画像とを比較することで、過去から現時刻にかけての筆記情報の変化量を検出する。ここで、第２の板書画像は、過去の所定時間前に入力装置２００により入力された板書画像であってもよい。その場合、過去の所定時間前から現時刻にかけての筆記情報の変化量が検出される。つまり、変化量とは、所定時間当たりの筆記情報の変化量であり、変化速度として捉えられてもよい。所定時間とは、筆記情報が消去又は追加された場合にその変化を捉えることのできる時間間隔であり、凡そ３秒を目安とする。即ち、上述した第１の記憶部１２０による板書画像のバッファリング期間は、凡そ３秒である。なお、ここでの３秒は一例であり、本技術はこれに限定されない。他にも、第２の板書画像は、過去の所定のタイミングに入力装置２００により入力された板書画像であってもよい。その場合、過去の所定のタイミングから現時刻にかけての筆記情報の変化量が検出される。かかる所定のタイミングは、固定されたタイミングであり、所定の条件に基づいて変更され得る。即ち、第２の板書画像は、所定の条件に基づいて更新され得る。例えば、３０秒が経過する度に、第２の板書画像が更新されてもよい。

まず、検出部１３０は、第１の板書画像と第２の板書画像とを比較することで、２つの画像間で変化が生じた画素（以下、変化画素とも称する）を示す情報を含む差分画像を得る。以下では、図３を参照して、筆記情報の変化が筆記情報の消去である場合の、板書画像の比較処理について説明する。

図３は、本実施形態に係る板書画像の比較処理の一例を説明するための図である。図３に示すように、第１の板書画像１０Ａ及び第２の板書画像１０Ｂが得られたものとする。検出部１３０は、第１の板書画像１０Ａ及び第２の板書画像１０Ｂの各々に対し二値化処理を適用する。二値化処理とは、カラー画像又はグレー画像等を２値画像に変換する処理である。図３に示した例では、筆記対象２のうち筆記情報が筆記された画素（以下、筆記画素とも称する）が白色（例えば、１）に、それ以外の画素（以下、板面画素とも称する）が黒色（例えば、０）に変換されている。検出部１３０は、二値化処理後の第２の板書画像１２Ｂを基準として二値化処理後の第１の板書画像１２Ａとの差分をとることで、消去された筆記情報が表される差分画像１４を得る。差分画像１４では、差分が発生した画素、即ち消去された筆記情報が筆記されていた画素（即ち、変化画素）が白色に、それ以外の画素が黒色となっている。ここで、得られた変化画素には、二値化の際のノイズによる影響が生じている場合がある。そこで、検出部１３０は、差分画像１４に対しノイズ除去を行い、より抽出精度の高い変化画素を含む差分画像１６を得る。

なお、筆記情報の変化が筆記情報の追加である場合、検出部１３０は、二値化処理後の第１の板書画像を基準として二値化処理後の第２の板書画像との差分をとることで、追加された筆記情報が表される差分画像を得る。かかる差分画像では、差分が発生した画素、即ち追加された筆記情報が筆記されていた画素（即ち、変化画素）が例えば白色に、それ以外の画素が例えば黒色となる。ノイズ除去についても、筆記情報の変化が筆記情報の消去である場合と同様に適用される。

板書画像の比較処理後、検出部１３０は、得られた差分画像に基づいて、筆記情報の変化量を計算する。変化量は、変化画素の数に基づく値であり、例えば、筆記対象２の全体に対する変化画素の比率（以下、変化率とも称する）である。なお、変化率は、筆記情報の変化が筆記情報の消去である場合には消去率とも称され、筆記情報の変化が筆記情報の追加である場合には追加率とも称される。他にも、変化量は、変化画素の画素数そのもの、又は消去若しくは追加された文字等の数であってもよい。以下では、筆記情報の変化量とは、筆記情報の変化率を指すものとする。

図４は、本実施形態に係る筆記情報の変化率の計算例を説明するための図である。図４に示すように、差分画像２０のサイズは、幅６４０高さ３６０（単位は画素数）であるものとする。検出部１３０は、差分画像２０における変化画素２２の画素数をカウントする。変化画素２２を含む部分を一部拡大した拡大画像２４に示すように、変化画素２２の画素数は、差分画像２０における白色（即ち、１）の画素の数である。差分画像２０における変化画素２２の画素数が１２０００であったとすると、変化率は次式により計算される。
変化率Ｅ＝１２０００／（６４０×３６０）
＝０．０５ …（１）

検出部１３０は、板書画像が入力される度に変化率の計算を行い、変化率の時間変化をモニタリングする。その際、検出部１３０は、過去に計算された変化率を用いて、変化率を平滑化してもよい。これにより、変化率の時間変化が滑らかになり、外れ値の発生が抑制されるので、後述する変化の開始点、確定点及び終了点を検出する際の誤検出が抑制される。例えば、変化率は、次式のような重み付き加算により、平滑化される。

ここで、Ｅ_ｃ´は、平滑化後の変化率であり、Ｅ_ｃは現時刻の変化率であり、Ｅ_ｐは過去の変化率である。次の時刻においては、現時刻のＥ_ｃ´がＥ_ｐとして用いられる。αは、現時刻の変化率を反映する割合を示し、０以上１以下の値をとる。

検出部１３０は、変化率の時間変化に基づいて、変化の開始、確定、及び終了を検出する。

（２）変化の開始点の検出
検出部１３０は、筆記対象２に筆記された筆記情報の変化率の時間変化に基づいて、変化の開始点（第１のタイミングに相当）を検出する。詳しくは、検出部１３０は、第２の閾値と変化率の所定の勾配とに基づいて、変化の開始点を検出する。具体的には、検出部１３０は、変化率が第２の閾値以下である場合、変化率の時間変化が所定の勾配を示したタイミングを、変化の開始点として検出する。これにより、筆記情報の消去又は追加が開始された可能性があるタイミングを検出することが可能となる。所定の勾配は、典型的には正の勾配である。変化率の時間変化の勾配が正であれば、筆記情報の消去又は追加が開始された可能性があることを示しているためである。変化率に負の係数が掛けられる等された場合、所定の勾配は、負の勾配である。なお、変化の開始点の検出を行う目的は、変化の開始前の板書画像を特定することにある。

図５は、本実施形態に係る変化の開始点の検出の一例を説明するためのグラフである。図５に示すグラフの、横軸は時間であり、縦軸は変化率である。横軸の時間は、典型的には、板書画像の入力時刻（例えば、撮像時刻）である。図５に示すように、本グラフでは、時間が経つにつれて、徐々に筆記対象２に筆記された筆記情報に変化が生じ（例えば、消去されていく、又は追加されていく）、変化率が増加していく様子が示されている。そして、変化率が第２の閾値以下である範囲において、変化率に正の勾配変化が発生したタイミングが、変化の開始点として検出されている。第２の閾値は、変化が発生していない場合に安定して得られる変化率（例えば、極めて０に近いものの、多少のノイズの影響で正の値を有する）を基準として定められる。

（３）変化の確定点の検出
検出部１３０は、変化の開始点の検出後、変化率と第１の閾値との比較結果に基づいて、筆記情報の変化が一時的であるか否かを判定する。具体的には、検出部１３０は、変化率が第１の閾値を超えるタイミングを、変化の確定点として検出する。そして、検出部１３０は、変化の確定点が検出された場合に筆記情報の変化が一時的ではないと判定し、変化の確定点が検出されない場合に筆記情報の変化が一時的であると判定する。ここで、変化の確定点が検出されない場合とは、変化率が第１の閾値を超えないまま、後述する変化の終了点が検出された場合又は変化の開始点が再度検出された場合を指す。筆記情報の変化が一時的でないとの判定は、所定時間内に所定量の変化（消去又は追加）が発生したことを確定するものであり、第１の閾値によって当該所定量を調整することができる。なお、第１の閾値は、第２の閾値よりも大きい値である。

図６は、本実施形態に係る変化の確定点の検出の一例を説明するためのグラフである。図６に示すグラフの、横軸は時間であり、縦軸は変化率である。横軸の時間は、典型的には、板書画像の入力時刻（例えば、撮像時刻）である。図６に示すグラフは、図５に示したグラフからある時間経過した後のグラフである。図６に示すように、本グラフでは、変化の開始点の後、時間が経つにつれて、筆記対象２に筆記された筆記情報に変化が生じ、変化率が増減する様子が示されている。そして、変化率が第１の閾値を超えたタイミングが、変化の確定点として検出されている。

（４）変化の終了点の検出
検出部１３０は、筆記情報の変化が一時的でないと判定した後、変化率と第２の閾値との比較結果に基づいて、変化の終了点（第２のタイミングに相当）を検出する。具体的には、検出部１３０は、変化の確定点が検出された後、変化率が第２の閾値以下になったタイミングを、変化の終了点として検出する。なお、変化の終了点の検出を行う目的は、一連の変化が終了した後の板書画像を特定することにある。

図７は、本実施形態に係る変化の終了点の検出の一例を説明するためのグラフである。図７に示すグラフの、横軸は時間であり、縦軸は変化率である。横軸の時間は、典型的には、板書画像の入力時刻（例えば、撮像時刻）である。図７に示すグラフは、図６に示したグラフからある時間経過した後のグラフである。図７に示すように、変化の確定点の後、変化率がピークを迎え、時間が経つにつれて変化率が低下している。そして、変化率が第２の閾値以下となったタイミングが、変化の終了点として検出されている。

（５）閾値の設定
検出部１３０は、板書画像が取得される度に筆記対象２に筆記された筆記情報の変化を検出する。具体的には、検出部１３０は、板書画像が取得される度に筆記対象２に筆記された筆記情報の変化に関する情報を検出する。この場合、検出部１３０は、第１の閾値及び第２の閾値を、板書画像が取得される間隔に応じて設定してもよい。詳しくは、検出部１３０は、第１の閾値及び第２の閾値を、フレームレートに基づいて設定してもよい。検出部１３０は、フレームレートが高いほど第１の閾値及び第２の閾値を高く設定する。フレームレートが高いほど、変化率の時間変化の勾配が急になるためである。一方で、検出部１３０は、フレームレートが低いほど第１の閾値及び第２の閾値を低く設定する。フレームレートが低いほど、変化率の時間変化の勾配が緩やかになるためである。このような設定により、変化の開始点、確定点及び終了点の検出精度を向上させることが可能となる。

＜３．３．板書画像の記録＞
第２の記憶部１４０は、検出部１３０により検出された筆記情報の変化に基づいて、筆記情報を含む筆記対象２を示す情報（例えば、板書画像）を特定する。詳しくは、第２の記憶部１４０は、筆記情報の変化が一時的でないと判定した場合に、かかる筆記対象２を示す情報を特定する。そして、第２の記憶部１４０は、特定した筆記対象２を示す情報を記憶する。換言すると、検出部１３０は、検出部１３０が検出した情報に基づいて、筆記対象２を示す情報を第２の記憶部１４０に記憶させる。ここで、記憶される筆記対象２を示す情報とは、板書画像である。

（１）消去の場合
以下では、筆記情報の変化が筆記情報の消去である場合について説明する。この場合、変化の開始点、変化の確定点、及び変化の終了点は、それぞれ消去の開始点、消去の確定点、及び消去の終了点とも称される。

第２の記憶部１４０は、消去の開始点が検出された場合、消去の開始点に対応する板書画像を、記録画像候補として記憶する。ここで、あるタイミングに対応する板書画像とは、必ずしも当該タイミングにおいて入力装置２００により入力された板書画像を指すとは限らない。あるタイミングに対応する板書画像とは、当該タイミングの所定時間前後のタイミングにおける板書画像を指し得る。例えば、記録画像候補として記憶される、消去の開始点に対応する板書画像とは、消去の開始点における消去率の計算のために、板書画像の比較処理に用いられた過去の画像（即ち、第２の板書画像）である。これにより、記録画像候補を、確実に消去開始前の板書画像にすることが可能となる。典型的には、筆記情報の消去開始前の板書画像には、筆記情報が最も多く筆記された筆記対象２が映っている。なお、記録画像候補とは、記録画像になり得る画像である。

第２の記憶部１４０は、消去の開始点が検出された後、消去の確定点が検出された場合、消去の開始点に対応する板書画像である記録画像候補を、記録画像として特定し、記憶する。一方で、第２の記憶部１４０は、消去の開始点が検出された後、消去の確定点が検出されないまま次の消去の開始点が検出された場合、記録画像候補を次の消去の開始点に対応する板書画像に更新する。消去の種別として、訂正などによる一時的な消去と、筆記対象２をリセットするための一時的でない消去とが存在する。一時的な消去が発生した場合にも筆記情報の消去開始前の板書画像を記録画像として記録することは、無駄な記録が発生することを意味し、非効率的である。この点、消去の確定点を検出することで、一時的でない消去が発生した場合に限定して、消去開始前の板書画像を記録画像として記録することが可能となる。さらに、記録画像候補は、筆記情報が最も多く筆記されている筆記対象２の板書画像であるから、最も情報量が多い板書画像を記録画像として記録することが可能となる。このようにして、効率的な板書画像の記録が実現される。

また、第２の記憶部１４０は、消去の開始点が検出された後、消去の確定点が検出された場合、消去の終了点に対応する板書画像を、比較対象画像として記憶する。ここで、比較対象画像として記憶される、消去の終了点に対応する板書画像とは、例えば、消去の終了点における消去率の計算のために、板書画像の比較処理に用いられた過去の画像（即ち、第２の板書画像）である。これにより、比較対象画像は、筆記情報の消去終了後の板書画像となる。典型的には、筆記情報の消去終了後の板書画像には、筆記情報が最も少なく筆記された筆記対象２が映っている。なお、比較対象画像は、後述する消去領域の特定のために用いられる。

記録画像は、一時的でない消去が発生する度に、蓄積（即ち、追加的に記憶）される。一方で、記録画像候補は、消去の開始点が検出される度に、更新（即ち、上書き）される。比較対象画像は、一時的でない消去が発生する度に、更新（即ち、上書き）される。このように、記録画像以外の板書画像の記録は最低限に抑制されるので、効率的な板書画像の記録が実現される。

（２）追加の場合
以下では、筆記情報の変化が筆記情報の追加である場合について説明する。この場合、変化の開始点、変化の確定点、及び変化の終了点は、それぞれ追加の開始点、追加の確定点、及び追加の終了点とも称される。

第２の記憶部１４０は、追加の開始点が検出された場合、追加の開始点に対応する板書画像を、比較対象画像として記録する。ここで、比較対象画像として記憶される、追加の開始点に対応する板書画像とは、追加の開始点における追加率の計算のために、板書画像の比較処理に用いられた過去の画像（即ち、第２の板書画像）である。これにより、比較対象画像を、確実に追加開始前の板書画像にすることが可能となる。典型的には、筆記情報の追加開始前の板書画像には、筆記情報が最も少なく筆記された筆記対象２が映っている。なお、比較対象画像は、後述する追加領域の特定のために用いられる。

第２の記憶部１４０は、追加の開始点が検出された後、追加の確定点が検出された場合、追加の終了点に対応する板書画像を、記録画像として特定し、記憶する。ここで、記録画像として記憶される、追加の終了点に対応する板書画像とは、例えば、追加の終了点における追加率の計算のために、板書画像の比較処理に用いられた過去の画像（即ち、第２の板書画像）である。これにより、記録画像は、筆記情報の追加終了後の板書画像となる。典型的には、筆記情報の追加終了後の板書画像には、筆記情報が最も多く筆記された筆記対象２が映っている。追加の種別として、ごく少量の筆記情報の追加等の一時的な追加と、筆記対象２に多量の筆記情報を追加するための一時的でない追加とが存在する。一時的な追加が発生する度に板書画像を記録画像として記録することは、無駄な記録が発生することを意味し、非効率的である。この点、追加の確定点を検出することで、一時的でない追加が発生した場合に限定して、追加終了後の板書画像を記録画像として記録することが可能となる。さらに、追加終了後の板書画像は、筆記情報が最も多く筆記されている筆記対象２の板書画像であるから、最も情報量が多い板書画像を記録画像として記録することが可能となる。このようにして、効率的な板書画像の記録が実現される。

一方で、第２の記憶部１４０は、追加の開始点が検出された後、追加の確定点が検出されないまま、次の追加の開始点が検出された場合、比較対象画像を、次の追加の開始点に対応する板書画像に更新する。

記録画像は、一時的でない追加が発生する度に、蓄積（即ち、追加的に記憶）される。一方で、比較対象画像は、追加の開始点が検出される度に、更新（即ち、上書き）される。このように、記録画像以外の板書画像の記録は最低限に抑制されるので、効率的な板書画像の記録が実現される。

＜３．４．変化領域の特定＞
出力制御部１５０は、変化の開始点から変化の終了点までに筆記対象２において変化が生じた領域（変化領域とも称する）を特定する。詳しくは、出力制御部１５０は、変化の開始点に対応する板書画像と変化の終了点に対応する板書画像との差分をとることで、差分のある領域を、変化領域として特定する。会議又は講義が筆記情報の追加及び消去を繰り返しながら進むことを考慮すれば、記録画像は複数枚記録され得る。この点、変化領域は、前回の記録画像から変化した領域であり、特に注目すべき領域であると言える。変化領域を特定することで、記録画像のうち注目すべき領域を特定することが可能となる。

筆記情報の変化が筆記情報の消去である場合、変化の開始点に対応する板書画像とは記録画像であり、変化の終了点に対応する板書画像とは比較対象画像である。そして、筆記対象２のうち、筆記者３による一連の筆記情報の消去動作によって筆記情報が消去された領域が、変化領域として特定される。かかる変化領域は、消去領域とも称される。

筆記情報の変化が筆記情報の追加である場合、変化の開始点に対応する板書画像とは比較対象画像であり、変化の終了点に対応する板書画像とは記録画像である。そして、筆記対象２のうち、筆記者３による一連の筆記情報の追加動作によって筆記情報が追加された領域が、変化領域として特定される。かかる変化領域は、追加領域とも称される。

具体的な変化領域の特定方法について説明する。出力制御部１５０は、まず、図３を参照して上記説明した比較処理と同様にして、変化画素を抽出する。即ち、出力制御部１５０は、変化の開始点に対応する板書画像と変化の終了点に対応する板書画像との各々に対し二値化処理を適用し、それらの差分をとることで差分画像を得て、差分画像に対しノイズ除去を行う。これにより、出力制御部１５０は、変化画素が抽出された差分画像を得る。次いで、出力制御部１５０は、差分画像に基づいて、変化領域を特定する。変化領域とは、変化画素と同一であってもよいし、異なっていてもよい。例えば、変化領域とは、変化画素を包含する任意の形状の領域であってもよい。この点について、図８を参照して説明する。

図８は、本実施形態に係る変化領域の特定の一例を説明するための図である。図８に示すように、変化の開始点に対応する板書画像と変化の終了点に対応する板書画像との比較処理により、変化画素３２が抽出された差分画像３０が得られたものとする。この場合、出力制御部１５０は、変化画素３２を包含する最小の矩形３４を、変化領域として特定してもよい。他にも、出力制御部１５０は、変化画素３２を包含する最小の矩形３４を、所定のオフセット分拡大した矩形３６を、変化領域として特定してもよい。また、出力制御部１５０は、変化画素３２、及び変化画素３２から所定距離内の周辺の画素を、変化領域として特定してもよい。

第２の記憶部１４０は、記録画像と変化領域を示す情報（変化領域情報に相当）とを対応付けて記憶する。換言すると、出力制御部１５０は、記録画像と変化領域を示す情報とを対応付けて、第２の記憶部１４０に記憶させる。これにより、記録画像ごとに、特に注目すべき領域を示す情報を対応付けて記録することが可能となる。

＜３．５．記録画像の出力＞
出力制御部１５０は、記録画像を出力する。その際、出力制御部１５０は、記録画像に変化領域を示す情報を重畳した画像を生成し、出力してもよい。その一例を、図９〜図１１を参照して説明する。

図９は、本実施形態に係る記録画像の出力例を説明するための図である。図９では、筆記情報の変化が筆記情報の消去である場合の例が示されている。消去の開始点に対応する板書画像（即ち、記録画像）４０、及び消去の終了点に対応する板書画像（即ち、比較対象画像）４３が得られたものとする。板書画像４０は、筆記情報４１、及び筆記者３が映り込んだ領域４２を含む。板書画像４３は、筆記情報４４、及び筆記者３が映り込んだ領域４５を含む。出力制御部１５０は、板書画像４０と板書画像４３とを比較することで、筆記情報４１の下段を包含する最小の矩形を、所定のオフセット分拡大した矩形を、消去領域として特定する。すると、図９に示すように、出力制御部１５０は、板書画像４０に、特定された消去領域の矩形４６を重畳して、出力する。

図１０は、本実施形態に係る記録画像の出力例を説明するための図である。図１０では、図９に示した、消去の開始点に対応する板書画像（即ち、記録画像）４０、及び消去の終了点に対応する板書画像（即ち、比較対象画像）４３が得られた場合の、記録画像の他の出力例が示されている。図１０に示すように、出力制御部１５０は、板書画像（即ち、記録画像）４０のうち特定された消去領域以外の領域に、半透明の黒塗り画像４７を重畳して、出力してもよい。この場合、板書画像４０のうち特定された消去領域が白抜きされ強調されることとなる。

図１１は、本実施形態に係る記録画像の出力例を説明するための図である。図１１では、図９に示した、消去の開始点に対応する板書画像（即ち、記録画像）４０、及び消去の終了点に対応する板書画像（即ち、比較対象画像）４３が得られた場合の、記録画像の他の出力例が示されている。ただし、本例では、変化画素、及び変化画素から所定距離内の周辺の画素が、消去領域として特定されたものとする。図１１に示すように、出力制御部１５０は、板書画像４０（即ち、記録画像）のうち特定された消去領域（変化画素、及び変化画素から所定距離内の周辺の画素）以外の領域に、半透明の黒塗り画像４８を重畳して、出力してもよい。図１１に示した例では、黒塗り画像４８の濃さが、変化画素に近いほど薄く、遠いほど濃くなっている。この例でも図１０に示した例と同様に、板書画像４０のうち特定された消去領域が白抜きされ強調されることとなる。

なお、上記では、筆記情報の変化が筆記情報の消去である場合の出力画像の例を説明したが、筆記情報の変化が筆記情報の追加である場合も、同様にして出力画像が生成される。

出力制御部１５０は、記録画像を静止画として出力してもよいし、加工して出力してもよい。例えば、出力制御部１５０は、記録画像に基づいて動画を生成して出力してもよいし、記録画像に基づいてドキュメントファイルを生成して出力してもよい。

記録画像が静止画として出力される場合、例えば、出力制御部１５０は、第２の記憶部１４０に新たな記録画像が記憶される度に、最新の記録画像を出力する。

記録画像が動画として出力される場合、出力制御部１５０は、例えば、第２の記憶部１４０に新たな記録画像が記憶される度に、最新の記録画像をストリーム形式で出力する。生成された動画は、第２の記憶部１４０に記憶されてもよい。出力制御部１５０は、動画をリアルタイムに出力してもよい。その一例を、図１２を参照して説明する。図１２は、本実施形態に係る記録画像の出力例を説明するための図である。図１２は、講義室で講義が行われる様子が示されている。講義室の天井には、入力装置２００が設置されており、講義の動画をリアルタイムで撮像している。そして、図示しない情報処理装置１００により新たな記録画像が記憶される度に、最新の記録画像がストリーム形式で出力装置３００Ａ〜３００Ｃから出力される。出力装置３００Ａ及び３００Ｂは、講義室の天井から吊り下げられて設置されたディスプレイであり、出力装置３００Ｃは、受講者の持つタブレット端末である。これらの出力装置３００Ａ〜３００Ｃでは、図９を参照して説明した、消去領域の矩形４６が重畳された板書画像４０が出力されている。この場合、受講者は、既に消去された筆記情報をリアルタイムに確認することが可能となり、メモの取り忘れ等に起因する不利益を回避することが可能となる。

記録画像がドキュメントファイルとして出力される場合、出力制御部１５０は、例えば、第２の記憶部１４０に新たな記録画像が記憶される度に、ページを進めながら最新の記録画像を添付して、記録が終了した際に複数ページに渡る１ファイルを出力する。生成されたドキュメントファイルは、第２の記憶部１４０に記憶されてもよい。ドキュメントファイルは、筆記情報が必要十分にまとめられているので、講義又は会議等の振り返りを容易にすることが可能となる。

＜３．６．処理の流れ＞
図１３は、本実施形態に係る情報処理装置１００により実行される板書画像の記録処理の流れの一例を示すフローチャートである。本フローでは、筆記情報の変化が筆記情報の消去である場合の処理の流れの一例が示されている。

図１３に示すように、まず、第１の記憶部１２０は、取得部１１０により取得された板書画像をバッファリングする（ステップＳ１０２）。次いで、検出部１３０は、板書画像の比較処理を行い、得られた差分画像に基づいて板書画像内の消去率を計算する（ステップＳ１０４）。これらのステップは、常時（例えば、後続する各ステップの間）実行されるものとする。

次に、検出部１３０は、消去率の時間変化に基づいて、消去の開始点を検出する（ステップＳ１０６）。消去の開始点を検出すると、第２の記憶部１４０は、消去の開始点に対応する板書画像を、記録画像候補として記憶する（ステップＳ１０８）。

次いで、検出部１３０は、消去率の時間変化に基づいて、消去の確定点を検出する（ステップＳ１１０）。消去の確定点を検出すると、第２の記憶部１４０は、記録画像候補を記録画像として記憶する（ステップＳ１１２）。

次に、検出部１３０は、消去率の時間変化に基づいて、消去の終了点を検出する（ステップＳ１１４）。消去の終了点を検出すると、出力制御部１５０は、記録画像に対応する消去領域を特定し、第２の記憶部１４０は、消去領域を記録画像に対応付けて記憶する（ステップＳ１１６）。そして、出力制御部１５０は、第２の記憶部１４０に記憶された記録画像を出力装置３００に出力し、出力装置３００により出力させる（ステップＳ１１８）。

＜３．７．変形例＞
（１）変化の開始点の他の検出方法
検出部１３０は、筆記対象２に筆記情報を筆記する筆記者３が筆記用具を保持する動作に基づいて、変化の開始点を検出してもよい。例えば、検出部１３０は、筆記者３が筆記情報を消去するための筆記用具（例えば、イレーサー）を手に持ったタイミングを、消去の開始点として検出してもよい。また、検出部１３０は、筆記者３が筆記情報を筆記するための筆記用具（例えば、チョーク）を手に持ったタイミングを、追加の開始点として検出してもよい。これらにより、板書画像の比較処理により変化の開始点を検出するよりも早いタイミングを変化の開始点として検出することが可能となる。その結果、より確実に消去開始前又は追加開始前の板書画像を記録することが可能となる。

なお、変化率に基づく変化の開始点の検出方法と、筆記用具を保持する動作に基づく変化の開始点の検出方法とは、組み合わされてもよい。例えば、筆記用具を保持する動作が検出され、且つ変化率の時間変化が正の勾配を示したタイミングが、変化の開始点として検出されてもよい。

（２）変化の終了点の他の検出方法
検出部１３０は、筆記対象２に筆記情報を筆記する筆記者３が筆記用具を放す動作に基づいて、変化の終了点を検出してもよい。例えば、検出部１３０は、筆記者３が筆記情報を消去するための筆記用具を置いたタイミングを、消去の終了点として検出してもよい。また、検出部１３０は、筆記者３が筆記情報を筆記するための筆記用具を置いたタイミングを、追加の終了点として検出してもよい。これらにより、筆記者３による一連の筆記情報の消去／追加が終わったタイミングを、変化の開始点として検出することが可能となる。従って、板書画像の記録をより効率化することが可能になり得る。

なお、変化率に基づく変化の終了点の検出方法と、筆記用具を放す動作に基づく変化の開始点の検出方法とは、組み合わされてもよい。例えば、筆記用具を放す動作が検出され、且つ変化率が第２の閾値以下になったタイミングが、変化の終了点として検出されてもよい。

（３）端末装置からのアクセス
上記では、情報処理装置１００が、静止画、動画又はドキュメントファイルの形式で記録画像を出力する例を説明したが、本技術は係る例に限定されない。例えば、情報処理装置１００は、記録画像を静止画、動画又はドキュメントファイルの形式で記憶しておき、ＰＣ、スマートフォン又はタブレット端末等の端末装置からアクセスを受け付けてもよい。この場合、情報処理装置１００は、静止画、動画又はドキュメントファイルの形式の記録画像を、アクセスしてきた端末装置に送信する。

（４）過去データに基づく記録画像の抽出
上記では、情報処理装置１００が、入力装置２００により入力された画像をリアルタイムに処理することで、記録画像を抽出及び記録する例を説明したが、本技術はかかる例に限定されない。例えば、情報処理装置１００は、過去に入力装置２００により入力され記録された画像に基づいて、記録画像を抽出及び記録してもよい。

＜＜４．ハードウェア構成例＞＞
最後に、図１４を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１４は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１４に示す情報処理装置９００は、例えば、図２に示した情報処理装置１００を実現し得る。本実施形態に係る情報処理装置１００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図１４に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図２に示す取得部１１０、検出部１３０及び出力制御部１５０を形成し得る。また、ＣＰＵ９０１は、図２に示す第２の記憶部１４０の機能のうち、記録制御部としての機能を実現し得る。

ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、各種情報を検知する装置により形成され得る。例えば、入力装置９０６は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置９０６は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得してもよい。また、入力装置９０６は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。また、位置情報に関しては、入力装置９０６は、Ｗｉ−Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置９０６は、例えば、図２に示す入力装置２００を形成し得る。即ち、情報処理装置１００は、入力装置２００としての機能を有していてもよい。

出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、図２に示す出力装置３００を形成し得る。即ち、情報処理装置１００は、出力装置３００としての機能を有していてもよい。

ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図２に示す第１の記憶部１２０及び第２の記憶部１４０を形成し得る。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。本実施形態では、例えば、接続ポート９１１に入力装置２００が接続され、入力装置２００により入力された板書画像が情報処理装置９００に出力される。本実施形態では、例えば、接続ポート９１１に出力装置３００が接続され、情報処理装置９００により記録された記録画像が出力装置３００に出力される。

通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。本実施形態では、例えば、通信装置９１３は、入力装置２００から板書画像を受信し、出力装置３００へ記録画像を送信し得る。

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

＜＜５．まとめ＞＞
以上、図１〜図１４を参照して、本開示の一実施形態について説明した。上記説明したように、本実施形態に係る情報処理装置１００は、筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて筆記情報を含む筆記対象を示す板書画像を特定する。情報処理装置１００は、筆記情報の変化に基づいて記録すべき板書画像を特定することで、筆記対象に筆記された筆記情報の量が最も多いタイミングの板書画像を特定し、記録することができる。また、情報処理装置１００は、連続的に入力される板書画像をそのまま逐次記録するのではなく、その一部の板書画像を選択的に記録する。これにより、筆記対象に筆記された筆記情報の効率的な記録が実現される。具体的には、板書画像を記憶するストレージ容量の削減が実現される。さらには、板書画像の伝送のための伝送量の削減もが実現される。

本実施形態に係る情報処理装置１００は、現時刻の板書画像を過去の板書画像と比較して変化量を計算し、かかる変化量に基づいて変化の開始点、確定点及び終了点の各々を検出する。そして、情報処理装置１００は、変化の発生が確定した場合に限定して板書画像を記録する。従って、無駄な記録の発生を防止することができる。さらに、情報処理装置１００は、消去の開始前又は追加の終了後の板書画像を記録するので、情報が欠落した状態で板書画像が記録されることを防止することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、記録画像は情報処理装置１００に記憶されるものとして説明したが、本技術はかかる例に限定されない。情報処理装置１００により記録すべき画像として特定された板書画像は、情報処理装置１００から出力され、外部の記憶媒体により記憶されてもよい。

なお、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図２に示した情報処理装置１００の機能構成例のうち、第２の記憶部１４０及び出力制御部１５０が、取得部１１０、第１の記憶部１２０及び検出部１３０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。

また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定する制御部、
を備える情報処理装置。
（２）
前記制御部は、前記筆記情報の変化量の時間変化に基づいて、前記筆記情報の変化が一時的な変化であるか否かを判定し、前記筆記情報の変化が一時的な変化ではないと判定した場合に、前記画像を特定する、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記変化量と第１の閾値との比較結果に基づいて、前記筆記情報の変化が一時的な変化であるか否かを判定する、前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記筆記情報の前記変化量の時間変化に基づいて、前記筆記情報の変化が開始するタイミングを示す第１のタイミングを検出する、前記（３）に記載の情報処理装置。
（５）
前記制御部は、前記変化量が第２の閾値以下である場合、前記変化量の時間変化が所定の勾配を示したタイミングを、前記第１のタイミングとして検出する、前記（４）に記載の情報処理装置。
（６）
前記制御部は、前記筆記情報の変化が一時的でないと判定した後、前記変化量と第２の閾値との比較結果に基づいて、前記筆記情報の変化が終了するタイミングを示す第２のタイミングを検出する、前記（５）に記載の情報処理装置。
（７）
前記筆記情報の変化が前記筆記情報の消去である場合、
前記制御部は、前記第１のタイミングに対応する前記画像を特定する、前記（４）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記筆記情報の変化が前記筆記情報の追加である場合、
前記制御部は、前記第２のタイミングに対応する前記画像を特定する、前記（６）に記載の情報処理装置。
（９）
前記制御部は、前記画像が取得される度に前記筆記対象に筆記された前記筆記情報の変化を検出し、前記第１の閾値及び前記第２の閾値を、前記画像が取得される間隔に応じて設定する、前記（６）に記載の情報処理装置。
（１０）
前記制御部は、前記筆記対象に前記筆記情報を筆記する筆記者が筆記用具を保持する動作に基づいて、前記第１のタイミングを検出する、前記（４）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記制御部は、前記筆記対象に前記筆記情報を筆記する筆記者が筆記用具を放す動作に基づいて、前記第２のタイミングを検出する、前記（６）に記載の情報処理装置。
（１２）
前記制御部は、前記第１のタイミングから前記第２のタイミングまでに前記筆記対象において変化が生じた変化領域を特定する、前記（６）に記載の情報処理装置。
（１３）
前記変化量は、所定時間当たりの前記筆記情報の変化量である、前記（２）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記制御部は、前記画像と前記変化領域を示す変化領域情報とを対応付ける、前記（１２）又は（１３）に記載の情報処理装置。
（１５）
前記制御部は、特定された前記画像に前記変化領域情報を重畳した画像を出力する、前記（１４）に記載の情報処理装置。
（１６）
前記制御部は、特定された前記画像を記録する制御を行う、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記制御部は、検出対象のタイミングにおける前記筆記情報を含む前記筆記対象を示す画像と、前記検出対象のタイミングの所定時間前のタイミングにおける前記筆記情報を含む前記筆記対象を示す画像とを比較することで、前記変化を検出する、前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記画像は、撮像装置により前記筆記対象が撮像された画像に基づいて取得される画像である、前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定すること、
を含む、プロセッサにより実行される情報処理方法。
（２０）
コンピュータに、
筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定することを、
実行させるためのプログラム。

１ システム
１００ 情報処理装置
１１０ 取得部
１２０ 第１の記憶部
１３０ 検出部
１４０ 第２の記憶部
１５０ 出力制御部
２００ 入力装置
３００ 出力装置

Claims (20)

1. 筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定する制御部、
   を備える情報処理装置。
2. 前記制御部は、前記筆記情報の変化量の時間変化に基づいて、前記筆記情報の変化が一時的な変化であるか否かを判定し、前記筆記情報の変化が一時的な変化ではないと判定した場合に、前記画像を特定する、請求項１に記載の情報処理装置。
3. 前記制御部は、前記変化量と第１の閾値との比較結果に基づいて、前記筆記情報の変化が一時的な変化であるか否かを判定する、請求項２に記載の情報処理装置。
4. 前記制御部は、前記筆記情報の前記変化量の時間変化に基づいて、前記筆記情報の変化が開始するタイミングを示す第１のタイミングを検出する、請求項３に記載の情報処理装置。
5. 前記制御部は、前記変化量が第２の閾値以下である場合、前記変化量の時間変化が所定の勾配を示したタイミングを、前記第１のタイミングとして検出する、請求項４に記載の情報処理装置。
6. 前記制御部は、前記筆記情報の変化が一時的でないと判定した後、前記変化量と第２の閾値との比較結果に基づいて、前記筆記情報の変化が終了するタイミングを示す第２のタイミングを検出する、請求項５に記載の情報処理装置。
7. 前記筆記情報の変化が前記筆記情報の消去である場合、
   前記制御部は、前記第１のタイミングに対応する前記画像を特定する、請求項４に記載の情報処理装置。
8. 前記筆記情報の変化が前記筆記情報の追加である場合、
   前記制御部は、前記第２のタイミングに対応する前記画像を特定する、請求項６に記載の情報処理装置。
9. 前記制御部は、前記画像が取得される度に前記筆記対象に筆記された前記筆記情報の変化を検出し、前記第１の閾値及び前記第２の閾値を、前記画像が取得される間隔に応じて設定する、請求項６に記載の情報処理装置。
10. 前記制御部は、前記筆記対象に前記筆記情報を筆記する筆記者が筆記用具を保持する動作に基づいて、前記第１のタイミングを検出する、請求項４に記載の情報処理装置。
11. 前記制御部は、前記筆記対象に前記筆記情報を筆記する筆記者が筆記用具を放す動作に基づいて、前記第２のタイミングを検出する、請求項６に記載の情報処理装置。
12. 前記制御部は、前記第１のタイミングから前記第２のタイミングまでに前記筆記対象において変化が生じた変化領域を特定する、請求項６に記載の情報処理装置。
13. 前記変化量は、所定時間当たりの前記筆記情報の変化量である、請求項２に記載の情報処理装置。
14. 前記制御部は、前記画像と前記変化領域を示す変化領域情報とを対応付ける、請求項１２に記載の情報処理装置。
15. 前記制御部は、特定された前記画像に前記変化領域情報を重畳した画像を出力する、請求項１４に記載の情報処理装置。
16. 前記制御部は、特定された前記画像を記録する制御を行う、請求項１に記載の情報処理装置。
17. 前記制御部は、検出対象のタイミングにおける前記筆記情報を含む前記筆記対象を示す画像と、前記検出対象のタイミングの所定時間前のタイミングにおける前記筆記情報を含む前記筆記対象を示す画像とを比較することで、前記変化を検出する、請求項１に記載の情報処理装置。
18. 前記画像は、撮像装置により前記筆記対象が撮像された画像に基づいて取得される画像である、請求項１に記載の情報処理装置。
19. 筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定すること、
    を含む、プロセッサにより実行される情報処理方法。
20. コンピュータに、
    筆記対象に筆記された筆記情報の変化を検出し、検出された変化に基づいて前記筆記情報を含む前記筆記対象を示す画像を特定することを、
    実行させるためのプログラム。
    

Images