JP2006162692A - Automatic lecture content creating system - Google Patents
Automatic lecture content creating system Download PDFInfo
- Publication number
- JP2006162692A JP2006162692A JP2004350190A JP2004350190A JP2006162692A JP 2006162692 A JP2006162692 A JP 2006162692A JP 2004350190 A JP2004350190 A JP 2004350190A JP 2004350190 A JP2004350190 A JP 2004350190A JP 2006162692 A JP2006162692 A JP 2006162692A
- Authority
- JP
- Japan
- Prior art keywords
- blackboard
- area
- video
- image
- lecture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、通常教室における板書による講義からＷｅｂコンテンツを自動生成する講義コンテンツ自動作成システムに関するものである。 The present invention relates to a lecture content automatic creation system that automatically generates Web content from a lecture written in a regular classroom.
近年、インターネット技術の発展により、教育現場において、講義のリアルタイム配信やオン・デマンド配信を行うためのｅ−Ｌｅａｒｎｉｎｇシステムの導入が増加している。これにより、直接参加することでしか体験できなかった講義の内容をデジタル的に保存でき、Ｗｅｂコンテンツとして時間や場所の制約を受けずに受講することが可能となってきている。
このように講義をデジタルコンテンツ化して配信する場合、ＰＣ上の電子スライドだけを利用しているのであれば、ＰＣとビデオカメラのみの簡便なハードウェア環境で、資料提示のタイミングと同期をとりながらコンテンツを自動作成することが可能である。
しかしながら、一般の連続講義において、すべての内容を電子スライドとして準備することは相当な負担を教員に強いることになる。これに対して、電子ホワイトボードなどが設置された特別な教室を用意すれば、一般の講義で提示されるような板書データをコンテンツ化することができるが、この場合もすべての教室に設置するには膨大な経費が必要になる。また、電子ホワイトボードやタブレットＰＣを利用できたとしても、板書スペースが黒板と比べて非常に小さいため、数式や図を多用する理工系の講義では使いにくいという不満もある。学習教材としてのｅ−Ｌｅａｒｎｉｎｇコンテンツを教育現場に広く普及させることができないのは、以上のような原因によるところが大きいと考えられる。
In recent years, with the development of Internet technology, the introduction of e-learning systems for performing real-time distribution of lectures and on-demand distribution in an education field is increasing. As a result, the contents of lectures that could only be experienced through direct participation can be stored digitally and can be taken as Web contents without being restricted by time or place.
In the case of distributing lectures as digital contents in this way, if only the electronic slides on the PC are used, it is possible to synchronize the timing of presentation of materials in a simple hardware environment consisting only of a PC and a video camera. It is possible to create content automatically.
However, in general continuous lectures, preparing all the contents as electronic slides imposes a considerable burden on teachers. On the other hand, if you prepare a special classroom with an electronic whiteboard, etc., you can create the contents of the blackboard data that is presented in a general lecture, but in this case too, install it in all classrooms. Requires a huge amount of money. Even if an electronic whiteboard or tablet PC can be used, the board writing space is very small compared to the blackboard, so there is a complaint that it is difficult to use in science and engineering lectures that frequently use mathematical formulas and diagrams. The reason why e-learning content as a learning material cannot be widely spread in the educational field is considered to be largely due to the reasons described above.
このような問題に対し、最近、一般的な黒板での講義をデジタルコンテンツ化する手法が提案されている（例えば非特許文献１，非特許文献２）。しかしながら、これらの手法は板書文字を画像として保存しているため、実際の講義と比較して臨場感に欠けるという欠点がある。この問題を解決するためには、黒板映像を高解像度で配信すればよいが、それにはこれまで以上に広帯域のインターネット環境が広く普及していることが前提となり、必ずしも現実的といえない。
本発明の課題は、上記の問題を解決し、通常教室における板書による講義を特別なハードウェアを用意することなく、高圧縮なコンテンツを自動生成できる講義コンテンツ自動作成システムを提供することである。 An object of the present invention is to solve the above problems and provide an automatic lecture content creation system capable of automatically generating highly compressed content without preparing special hardware for a lecture by a board in a normal classroom.
上記の課題を解決するために、本発明は、黒板への板書による講義をカメラで撮影した映像からＷｅｂコンテンツを自動生成する講義コンテンツ自動作成システムであって、前記カメラの映像から黒板全体を含む映像を取得する黒板映像取得手段と、前記黒板映像から黒板領域を抽出する黒板領域抽出手段と、前記黒板領域から講師領域を抽出する講師領域抽出手段と、前記講師領域に対応して、前記黒板映像から講師映像を切り出す講師映像生成手段と、一定期間ごとに、前記黒板領域から該一定期間に板書の追加又は板書の消去が行なわれた板書領域を抽出する板書領域抽出手段と、前記板書領域から板書をライン検出してベクトルデータを生成するベクトルデータ生成手段と、前記講師映像と、仮想黒板上の該当する前記板書領域に前記ベクトルデータを表示した画像を、別々のウインドウに合成するｗｅｂコンテンツ作成手段とを備えることを特徴とする講義コンテンツ自動作成システムである。
前記黒板映像取得手段は、複数台のカメラからの映像をパノラマ合成して黒板全体を含む黒板映像を取得することを特徴としてもよい。
また、前記講師領域抽出手段は、前記黒板領域抽出手段により黒板映像の最初の１フレームから抽出された黒板領域と、現在の黒板領域とを比較して講師領域を抽出することを特徴としてもよい。
また、前記板書領域抽出手段は、前記一定期間内に講師領域が存在した領域から現在の講師領域の位置を除いた検索領域内において、前記一定期間の直前の前記仮想黒板と比較して輝度値が高く又は低くなった領域を板書の追加又は板書の消去が行なわれた板書領域として抽出することを特徴としてもよい。
また、前記ベクトルデータ生成手段は、前記板書領域が板書の追加である場合には、前記ライン検出によるライン数が一定数以上である場合にのみベクトルデータを生成することを特徴としてもよい。
また、前記ベクトルデータ生成手段は、前記板書領域が板書の消去である場合には、前記ライン検出によるライン数が前記仮想黒板のライン数よりも少ない場合にのみベクトルデータを生成することを特徴としてもよい。
上記に記載の講義コンテンツ自動作成システムの機能をコンピュータ・システムに実現させるためのプログラムも、本発明である。
In order to solve the above-described problems, the present invention is a lecture content automatic creation system that automatically generates Web content from a video of a lecture written in blackboard on a blackboard taken by a camera, and includes the entire blackboard from the video of the camera Corresponding to the instructor area, the blackboard image acquiring means for acquiring the image, the blackboard area extracting means for extracting the blackboard area from the blackboard image, the instructor area extracting means for extracting the instructor area from the blackboard area, Lecturer video generation means for cutting out the lecturer video from the video, board writing area extraction means for extracting a board writing area in which the blackboard is added or erased from the blackboard area for a certain period, and the board writing area. A vector data generating means for generating a vector data by detecting a line from the board, a lecturer image, and the corresponding board writing area on the virtual blackboard An image displaying the vector data, a lecture content automated production system, characterized in that it comprises a web content creation means for synthesizing a separate window.
The blackboard image acquisition means may acquire a blackboard image including the entire blackboard by panoramic synthesis of images from a plurality of cameras.
The instructor area extracting unit may extract the instructor area by comparing the blackboard area extracted from the first frame of the blackboard image by the blackboard area extracting unit with the current blackboard area. .
Further, the board writing area extraction means is a luminance value compared with the virtual blackboard immediately before the predetermined period in a search area obtained by removing the position of the current instructor area from the area where the instructor area exists within the predetermined period. It is possible to extract the region where the height is higher or lower as the post-writing region where the post-writing is added or the post-writing is deleted.
The vector data generation means may generate vector data only when the number of lines detected by the line detection is equal to or greater than a certain number when the board writing area is an addition of board writing.
Further, the vector data generating means generates vector data only when the number of lines detected by the line detection is less than the number of lines of the virtual blackboard when the board writing area is a board writing erasure. Also good.
A program for causing a computer system to realize the function of the lecture content automatic creation system described above is also the present invention.
本発明の講義コンテンツ自動作成システムによれば、画像処理により黒板の板書文字を時系列的にベクトルデータ化して提示することにより、通常教室における講義をデジタルコンテンツ化して、現状のインターネット環境でもストレスなく快適に遠隔配信できるシステムを提案する。本システムでは、まずカメラで撮影された黒板映像から、ライン検出により板書文字をベクトルデータとして抽出している。また、画像の差分処理により、壇上を移動する講師を追跡して、小さなフレームとして講師映像を切り出す。つぎに、仮想黒板に、抽出したベクトルデータを板書文字として時系列的に講師映像と同期しながら表示できるように、Ｗｅｂコンテンツを作成しているので、このＷｅｂコンテンツをインターネット配信することができる。
このようにして、通常教室における板書による講義を特別なハードウェアを用意することなく、高圧縮なコンテンツを自動生成することができる。
According to the lecture content automatic creation system of the present invention, the blackboard blackboard letters are converted into vector data in time series by image processing, and the lectures in the normal classroom are converted into digital contents, so that there is no stress even in the current Internet environment. We propose a system that allows comfortable remote distribution. In this system, first, a blackboard picture taken by a camera is extracted as vector data from a blackboard image by line detection. Moreover, the lecturer moving on the platform is tracked by image difference processing, and the lecturer video is cut out as a small frame. Next, since the Web content is created on the virtual blackboard so that the extracted vector data can be displayed as a board letter in time series in synchronization with the lecturer video, the Web content can be distributed over the Internet.
In this way, it is possible to automatically generate highly compressed content without preparing special hardware for lectures in a blackboard in a normal classroom.
以降、本発明の講義コンテンツ自動作成システムの実施の形態を詳細に説明する。 Hereinafter, embodiments of the lecture content automatic creation system of the present invention will be described in detail.
＜１．システム構成＞
まず、本実施形態の講義コンテンツ自動作成システムのシステム構成の一例を、図１のシステム構成図を参照しながら説明する。
図１に示すように、本実施形態のシステムでは黒板１１０（通常の黒板のほか、ホワイトボード等であってもよい）を設置している教室において、講師１２０が黒板１１０を用いて行なう講義に対してカメラ１３０を用いて撮影を行う。なお、本実施形態では講師１２０が１人であることを想定している。また、図１ではカメラを３台用いる場合を図示しているが、黒板の大きさ等に応じて何台でもよい。
本実施形態のシステムにおいては、カメラ１３０で撮影した映像をデジタル的にサーバ１４０に取り込んで処理する。複数台のカメラ１３０で撮影した場合には、各々のカメラ１３０で撮影した映像を同期してデジタル的にサーバ１４０に取り込み、パノラマ合成処理により、黒板全体を含む１枚の映像として捉えた高解像度映像を取得する。なお、パノラマ合成処理の方法は後で詳しく説明する。
<1. System configuration>
First, an example of the system configuration of the lecture content automatic creation system of this embodiment will be described with reference to the system configuration diagram of FIG.
As shown in FIG. 1, in the system of this embodiment, in a classroom where a blackboard 110 (a whiteboard or the like may be used instead of a normal blackboard), a lecturer 120 performs a lecture using the blackboard 110. On the other hand, shooting is performed using the camera 130. In the present embodiment, it is assumed that there is only one lecturer 120. Further, FIG. 1 shows a case where three cameras are used, but any number may be used depending on the size of the blackboard.
In the system of the present embodiment, video captured by the camera 130 is digitally captured in the server 140 and processed. When captured by a plurality of cameras 130, the images captured by each camera 130 are synchronized and digitally loaded into the server 140, and a high resolution captured as a single image including the entire blackboard by panorama synthesis processing. Get video. The panorama composition processing method will be described in detail later.
図２に、本実施形態のシステムで行なう処理の全体的な流れを示す。まず、前処理（Ｓ２１０）として、黒板全体を含む１枚の映像として捉えた高解像度映像を合成する。本実施形態においては、まず複数のカメラ映像の色調特性を均一になるように補正し、次に黒板全体が１つの映像となるようにパノラマ合成を行なう。
そして、講義の撮影時には、複数のカメラによる映像を同期しながら取り込み、上記の前処理により得られたパラメータを用いて、リアルタイムに色調補正（Ｓ２２０）及びパノラマ合成（Ｓ２３０）を行いながら、映像をデジタル的に保存していく。
次に、得られた高解像度のパノラマ映像から、背景差分を用いて講師領域を取得し、講師映像を分離して保存する（Ｓ２４０）。また、黒板上で一定期間変化が保持されている部分を板書がなされた部分と判断して、これを時系列的な差分画像として板書データを保存する。さらに、得られた板書データをブロック化し、それらを細線化してベクトルデータに変換する（Ｓ２５０）。このようにベクトルデータに変換することにより大幅なデータ圧縮が可能になる。
また、生成したベクトルデータを用いて、メモリ内に設けた仮想黒板にリアルタイムに板書を追加する（Ｓ２６０）。これは、上述の板書データ取得の際に、現在の板書と今までの板書と比較する際に用いる。
FIG. 2 shows the overall flow of processing performed by the system of this embodiment. First, as preprocessing (S210), a high-resolution video captured as a single video including the entire blackboard is synthesized. In this embodiment, first, the tone characteristics of a plurality of camera images are corrected to be uniform, and then panorama synthesis is performed so that the entire blackboard becomes one image.
At the time of taking a lecture, the images taken by a plurality of cameras are captured in synchronism, and the images are obtained while performing color tone correction (S220) and panorama synthesis (S230) in real time using the parameters obtained by the above preprocessing. Save digitally.
Next, a lecturer area is acquired from the obtained high-resolution panoramic video using a background difference, and the lecturer video is separated and stored (S240). Further, a portion on the blackboard where the change is held for a certain period is determined as a portion on which a blackboard is written, and the blackboard data is stored as a time-series difference image. Further, the obtained board writing data is made into a block, thinned and converted into vector data (S250). In this way, significant data compression is possible by converting to vector data.
Also, using the generated vector data, a blackboard is added in real time to the virtual blackboard provided in the memory (S260). This is used when comparing the current board writing with the previous board writing at the time of obtaining the above-mentioned board writing data.
次に、上記で生成された講師映像およびベクトルデータから、Ｗｅｂコンテンツを生成する（Ｓ２７０）。このＷｅｂコンテンツは、例えば、講師映像と仮想黒板を表示し、講師映像と同期しながら、仮想黒板上にベクトルデータを用いて板書を提示するものである。
本実施形態では上述のようにして、講義の映像からリアルタイムにＷｅｂコンテンツを生成することができる。生成されたＷｅｂコンテンツは、図１に示すように、インターネット等のネットワーク１５０を介して、受講者が利用するパソコンなどの端末１６０に配信される。このようにして、受講者は端末１６０のブラウザ上で講義を閲覧することができる。
Next, Web content is generated from the lecturer video and vector data generated above (S270). For example, the Web content displays a lecturer video and a virtual blackboard, and presents a board using vector data on the virtual blackboard while synchronizing with the lecturer video.
In the present embodiment, Web content can be generated in real time from lecture videos as described above. As shown in FIG. 1, the generated Web content is distributed to a terminal 160 such as a personal computer used by students through a network 150 such as the Internet. In this way, the student can view the lecture on the browser of the terminal 160.
＜２．複数台のカメラからの高解像度黒板映像の合成＞
複数台のカメラから捉えた黒板映像から板書データを抽出するためには、上述したように、前処理として、複数のカメラからの映像を、黒板全体を１枚の映像として捉えた高解像度映像として合成する必要がある。本実施形態においては、まず複数のカメラ映像の色調特性を均一になるように補正し、次に黒板全体が１つの映像となるようにパノラマ合成を行なう。以降、この方法について説明する。
<2. Synthesis of high-resolution blackboard video from multiple cameras>
In order to extract blackboard data from blackboard images captured from multiple cameras, as described above, as a pre-process, the images from multiple cameras are converted into high-resolution images that capture the entire blackboard as a single image. Need to synthesize. In this embodiment, first, the tone characteristics of a plurality of camera images are corrected to be uniform, and then panorama synthesis is performed so that the entire blackboard becomes one image. Hereinafter, this method will be described.
図３はその手順を示したフローチャートである。まず、黒板全体を撮影するのに十分な台数のカメラを用意し、複数視点から黒板映像を取得する（Ｓ３１０）。次に、各映像間の色調特性を均一にするための色変換パラメータを求める（Ｓ３２０）。
次に、隣接するカメラが重複して撮影している共通部分にキャリブレーションパターンを配置して、各カメラで捉えた黒板の画像と仮想黒板との射影関係を算出し（Ｓ３３０）、仮想黒板と一致させるように画像変形を行ない（Ｓ３４０）、変形した画像をパノラマ合成する（Ｓ３５０）。このようにして、画像間で継ぎ目のない黒板全体のパノラマ画像を生成する。
また、この前処理で求めたパラメータを用いて、同様にリアルタイムでの色調補正（図２のＳ２２０）およびリアルタイムでのパノラマ合成（図２のＳ２３０）を行なう。
以降、各々の処理について詳しく説明する。
FIG. 3 is a flowchart showing the procedure. First, a sufficient number of cameras for photographing the entire blackboard are prepared, and blackboard images are acquired from a plurality of viewpoints (S310). Next, a color conversion parameter for making the color tone characteristics between the images uniform is obtained (S320).
Next, a calibration pattern is arranged in a common part that is taken by overlapping cameras adjacent to each other, and a projection relationship between the blackboard image captured by each camera and the virtual blackboard is calculated (S330). The image is deformed so as to match (S340), and the deformed image is panorama synthesized (S350). In this way, a panoramic image of the entire blackboard that is seamless between the images is generated.
Further, using the parameters obtained in this preprocessing, color tone correction in real time (S220 in FIG. 2) and panoramic synthesis in real time (S230 in FIG. 2) are similarly performed.
Hereinafter, each process will be described in detail.
＜３．色調補正＞
上述したように、本実施形態においては、複数のカメラによる黒板映像から、黒板全体が１つの映像となるようにパノラマ合成を行なう。
ここで、各カメラの色調特性が異なると、黒板のパノラマ映像の色調が不均一になるため、映像の継ぎ目部分で板書データの抽出に失敗する可能性がある。したがって、パノラマ合成処理を行う前に各映像の色調を補正する必要がある。
本実施形態においては、色調補正を「池田聖，佐藤智和，横矢直和，”全方位型マルチカメラシステムを用いた高解像度な全天球パノラマ動画像の生成とテレプレゼンスへの応用，” 日本バーチャルリアリティ学会論文誌，Ｖｏｌ．８， Ｎｏ．４， ｐｐ．４４３−４５０， Ｄｅｃ．２００３」等に記載されている従来技術を用いて行なう。すなわち、まず、適当な多色の基準色パターンを作成し、各カメラでそのパターンを含む黒板領域を撮影する。次に、これら各画像のヒストグラムが一致するように最適な線形明度変換パラメータを算出して、色調補正を行なう。
<3. Color correction>
As described above, in the present embodiment, panorama composition is performed from a blackboard image by a plurality of cameras so that the entire blackboard becomes one video.
Here, if the color tone characteristics of each camera are different, the color tone of the panoramic video on the blackboard becomes non-uniform, and there is a possibility that the extraction of the blackboard data may fail at the joint portion of the video. Therefore, it is necessary to correct the color tone of each video before performing the panorama synthesis process.
In this embodiment, the color correction is “Sei Ikeda, Tomokazu Sato, Naokazu Yokoya,“ Generation of high-resolution panoramic video using an omnidirectional multi-camera system and application to telepresence, ”Japan. This is performed using the conventional technology described in the Virtual Reality Society paper, Vol.8, No.4, pp.443-450, Dec.2003 ". That is, first, an appropriate multicolor reference color pattern is created, and a blackboard area including the pattern is photographed by each camera. Next, an optimum linear lightness conversion parameter is calculated so that the histograms of these images match, and color tone correction is performed.
＜４．パノラマ合成＞
板書データを正確に再現するためには、黒板全体を正面から捉えた歪のない高解像度映像が必要になる。このためにはハイビジョンカメラなどの高解像度カメラを用いればよいが、本実施形態では、安価にシステムを構築できるように、市販のビデオカメラを複数台用いて黒板全体を撮影して所望のパノラマ映像を生成する。
ｎ台のカメラを用いるとする（図４では３台のカメラを用いた場合を示している）と、図４（ａ）に示すように、まず、黒板４００を水平方向にｎ等分（図４では３等分）した位置に、適当な大きさの白い正方形のキャリブレーションパターン４１０，４２０を配置する。そして図４（ｂ）に示すように、これらの正方形パターンが隣接カメラの共通撮影領域に必ず含まれ、かつｎ台のカメラ映像が黒板全体を覆うように撮影する。図４（ｂ）では、黒板４００を３台のカメラで撮影した場合の各々のカメラの映像を示している。
次に、図４（ｃ）に示すようなｎ−１個（図４では２個）の正方形パターン４１０，４２０を含み、正面から見込んだ黒板全体の仮想画像を考え、この仮想黒板上の正方形の頂点と各映像上の特徴点との対応関係から映像間の射影変換を求める。黒板は３次元空間上の平面として記述されるので、２つの画像中に捉えられた平面上の点の射影変換は次式で記述できる。
<4. Panorama composition>
In order to accurately reproduce the blackboard data, a high-resolution image without distortion that captures the entire blackboard from the front is required. For this purpose, a high-resolution camera such as a high-definition camera may be used. In this embodiment, a desired panoramic image is obtained by photographing the entire blackboard using a plurality of commercially available video cameras so that a system can be constructed at low cost. Is generated.
Assuming that n cameras are used (FIG. 4 shows a case where three cameras are used), as shown in FIG. 4A, first, the blackboard 400 is divided into n equal parts (see FIG. 4). In FIG. 4, white square calibration patterns 410 and 420 having appropriate sizes are arranged at positions divided into three equal parts. Then, as shown in FIG. 4B, these square patterns are always included in the common shooting area of adjacent cameras, and n camera images are shot so as to cover the entire blackboard. FIG. 4B shows images of each camera when the blackboard 400 is photographed by three cameras.
Next, a virtual image of the entire blackboard including n-1 (two in FIG. 4) square patterns 410 and 420 as shown in FIG. Projective transformation between videos is obtained from the correspondence between the vertices of the video and feature points on each video. Since the blackboard is described as a plane in a three-dimensional space, the projective transformation of points on the plane captured in the two images can be described by the following equation.
上式において、（ｕｉ，ｖｉ）と（ｕｋｉ，ｖｋｉ）は、それぞれ正方形パターンのｉ番目（ｉ＝１〜４）の頂点の仮想画像上における画像座標とｋ番目（ｋ＝１〜ｎ）のカメラから撮影した映像上における画像座標である。αｉ ｋは定数、Ｈｋはホモグラフィー行列と呼ばれる。上式から、ホモグラフィー行列Ｈｋは、スカラ倍の自由度を除けば、８個の未知数として記述できるので、３次元空間内で同一平面上にある4点以上の画像上での対応が分かれば直接に求められることがわかる。カメラ映像上の正方形の４頂点の画像位置は、画像勾配の直交性を用いたコーナー検出手法により、サブピクセル精度で抽出している。なお、この方法については「Ｊ．Ｓｈｉ ａｎｄ Ｃ．Ｔｏｍａｓｉ， ”Ｇｏｏｄ ｆｅａｔｕｒｅｓ ｔｏ ｔｒａｃｋ，”ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ’９４）， ｐｐ．５９３−６００， Ｊｕｎｅ １９９４．」を参照されたい。 In the above equation, (u i , v i ) and (u ki , v ki ) are respectively the image coordinates on the virtual image of the i-th (i = 1 to 4) vertex of the square pattern and the k-th (k = 1). To n) are image coordinates on the video taken by the camera. α i k is a constant, and H k is called a homography matrix. From the above equation, the homography matrix H k can be described as eight unknowns except for the degree of freedom of scalar multiplication, so the correspondence on four or more images on the same plane in three-dimensional space is divided. It can be seen that it is directly required. The image positions of the four vertices of the square on the camera image are extracted with subpixel accuracy by a corner detection method using orthogonality of the image gradient. For this method, refer to “J. Shi and C. Thomasi,“ Good features to track, ”IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR '94), p. I want to be.
ｎ枚の映像を合成するためには、まず、１番目と２番目のカメラ映像と仮想黒板上の正方形の頂点の対応付けを行って、ホモグラフィー行列Ｈ１とＨ２を用いて仮想画像上の正方形と一致するように画像変形を行い、お互いが正方形を２分するように画像を接続する。これに得られた画像と３番目のカメラ映像に対して同様の処理を行い、図４（ｃ）のように、これをｎ番目のカメラ映像まで繰り返して、黒板全体を正面から見込んだ歪のないパノラマ画像を得る。
２台のカメラを用いて上述のパノラマ合成を行なった実際の例を図５に示す。図５（ａ）は、正方形パターンを見込んだ画像、（ｂ）はそれらをホモグラフィー行列により変形した画像、（ｃ）はパノラマ合成した画像である。
In order to synthesize n images, first, the first and second camera images are associated with the vertices of a square on the virtual blackboard, and the virtual images are displayed using the homography matrices H 1 and H 2. The images are deformed so as to match the squares of the two, and the images are connected so that each other bisects the squares. The same processing is performed on the obtained image and the third camera image, and this is repeated until the nth camera image as shown in FIG. Get no panoramic images.
FIG. 5 shows an actual example in which the above-described panorama composition is performed using two cameras. 5A is an image in which a square pattern is expected, FIG. 5B is an image obtained by transforming them with a homography matrix, and FIG. 5C is an image obtained by panoramic synthesis.
＜５．講師映像と板書文字のデータ生成＞
黒板での講義画像における重要な二つの要素は講師画像と板書文字（図形等を含む）である。本実施形態のシステムでは、これらをデジタル化していくことで講義中の情報を完全に再現する。
図６に、講義映像から講師画像と板書文字をデジタル化する処理全体のフローチャートを示す。まず、上述のパノラマ合成を行なって得た黒板映像から初期画像となる黒板領域を抽出する（Ｓ６１０）。この処理は最初に１度行なえばよい。
次に、リアルタイム処理として、現在の画像と初期画像との背景差分によりある程度の大きさの領域を講師映像として抽出し、その領域を現在の講師領域とする（Ｓ６２０）。また、一定期間ごとに講師が板書を行なった領域を背景差分により抽出し（Ｓ６３０）、その領域に対しライン検出を用いて板書文字をベクトルデータ化する（Ｓ６４０）。
このように板書データをベクトル化することにより、データ量を大幅に削減でき、また、拡大・縮小表示に対しても劣化の少ない映像情報を提示できる。
以降、図６のフローチャートに示した各々の処理について詳細に説明する。
<5. Data generation of lecturer video and board letter>
Two important elements in a lecture image on a blackboard are a lecturer image and a board letter (including graphics). In the system of the present embodiment, the information being lectured is completely reproduced by digitizing them.
FIG. 6 shows a flowchart of the entire process of digitizing the lecturer image and the board letter from the lecture video. First, a blackboard area serving as an initial image is extracted from the blackboard video obtained by performing the panorama synthesis (S610). This process may be performed once at the beginning.
Next, as real-time processing, an area of a certain size is extracted as a lecturer video based on the background difference between the current image and the initial image, and that area is set as the current lecturer area (S620). Further, an area where the instructor has performed the board writing at regular intervals is extracted by background difference (S630), and the board letter is converted into vector data by using line detection for the area (S640).
Thus, by vectorizing the blackboard data, the amount of data can be greatly reduced, and video information with little deterioration can be presented for enlarged / reduced display.
Hereinafter, each process shown in the flowchart of FIG. 6 will be described in detail.
（５−１．黒板領域の抽出）
黒板領域の抽出処理（図６のＳ６１０）を、図７のフローチャートに示す。まず、講師が映っていない初期画像を取得する（Ｓ７１０）。本実施形態では例えば講義を撮影した動画の最初の１フレームを取得するものとする。次に、初期画像に対してある程度の大きさの黒板領域の色の平均と分散からその色範囲を推定し、黒板の色である緑色の部分を取得する（Ｓ７２０）。次に、閾値処理を行なって黒板の範囲を取得する（Ｓ７３０）。ただし、そのままでは黒板の輪郭部分が直線にならないことがあるので、垂直・水平方向の各ラインの両端の座標の平均値を求め（Ｓ７４０）、その平均値により黒板領域を抽出する（Ｓ７５０）。
(5-1. Extraction of blackboard area)
The blackboard area extraction process (S610 in FIG. 6) is shown in the flowchart of FIG. First, an initial image in which a lecturer is not shown is acquired (S710). In this embodiment, for example, it is assumed that the first frame of a moving image in which a lecture is taken is acquired. Next, the color range is estimated from the average and variance of the color of the blackboard area of a certain size with respect to the initial image, and the green part which is the color of the blackboard is acquired (S720). Next, threshold value processing is performed to acquire a blackboard range (S730). However, since the outline portion of the blackboard may not be a straight line as it is, the average value of the coordinates of both ends of each line in the vertical and horizontal directions is obtained (S740), and the blackboard area is extracted based on the average value (S750).
（５−２．講師領域の抽出）
次に、講師領域の抽出処理（図６のＳ６２０）を、図８のフローチャートを参照しながら説明する。
講義中に移動する物体は講師だけであると仮定すると、移動体が存在しない画像（以下、背景画像と呼ぶ）と現在の画像との差分によって講師領域を抽出できる。しかし、板書文字も前景として抽出されてしまうため、講師領域と板書領域を区別しなければならない。
そこで、講師映像は板書文字に対して面積が大きいことから、背景画像と現在画像の差分（Ｓ８１０）により得られた領域に対して収縮処理（Ｓ８２０）を行なうことによって、講師の大部分を残すようにする。次に、膨張処理（Ｓ８３０）を行なって、ある程度の面積をもつ講師領域を抽出する。
ただし、そのままではチョークや講師の腕・指先などは最初に行う収縮処理（Ｓ８２０）により消去される可能性があるため、フレーム間差分を用いて動体検出（Ｓ８４０）を行ない、動体が検出された部分と上述で抽出された講師領域とを合成して、全体を覆う矩形をとることによって、講師領域を抽出する（Ｓ８５０）。ただし、講師の姿勢や動作によって講師領域の大きさや中心が変わるため、そのまま映像化すると細かく揺れる映像となる場合がある。そこで、本実施形態では、講師領域の中心点の座標をローパスフィルタに通して、急激な位置変化を抑制する。
また、もとの映像から、上記で抽出した講師領域を追いかけた講師映像（常に講師が映っている映像）を切り出して保存する（図２のＳ２４０）。この講師映像は、後述のＷｅｂブラウザに表示するための映像である。
(5-2. Extraction of lecturer area)
Next, the extraction process of the lecturer area (S620 in FIG. 6) will be described with reference to the flowchart in FIG.
If it is assumed that the only object that moves during the lecture is the lecturer, the lecturer region can be extracted based on the difference between the current image and an image in which no moving object exists (hereinafter referred to as a background image). However, since the written letters are also extracted as the foreground, it is necessary to distinguish between the lecturer area and the written area.
Therefore, since the lecturer video has a large area with respect to the board letter, the contractor process (S820) is performed on the region obtained by the difference between the background image and the current image (S810) to leave most of the lecturer. Like that. Next, an expansion process (S830) is performed to extract a lecturer area having a certain area.
However, since the choke and the instructor's arm / fingertips may be erased by the first contraction process (S820), the moving object detection (S840) is performed using the inter-frame difference, and the moving object is detected. The instructor area is extracted by synthesizing the portion and the instructor area extracted above and taking a rectangle covering the whole (S850). However, since the size and center of the lecturer area change depending on the attitude and movement of the lecturer, there are cases where the image is shaken finely when converted into an image. Therefore, in this embodiment, the coordinates of the center point of the lecturer area are passed through a low-pass filter to suppress a sudden position change.
Further, from the original video, the lecturer video (video where the lecturer is always shown) following the lecturer area extracted above is cut out and stored (S240 in FIG. 2). This lecturer video is a video to be displayed on a Web browser to be described later.
（５−３．板書領域の抽出とベクトルデータ生成）
次に、一定期間ごとに行なう板書領域の抽出処理（図６のＳ６３０）と、板書のベクトルデータ生成処理（図６のＳ６４０）について説明する。
一定期間に講師が黒板に書き込みや消去などを行って板書文字が更新される領域は、その期間に講師が移動した範囲以外に存在しない。そこで、図９に示すように、黒板領域９００から、講師領域９３０が一定期間に移動した範囲全体を抽出して保持し、その範囲から現在（一定期間の最後の１フレーム）の講師領域を除いた領域を、板書文字の更新情報を検索する検索領域９４０（図９では講師領域９３０の左右の淡いグレー部分２箇所）とする。なお、本実施形態のシステムにおいては、例として講義を３０フレーム／秒の動画として撮影し、１秒（３０フレーム）を上述の一定期間として処理を行なったが、動画の精度および検索領域を抽出する間隔は、これに限らない。
本実施形態では、上述で抽出した検索領域９４０から、さらに、板書が書き込まれた領域と板書が消去されたと判断される領域を板書領域として抽出し、その時刻や位置、書き込み／消去などの情報を板書の更新情報として保持（以降「中間データ」と呼ぶ）する。その後に、中間データに対応するフレームの画像から、より板書の領域を絞り込んだ板書データを抽出する。最後に、板書データをブロック化し、それらを細線化してベクトルデータを生成する。
(5-3. Extraction of board writing area and generation of vector data)
Next, a board writing area extraction process (S630 in FIG. 6) and a board vector data generation process (S640 in FIG. 6) performed at regular intervals will be described.
There is no area in which the written letters are updated by writing or erasing the blackboard on the blackboard during a certain period other than the area where the instructor has moved during that period. Therefore, as shown in FIG. 9, the entire range in which the instructor area 930 has moved for a certain period is extracted and held from the blackboard area 900, and the present instructor area (the last one frame in the certain period) is excluded from the range. The search area 940 (two light gray portions on the left and right sides of the instructor area 930 in FIG. 9) for searching for update information of the board letter is used. In the system of the present embodiment, as an example, a lecture is shot as a 30 frame / second moving image, and processing is performed with 1 second (30 frames) as the above-mentioned fixed period. However, the accuracy of the moving image and the search area are extracted. The interval to perform is not limited to this.
In the present embodiment, from the search area 940 extracted as described above, an area where the board writing is written and an area where the board writing is determined to be erased are extracted as the board writing area, and information such as time, position, writing / erasing, etc. Is stored as update information of the board (hereinafter referred to as “intermediate data”). After that, the board writing data in which the area of the board writing is further narrowed down is extracted from the frame image corresponding to the intermediate data. Finally, the board data is made into a block and thinned to generate vector data.
（１）中間データ生成
図１０は、検索領域から板書領域を抽出して中間データを生成する処理のフローチャートである。まず、上述の方法で一定期間（例えば１秒＝３０フレーム）における検索領域を抽出し（Ｓ１０１０）、その検索領域に対して背景差分を求める（Ｓ１０２０）。次に、求めた背景差分と現在までの板書を表示した仮想黒板（上述の図２のＳ２６０に示すようにリアルタイムで保持している）との差分を求め（Ｓ１０３０）、検索領域内である閾値以上輝度値が変化した領域を板書の更新情報とみなし（Ｓ１０４０でＹｅｓ）、その変化した領域の色および位置座標、輝度値により判断した書き込み・消去の別、および更新時刻を、中間データとして保存する（Ｓ１０５０）。
(1) Intermediate Data Generation FIG. 10 is a flowchart of processing for generating intermediate data by extracting a board writing area from a search area. First, a search area in a certain period (for example, 1 second = 30 frames) is extracted by the above-described method (S1010), and a background difference is obtained for the search area (S1020). Next, the difference between the obtained background difference and the virtual blackboard (which is held in real time as shown in S260 of FIG. 2 above) is displayed (S1030), and a threshold value within the search area is obtained. The area where the brightness value has changed is regarded as the update information of the board writing (Yes in S1040), and the color and position coordinates of the changed area, whether writing / erasing is judged based on the brightness value, and the update time are stored as intermediate data. (S1050).
（２）板書データ抽出とベクトルデータ生成
黒板による講義で板書された文字や図形は線分によって構成されているという特徴がある。そこで、本実施形態では、上述で生成した中間データに対応するフレームの画像から、さらに領域を絞り込んだ板書データを抽出してその領域をブロック化し、板書文字をライン検出によってベクトルデータ化する。なお、ここで中間データに対応するフレームとは、中間データの更新時刻に対応する一定期間の最後の１フレーム（上述の図９で検索領域を抽出したフレーム）である。
板書の書き込み部分である場合の処理のフローを図１１に、消去部分である場合の処理のフローを図１３に示す。
書き込み部分に対しては、まず膨張処理を行って、ある程度の大きさをもつ書き込み領域を抽出する（Ｓ１１１０）。この面積が閾値以上で、一定期間面積変化がほとんどない領域に対して、ゼロ交差点を用いたライン検出を行う（Ｓ１１２０）。
なお、ライン検出については「Ｃ．Ｓｔｅｇｅｒ，”Ａｎ Ｕｎｂｉａｓｅｄ Ｄｅｔｅｃｔｏｒ ｏｆ Ｃｕｒｖｉｌｉｎｅａｒ Ｓｔｒｕｃｔｕｒｅｓ，”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．２０， Ｎｏ．２， ｐｐ．１１３−１２５， Ｆｅｂ． １９９８」を参照されたい。
(2) Blackboard data extraction and vector data generation Characters and figures written in blackboard lectures are characterized by line segments. Therefore, in the present embodiment, the board writing data further narrowed down the area is extracted from the image of the frame corresponding to the intermediate data generated above, the area is blocked, and the board writing character is converted into vector data by line detection. Here, the frame corresponding to the intermediate data is the last one frame of a certain period corresponding to the update time of the intermediate data (the frame from which the search area is extracted in FIG. 9 described above).
FIG. 11 shows a processing flow in the case of the writing portion of the board, and FIG. 13 shows a processing flow in the case of the erasing portion.
For the writing portion, first, expansion processing is performed to extract a writing region having a certain size (S1110). Line detection using a zero crossing point is performed for a region where the area is equal to or larger than the threshold and the area is hardly changed for a certain period (S1120).
For line detection, refer to “C. Steger,“ An Undetected Detector of Curvicular Structures, ”IEEE Transaction on Pattern Analysis, No. 2, Vol. I want.
ライン数がある程度以上になった場合（Ｓ１１３０でＹｅｓの場合）、それらのラインに対して折れ線近似を用いて板書文字をベクトルデータ化して保存する（Ｓ１１４０）。また、このとき、図１２に示すように、上述のＳ１１１０で抽出した各々の書き込み領域ごとに、取得したラインの膨張画像全体を覆う最小の外接矩形（図１２では黒板１２００における１２１０ａ，１２１０ｂ，１２１０ｃの各矩形）を、その一定期間における更新領域（以降これを「ブロック」と呼ぶ）とし、その位置および時刻等を保存する。一方、上述で生成したベクトルデータを、このブロックと対応付ける。そして、Ｗｅｂコンテンツ上の仮想黒板に板書を表示する際に、講師映像と同期するように、対応するベクトルデータをブロック（更新領域）単位で仮想黒板に提示することで、仮想黒板上に時系列に板書を表示することができる。
一方、ライン数が満たなかった場合（Ｓ１１３０でＮｏの場合）には、その書き込み領域のブロック化およびベクトルデータの生成は行なわない。
なお、ベクトルデータの生成については「Ｕ．Ｒａｍｅｒ． ”Ａｎ ｉｔｅｒａｔｉｖｅ ｐｒｏｃｅｄｕｒｅ ｆｏｒ ｔｈｅ ｐｏｌｙｇｏｎａｌ ａｐｐｒｏｘｉｍａｔｉｏｎ ｏｆ ｐｌａｎｅ ｃｕｒｖｅｓ，”Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｇｒａｐｈｉｃｓ， ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， １：２４４−−２５６， １９７２．」を参照されたい。
If the number of lines exceeds a certain level (Yes in S1130), the handwritten characters are converted into vector data using the polygonal line approximation for those lines and stored (S1140). At this time, as shown in FIG. 12, for each writing area extracted in S1110, the minimum circumscribed rectangle (1210a, 1210b, 1210c in the blackboard 1200 in FIG. 12) covers the entire expanded image of the acquired line. Are used as update areas (hereinafter referred to as “blocks”) for a certain period, and their positions and times are stored. On the other hand, the vector data generated above is associated with this block. When displaying a blackboard on a virtual blackboard on Web content, the corresponding vector data is presented on the virtual blackboard in units of blocks (update areas) so as to synchronize with the lecturer video. You can display a blackboard.
On the other hand, if the number of lines is not satisfied (No in S1130), the writing area is not blocked and vector data is not generated.
For the generation of vector data, refer to “U. Ramer.“ An iterative procedure for the primary application of plane curves ”,“ Computer Vision, Graphics, and Image 24.
一方、消去部分に対しては、その領域を含む外接矩形を更新領域とし（Ｓ１３１０）、更新領域に対して再度ライン検出を行なって（Ｓ１３２０）、仮想黒板（現在までの板書データ）とのライン数の比較を行なう（Ｓ１３３０）。仮想黒板と比べてライン数が減少している場合（Ｓ１３４０でＹｅｓの場合）には、この領域について再度ベクトルデータの生成を行なう（Ｓ１３５０）。また、上述の書き込み部分と同様に、その更新領域をブロック化し、ブロックの位置および時刻等を保存する。これにより，板書文字を一部訂正したような場合でも忠実に再現することができる。一方、仮想黒板と比べてライン数が減少していない場合（Ｓ１３４０でＮｏの場合）には、ブロック化およびベクトルデータの生成は行なわない。
本実施形態のようにライン検出を用いることにより、板書文字の変化のみが抽出され、照明の変化などによって面的に変化した部分が誤って検出されないという利点がある。また、ベクトルデータとして出力されるためデータ容量がきわめて小さいという大きな利点もある。例えば、図１４（ａ）に示す板書を行なった約１分の映像（３０フレーム／秒，画像サイズ１２８０ピクセル×４８０ピクセル（６４０ピクセル×４８０ピクセル×２台））の場合、動画、画像切り出し、本手法のデータ容量は表１のようになった。なお、図１４（ｂ）はライン検出の結果である。
On the other hand, for the erased portion, the circumscribed rectangle including the area is set as the update area (S1310), line detection is performed again for the update area (S1320), and the line with the virtual blackboard (the current board writing data) The numbers are compared (S1330). If the number of lines is reduced as compared with the virtual blackboard (Yes in S1340), vector data is generated again for this area (S1350). Further, like the above-described writing portion, the update area is blocked and the block position and time are stored. This makes it possible to faithfully reproduce even the case where a part of the board letter is corrected. On the other hand, when the number of lines has not decreased compared to the virtual blackboard (No in S1340), block generation and generation of vector data are not performed.
By using line detection as in the present embodiment, there is an advantage that only a change in a board letter is extracted, and a portion that has been surface-changed due to a change in illumination or the like is not detected by mistake. Further, since it is output as vector data, there is a great advantage that the data capacity is extremely small. For example, in the case of a video of about 1 minute (30 frames / second, image size 1280 pixels × 480 pixels (640 pixels × 480 pixels × 2 units)) on which the board shown in FIG. Table 1 shows the data capacity of this method. FIG. 14B shows the result of line detection.
＜６．Ｗｅｂコンテンツ作成＞
最後に上述で分離・抽出した講師映像と板書のベクトルデータを用いて、ブラウザ上で講義を再現できるようにＷｅｂコンテンツを作成する。板書データをベクトル化して仮想黒板に描画するので、黒板全体の高解像度な映像を配信する必要がない。このため、データ配信の容量を大幅に小さくできるだけでなく、板書を自由に拡大縮小して表示することができる。これにより、受講者は、例えば講義時に見づらかった部分や見過ごした部分を、講義後自宅などでもう一度確認することができる。
本実施形態では、ＰＣ上のブラウザとして標準的に採用されているＨＴＭＬ，Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ，Ｊａｖａ Ａｐｐｌｅｔ，Ｗｉｎｄｏｗｓ（登録商標） Ｍｅｄｉａ Ｐｌａｙｅｒ（以下ＷＭＰ）を用いてＷｅｂコンテンツを作成するものとする。この方法によれば、すべての機能をテキスト形式で記述しているので、Ｊａｖａコンパイラさえ用意すれば、コンテンツを自動作成できるという大きな利点がある。
<6. Web content creation>
Finally, Web content is created so that the lecture can be reproduced on the browser by using the lecturer video and the vector data of the blackboard which are separated and extracted as described above. Since the blackboard data is vectorized and drawn on the virtual blackboard, there is no need to deliver a high-resolution video of the entire blackboard. For this reason, not only can the capacity of data distribution be significantly reduced, but also a blackboard can be freely enlarged and reduced for display. Thereby, the student can confirm once again the part which was hard to see at the time of a lecture, for example, or the part overlooked at home after a lecture.
In the present embodiment, Web content is created using HTML, Java (registered trademark) Script, Java Applet, Windows (registered trademark) Media Player (hereinafter referred to as WMP), which is standardly adopted as a browser on a PC. To do. According to this method, since all functions are described in a text format, there is a great advantage that contents can be automatically created if only a Java compiler is prepared.
図１５に、本実施形態で生成するＷｅｂコンテンツの画面の例を示す。図１５の画面１５００中の左上の講師映像フレーム１５２０には、講師領域を追いかけた映像である講師映像を表示する。また、下段の仮想黒板フレーム１５３０には板書のベクトルデータを表示する仮想黒板を表示し、この仮想黒板上でマウスをクリックすると、右上の拡大表示フレーム１５４０に、そのクリック点を中心とする拡大画像が得られるようになっている。さらに、「Ｚｏｏｍ Ｉｎ」ボタン１５６４および「Ｚｏｏｍ Ｏｕｔ」ボタン１５６３により、拡大表示の比率を変えることができる。なお、現在の比率を表示部１５６２に表示している。
表示部１５６１には、総再生時間と現在の再生時間を示している。「ＰＬＡＹ」ボタン１５５２は映像を再生するボタンであり、「ＳＴＯＰ」ボタン１５５３は映像の再生を停止するボタンであり、「ＰＡＵＳＥ」ボタン１５５４は映像の再生を一時停止するボタンである。またスライドバー１５５１をマウス等で左右に動かすことにより、映像の再生位置を制御できる。各動作の制御はＪａｖａＳｃｒｉｐｔを用いてＷＭＰやＪａｖａ Ａｐｐｌｅｔの関数を呼び出すことによって行っており、それらは連携して、講師映像と板書の時系列データを同期させながら提示している。以下に、これらの動作の仕組みをそれぞれ説明する。なお、これらの仕組みはすべて従来技術により実現することができる。また、上記以外の機能を付加してもよい。
FIG. 15 shows an example of a web content screen generated in the present embodiment. A lecturer video frame 1520 in the upper left of the screen 1500 in FIG. 15 displays a lecturer video that is a video following the lecturer area. A virtual blackboard displaying vector data of a blackboard is displayed in the lower virtual blackboard frame 1530. When the mouse is clicked on the virtual blackboard, an enlarged image centered on the click point is displayed in an enlarged display frame 1540 on the upper right. Can be obtained. Furthermore, an enlargement display ratio can be changed by a “Zoom In” button 1564 and a “Zoom Out” button 1563. The current ratio is displayed on the display unit 1562.
The display unit 1561 shows the total playback time and the current playback time. A “PLAY” button 1552 is a button for playing back video, a “STOP” button 1553 is a button for stopping playback of video, and a “PAUSE” button 1554 is a button for temporarily stopping playback of video. Further, the playback position of the video can be controlled by moving the slide bar 1551 left and right with a mouse or the like. Control of each operation is performed by calling a WMP or Java Applet function using JavaScript, and these are linked and presented while synchronizing the time series data of the lecturer video and the board. Hereinafter, the mechanism of these operations will be described. All of these mechanisms can be realized by conventional techniques. Moreover, you may add functions other than the above.
（１）ＰＬＡＹ（再生）
ＷＭＰのｐｌａｙ（）関数とＪａｖａＳｃｒｉｐｔの時間経過ループを同時に開始し、ループ処理内でＷＭＰの経過時間とＪａｖａＳｃｒｉｐｔの基準時間とを一致させることによって同期をとる。基準時間が変化するたびに時系列データと比較し、描画タイミングになったらＪａｖａ Ａｐｐｌｅｔの描画関数で仮想黒板フレーム１５３０に板書データの内容を描画する。
(1) PLAY (reproduction)
The WMP play () function and the JavaScript time lapse loop are started simultaneously, and synchronization is achieved by matching the WMP elapsed time with the JavaScript reference time within the loop processing. Each time the reference time changes, it is compared with time-series data. When the drawing timing comes, the contents of the board writing data are drawn on the virtual blackboard frame 1530 by using a drawing function of Java Applet.
（２）ＳＴＯＰ（停止）
ＷＭＰのｓｔｏｐ（）関数とＪａｖａＳｃｒｉｐｔの時間経過ループを終了し、すべてのパラメータを初期化することで実現する。
(2) STOP (stop)
This is realized by terminating the time lapse loop of the WMP stop () function and the JavaScript and initializing all parameters.
（３）ＰＡＵＳＥ（一時停止）
ＷＭＰのｐａｕｓｅ（）関数とＪａｖａＳｃｒｉｐｔの時間経過ループの停止を実行することで実現する。
(3) PAUSE (pause)
This is realized by executing stop of the time lapse loop of WMP pause () function and JavaScript.
（４）ＺＯＯＭ ＩＮ ／ ＺＯＯＭ ＯＵＴ（板書の拡大／縮小）
仮想黒板フレーム１５３０内のズームしたい場所をマウスでクリック等すると、取得した座標とＪａｖａＳｃｒｉｐｔから得た倍率（ｒａｔｅ）をもとに、その点を中心とする長方形を切り出し、Ａｐｐｌｅｔ間通信を用いて、その内容を右上の拡大表示フレーム１５４０に描画する。
(4) ZOOM IN / ZOOM OUT (enlargement / reduction of a board)
If you click with the mouse on the place you want to zoom in the virtual blackboard frame 1530, based on the acquired coordinates and the magnification obtained from JavaScript, a rectangle centered on that point is cut out, and communication between applets is used. The content is drawn in the enlarged display frame 1540 at the upper right.
＜７．本実施形態の応用＞
上述で説明した本実施形態においては、講師に隠れて見えない板書部分が避けられないため、板書文字が書き込まれた順に正確に再現されるわけではなく、上述で説明した方法により生成したブロック単位で板書が提示される。そこで、蓄積した板書データと講師の移動情報から、事後的に板書位置を推定し、講師に隠れて見えない部分も含めて正確に板書ブロック領域を正確な時系列で再現する機能を今後付加する予定である。
<7. Application of this embodiment>
In the present embodiment described above, a board written part that cannot be seen hidden behind the instructor is unavoidable, so it is not accurately reproduced in the order in which the board written letters are written, and the block unit generated by the method described above. The board is presented. Therefore, a function will be added in the future to estimate the postcard position from the accumulated postcard data and the instructor's movement information, and to accurately reproduce the blackboard block area in an accurate time series, including the parts hidden behind the instructor. Is scheduled.
Claims (7)
前記カメラの映像から黒板全体を含む映像を取得する黒板映像取得手段と、
前記黒板映像から黒板領域を抽出する黒板領域抽出手段と、
前記黒板領域から講師領域を抽出する講師領域抽出手段と、
前記講師領域に対応して、前記黒板映像から講師映像を切り出す講師映像生成手段と、
一定期間ごとに、前記黒板領域から該一定期間に板書の追加又は板書の消去が行なわれた板書領域を抽出する板書領域抽出手段と、
前記板書領域から板書をライン検出してベクトルデータを生成するベクトルデータ生成手段と、
前記講師映像と、仮想黒板上の該当する前記板書領域に前記ベクトルデータを表示した画像を、別々のウインドウに合成するｗｅｂコンテンツ作成手段と
を備えることを特徴とする講義コンテンツ自動作成システム。 An automatic lecture content creation system that automatically generates web content from video shot with a blackboard on a blackboard.
Blackboard video acquisition means for acquiring video including the entire blackboard from the video of the camera;
Blackboard area extraction means for extracting a blackboard area from the blackboard image;
An instructor area extracting means for extracting an instructor area from the blackboard area;
Corresponding to the lecturer area, lecturer video generation means for cutting out the lecturer video from the blackboard video,
A board writing area extracting means for extracting, from the blackboard area, a board writing area where a board writing has been added or erased in a certain period of time;
A vector data generating means for generating a vector data by detecting a line from the board writing area;
An automatic lecture content creation system comprising: the lecturer video; and a web content creation unit that synthesizes an image in which the vector data is displayed in the corresponding blackboard area on a virtual blackboard into separate windows.
前記黒板映像取得手段は、複数台のカメラからの映像をパノラマ合成して黒板全体を含む黒板映像を取得すること
を特徴とする講義コンテンツ自動作成システム。 A lecture content automatic creation system according to claim 1,
The lecture board automatic acquisition system characterized in that the blackboard video acquisition means acquires a blackboard video including the entire blackboard by panoramic synthesis of videos from a plurality of cameras.
前記講師領域抽出手段は、前記黒板領域抽出手段により黒板映像の最初の１フレームから抽出された黒板領域と、現在の黒板領域とを比較して講師領域を抽出すること
を特徴とする講義コンテンツ自動作成システム。 The lecture content automatic creation system according to claim 1 or 2,
The lecturer area extracting means extracts the lecturer area by comparing the blackboard area extracted from the first frame of the blackboard video by the blackboard area extracting means with the current blackboard area. Creation system.
前記板書領域抽出手段は、前記一定期間内に講師領域が存在した領域から現在の講師領域の位置を除いた検索領域内において、前記一定期間の直前の前記仮想黒板と比較して輝度値が高く又は低くなった領域を板書の追加又は板書の消去が行なわれた板書領域として抽出すること
を特徴とする講義コンテンツ自動作成システム。 The lecture content automatic creation system according to any one of claims 1 to 3,
In the search area obtained by removing the current position of the instructor area from the area in which the instructor area exists within the predetermined period, the board writing area extracting unit has a higher luminance value than the virtual blackboard immediately before the predetermined period. Alternatively, the lecture content automatic creation system is characterized in that the lowered area is extracted as a board written area where a board writing is added or a board written is deleted.
前記ベクトルデータ生成手段は、前記板書領域が板書の追加である場合には、前記ライン検出によるライン数が一定数以上である場合にのみベクトルデータを生成すること
を特徴とする講義コンテンツ自動作成システム。 The lecture content automatic creation system according to any one of claims 1 to 4,
The lecture data automatic creation system, wherein the vector data generation means generates vector data only when the number of lines detected by the line detection is a predetermined number or more when the postscript area is an addition of a postcard. .
前記ベクトルデータ生成手段は、前記板書領域が板書の消去である場合には、前記ライン検出によるライン数が前記仮想黒板のライン数よりも少ない場合にのみベクトルデータを生成すること
を特徴とする講義コンテンツ自動作成システム。 A lecture content automatic creation system according to any one of claims 1 to 5,
The vector data generating means generates vector data only when the number of lines detected by the line detection is smaller than the number of lines of the virtual blackboard when the board writing area is erased from a board writing. Automatic content creation system.
The program for making a computer system implement | achieve the function of the lecture content automatic creation system in any one of Claims 1-6.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004350190A JP2006162692A (en) | 2004-12-02 | 2004-12-02 | Automatic lecture content creating system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004350190A JP2006162692A (en) | 2004-12-02 | 2004-12-02 | Automatic lecture content creating system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006162692A true JP2006162692A (en) | 2006-06-22 |
Family
ID=36664823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004350190A Pending JP2006162692A (en) | 2004-12-02 | 2004-12-02 | Automatic lecture content creating system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006162692A (en) |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006049681A1 (en) * | 2006-10-12 | 2008-04-17 | Caveh Valipour Zonooz | Recording device for producing multimedia picture of event i.e. lecture in university, has processing unit converting video pictures and audio pictures into output file, and external interface for providing output file to customer |
| JP2008187566A (en) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | Camera calibration apparatus and method and vehicle |
| JP2008289070A (en) * | 2007-05-21 | 2008-11-27 | Aplix Corp | Image display method for portable device |
| JP2009010915A (en) * | 2007-05-31 | 2009-01-15 | Takeshi Yanagisawa | Video display method and video system |
| JP2009104323A (en) * | 2007-10-22 | 2009-05-14 | Alpine Electronics Inc | Mapping table creation device, vehicle surrounding image creation device, and mapping table creation method |
| JP2010118826A (en) * | 2008-11-12 | 2010-05-27 | Seiko Epson Corp | Image processing apparatus, program, and image processing method |
| DE102008056917A1 (en) * | 2008-11-12 | 2010-06-02 | Universität Konstanz | Cooperation window / wall |
| JP2011040921A (en) * | 2009-08-10 | 2011-02-24 | Nippon Telegr & Teleph Corp <Ntt> | Content generator, content generating method, and content generating program |
| JP2011524572A (en) * | 2008-06-14 | 2011-09-01 | マイクロソフト コーポレーション | Whiteboard management techniques for multimedia conference events |
| US8295641B2 (en) | 2008-09-19 | 2012-10-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and medium storing image processing program |
| JP2012213063A (en) * | 2011-03-31 | 2012-11-01 | Nec Corp | Image processing device, image processing system, image processing method, and image processing program |
| JP2013162341A (en) * | 2012-02-06 | 2013-08-19 | Nippon Telegr & Teleph Corp <Ntt> | Chapter representative image generating apparatus and method of operating the same |
| JP2013162344A (en) * | 2012-02-06 | 2013-08-19 | Nippon Telegr & Teleph Corp <Ntt> | Video event detecting apparatus and method of operating the same |
| JP5457668B2 (en) * | 2006-04-03 | 2014-04-02 | 健 柳沢 | Video display method and video system |
| US8737749B2 (en) | 2008-09-12 | 2014-05-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and medium storing image processing program |
| US8761582B2 (en) | 2009-03-13 | 2014-06-24 | Ricoh Company, Limited | Video editing device and video editing system |
| CN104731404A (en) * | 2014-12-10 | 2015-06-24 | 朱云 | Novel blackboard |
| JP2015141327A (en) * | 2014-01-29 | 2015-08-03 | 株式会社ティ−・エス・シ− | learning support system and learning support program |
| JP2016009266A (en) * | 2014-06-23 | 2016-01-18 | コニカミノルタ株式会社 | Imaging system, imaging method, and computer program |
| KR20160082291A (en) * | 2014-12-30 | 2016-07-08 | 채수한 | Image processing apparatus and image processing method thereof |
| JP2016537903A (en) * | 2013-08-21 | 2016-12-01 | ジョーント・インコーポレイテッドＪａｕｎｔ Ｉｎｃ． | Connecting and recognizing virtual reality content |
| CN108389438A (en) * | 2018-05-10 | 2018-08-10 | 科大讯飞股份有限公司 | A kind of writing on the blackboard acquisition system |
| JP2018523432A (en) * | 2015-05-25 | 2018-08-16 | 抒一 程 | Multi-user conference system |
| WO2019033660A1 (en) * | 2017-08-18 | 2019-02-21 | 广州视源电子科技股份有限公司 | Method and apparatus for determining associated teaching information, teaching device, and storage medium |
| WO2019087577A1 (en) * | 2017-10-31 | 2019-05-09 | ソニー株式会社 | Information processing device, information processing method, and information processing program |
| CN111008969A (en) * | 2019-12-06 | 2020-04-14 | 浙江蓝鸽科技有限公司 | Blackboard writing extraction and intelligent recognition method and system |
| KR102124826B1 (en) * | 2019-10-14 | 2020-06-19 | 주식회사 산타 | Method for controlling sync of images and apparatus using the same |
| KR20200084204A (en) * | 2019-01-02 | 2020-07-10 | 충북대학교 산학협력단 | System and method for managing lecture for sharing taking notes |
| KR102143756B1 (en) * | 2019-10-14 | 2020-08-12 | 주식회사 산타 | Method for editing images and apparatus using the same |
| CN113168675A (en) * | 2018-12-17 | 2021-07-23 | 索尼集团公司 | Image processing apparatus, image processing method, and image processing program |
| CN113326813A (en) * | 2021-07-08 | 2021-08-31 | 长春电子科技学院 | Electronic format conversion method for mathematics classroom blackboard writing |
| KR102404925B1 (en) * | 2021-12-14 | 2022-06-02 | 한예주 | Ai multi-focusing for online education participation confirmation of learner and method performing thereof |
| CN114694434A (en) * | 2020-12-28 | 2022-07-01 | 康立 | Video teaching course intelligent generation method and system based on deep learning |
| KR102492423B1 (en) * | 2022-03-22 | 2023-01-27 | (주)에이블소프트 | Diy electronic blackboard-based remote lecture providing system and method therefor |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002515144A (en) * | 1994-05-10 | 2002-05-21 | モトローラ・インコーポレイテッド | Handwriting input stroke division method |
| JP2003241630A (en) * | 2001-12-11 | 2003-08-29 | Rikogaku Shinkokai | Method for distributing animation, system for displaying the same, education model, user interface, and manual operation procedure |
| JP2003256842A (en) * | 2002-02-26 | 2003-09-12 | Optowave Laboratory Inc | Device and method for detecting position of moving object |
| JP2004212895A (en) * | 2003-01-08 | 2004-07-29 | Nec Corp | System, method and program to support education |
| JP2004260823A (en) * | 2003-02-24 | 2004-09-16 | Microsoft Corp | System and method for real-time whiteboard streaming |
-
2004
- 2004-12-02 JP JP2004350190A patent/JP2006162692A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002515144A (en) * | 1994-05-10 | 2002-05-21 | モトローラ・インコーポレイテッド | Handwriting input stroke division method |
| JP2003241630A (en) * | 2001-12-11 | 2003-08-29 | Rikogaku Shinkokai | Method for distributing animation, system for displaying the same, education model, user interface, and manual operation procedure |
| JP2003256842A (en) * | 2002-02-26 | 2003-09-12 | Optowave Laboratory Inc | Device and method for detecting position of moving object |
| JP2004212895A (en) * | 2003-01-08 | 2004-07-29 | Nec Corp | System, method and program to support education |
| JP2004260823A (en) * | 2003-02-24 | 2004-09-16 | Microsoft Corp | System and method for real-time whiteboard streaming |
Cited By (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5457668B2 (en) * | 2006-04-03 | 2014-04-02 | 健 柳沢 | Video display method and video system |
| DE102006049681A1 (en) * | 2006-10-12 | 2008-04-17 | Caveh Valipour Zonooz | Recording device for producing multimedia picture of event i.e. lecture in university, has processing unit converting video pictures and audio pictures into output file, and external interface for providing output file to customer |
| DE102006049681B4 (en) * | 2006-10-12 | 2008-12-24 | Caveh Valipour Zonooz | Recording device for creating a multimedia recording of an event and method for providing a multimedia recording |
| JP2008187566A (en) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | Camera calibration apparatus and method and vehicle |
| JP2008289070A (en) * | 2007-05-21 | 2008-11-27 | Aplix Corp | Image display method for portable device |
| JP2009010915A (en) * | 2007-05-31 | 2009-01-15 | Takeshi Yanagisawa | Video display method and video system |
| JP2009104323A (en) * | 2007-10-22 | 2009-05-14 | Alpine Electronics Inc | Mapping table creation device, vehicle surrounding image creation device, and mapping table creation method |
| JP2011524572A (en) * | 2008-06-14 | 2011-09-01 | マイクロソフト コーポレーション | Whiteboard management techniques for multimedia conference events |
| US8731299B2 (en) | 2008-06-14 | 2014-05-20 | Microsoft Corporation | Techniques to manage a whiteboard for multimedia conference events |
| US8737749B2 (en) | 2008-09-12 | 2014-05-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and medium storing image processing program |
| US8295641B2 (en) | 2008-09-19 | 2012-10-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and medium storing image processing program |
| JP2010118826A (en) * | 2008-11-12 | 2010-05-27 | Seiko Epson Corp | Image processing apparatus, program, and image processing method |
| DE102008056917A1 (en) * | 2008-11-12 | 2010-06-02 | Universität Konstanz | Cooperation window / wall |
| US8761582B2 (en) | 2009-03-13 | 2014-06-24 | Ricoh Company, Limited | Video editing device and video editing system |
| JP2011040921A (en) * | 2009-08-10 | 2011-02-24 | Nippon Telegr & Teleph Corp <Ntt> | Content generator, content generating method, and content generating program |
| JP2012213063A (en) * | 2011-03-31 | 2012-11-01 | Nec Corp | Image processing device, image processing system, image processing method, and image processing program |
| JP2013162341A (en) * | 2012-02-06 | 2013-08-19 | Nippon Telegr & Teleph Corp <Ntt> | Chapter representative image generating apparatus and method of operating the same |
| JP2013162344A (en) * | 2012-02-06 | 2013-08-19 | Nippon Telegr & Teleph Corp <Ntt> | Video event detecting apparatus and method of operating the same |
| JP2016537903A (en) * | 2013-08-21 | 2016-12-01 | ジョーント・インコーポレイテッドＪａｕｎｔ Ｉｎｃ． | Connecting and recognizing virtual reality content |
| JP2015141327A (en) * | 2014-01-29 | 2015-08-03 | 株式会社ティ−・エス・シ− | learning support system and learning support program |
| JP2016009266A (en) * | 2014-06-23 | 2016-01-18 | コニカミノルタ株式会社 | Imaging system, imaging method, and computer program |
| CN105323463A (en) * | 2014-06-23 | 2016-02-10 | 柯尼卡美能达株式会社 | Photographing system, photographing method |
| CN104731404A (en) * | 2014-12-10 | 2015-06-24 | 朱云 | Novel blackboard |
| CN104731404B (en) * | 2014-12-10 | 2018-03-06 | 朱云 | New type blackboard |
| KR101686143B1 (en) * | 2014-12-30 | 2016-12-13 | 채수한 | Image processing apparatus and image processing method thereof |
| KR20160082291A (en) * | 2014-12-30 | 2016-07-08 | 채수한 | Image processing apparatus and image processing method thereof |
| JP2018523432A (en) * | 2015-05-25 | 2018-08-16 | 抒一 程 | Multi-user conference system |
| US10530593B2 (en) | 2015-05-25 | 2020-01-07 | Shuyi CHENG | Multi-user conferencing system |
| WO2019033660A1 (en) * | 2017-08-18 | 2019-02-21 | 广州视源电子科技股份有限公司 | Method and apparatus for determining associated teaching information, teaching device, and storage medium |
| WO2019087577A1 (en) * | 2017-10-31 | 2019-05-09 | ソニー株式会社 | Information processing device, information processing method, and information processing program |
| US11403057B2 (en) | 2017-10-31 | 2022-08-02 | Sony Corporation | Information processing device, information processing method, and information processing program |
| JP7302477B2 (en) | 2017-10-31 | 2023-07-04 | ソニーグループ株式会社 | Information processing device, information processing method and information processing program |
| CN111345035A (en) * | 2017-10-31 | 2020-06-26 | 索尼公司 | Information processing device, information processing method, and information processing program |
| JPWO2019087577A1 (en) * | 2017-10-31 | 2020-12-17 | ソニー株式会社 | Information processing equipment, information processing methods and information processing programs |
| CN108389438A (en) * | 2018-05-10 | 2018-08-10 | 科大讯飞股份有限公司 | A kind of writing on the blackboard acquisition system |
| CN113168675B (en) * | 2018-12-17 | 2023-12-05 | 索尼集团公司 | Image processing device, image processing method, and image processing program |
| CN113168675A (en) * | 2018-12-17 | 2021-07-23 | 索尼集团公司 | Image processing apparatus, image processing method, and image processing program |
| KR20200084204A (en) * | 2019-01-02 | 2020-07-10 | 충북대학교 산학협력단 | System and method for managing lecture for sharing taking notes |
| KR102192558B1 (en) * | 2019-01-02 | 2020-12-17 | 충북대학교 산학협력단 | System and method for managing lecture for sharing taking notes |
| KR102143756B1 (en) * | 2019-10-14 | 2020-08-12 | 주식회사 산타 | Method for editing images and apparatus using the same |
| KR102124826B1 (en) * | 2019-10-14 | 2020-06-19 | 주식회사 산타 | Method for controlling sync of images and apparatus using the same |
| CN111008969B (en) * | 2019-12-06 | 2023-07-18 | 浙江蓝鸽科技有限公司 | Blackboard writing extraction and intelligent recognition method and system |
| CN111008969A (en) * | 2019-12-06 | 2020-04-14 | 浙江蓝鸽科技有限公司 | Blackboard writing extraction and intelligent recognition method and system |
| CN114694434A (en) * | 2020-12-28 | 2022-07-01 | 康立 | Video teaching course intelligent generation method and system based on deep learning |
| CN114694434B (en) * | 2020-12-28 | 2023-12-01 | 康立 | Video teaching course intelligent generation method and system based on deep learning |
| CN113326813A (en) * | 2021-07-08 | 2021-08-31 | 长春电子科技学院 | Electronic format conversion method for mathematics classroom blackboard writing |
| KR102404925B1 (en) * | 2021-12-14 | 2022-06-02 | 한예주 | Ai multi-focusing for online education participation confirmation of learner and method performing thereof |
| KR102492423B1 (en) * | 2022-03-22 | 2023-01-27 | (주)에이블소프트 | Diy electronic blackboard-based remote lecture providing system and method therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2006162692A (en) | Automatic lecture content creating system | |
| JP6966421B2 (en) | Composite and scaling angle-separated subscenes | |
| US6556775B1 (en) | Image and sound reproduction system | |
| US6724386B2 (en) | System and process for geometry replacement | |
| Reyna | The potential of 360-degree videos for teaching, learning and research | |
| US6466262B1 (en) | Digital wide camera | |
| US5999641A (en) | System for manipulating digitized image objects in three dimensions | |
| CN111698390A (en) | Virtual camera control method and device, and virtual studio implementation method and system | |
| US20060165310A1 (en) | Method and apparatus for a virtual scene previewing system | |
| EP1843298A2 (en) | Image blending system and method | |
| CN101242474A (en) | A dynamic video browse method for phone on small-size screen | |
| KR102186607B1 (en) | System and method for ballet performance via augumented reality | |
| US11335039B2 (en) | Correlation of multiple-source image data | |
| CN114327700A (en) | Virtual reality equipment and screenshot picture playing method | |
| KR100901111B1 (en) | Live-Image Providing System Using Contents of 3D Virtual Space | |
| CN108391077A (en) | A kind of simple Classic Course video automatic shooting record device | |
| CN101405763B (en) | Method and system for acquiring multiple views of real-time video output object | |
| WO1996025710A1 (en) | Multiple camera system for synchronous image recording from multiple viewpoints | |
| WO2023236656A1 (en) | Method and apparatus for rendering interactive picture, and device, storage medium and program product | |
| Kuchelmeister et al. | Affect and place representation in immersive media: The Parragirls Past, Present project | |
| CN113507575B (en) | Human body self-photographing lens generation method and system | |
| CN113221840A (en) | Portrait video processing method | |
| Hasche et al. | Creating high-resolution 360-degree single-line 25K video content for modern conference rooms using film compositing techniques | |
| KR102133735B1 (en) | Panorama chroma-key synthesis system and method | |
| KR101769660B1 (en) | Image processing apparatus and image processing method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100615 |