JP2017092947A - Learning support program, learning support device, learning tool formation notebook, and learning tool formation method - Google Patents

Learning support program, learning support device, learning tool formation notebook, and learning tool formation method Download PDF

Info

Publication number
JP2017092947A
JP2017092947A JP2016197638A JP2016197638A JP2017092947A JP 2017092947 A JP2017092947 A JP 2017092947A JP 2016197638 A JP2016197638 A JP 2016197638A JP 2016197638 A JP2016197638 A JP 2016197638A JP 2017092947 A JP2017092947 A JP 2017092947A
Authority
JP
Japan
Prior art keywords
image
corners
paper surface
learning
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016197638A
Other languages
Japanese (ja)
Other versions
JP6759951B2 (en
Inventor
宏 田島
Hiroshi Tajima
宏 田島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentel Co Ltd
Original Assignee
Pentel Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pentel Co Ltd filed Critical Pentel Co Ltd
Publication of JP2017092947A publication Critical patent/JP2017092947A/en
Application granted granted Critical
Publication of JP6759951B2 publication Critical patent/JP6759951B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To efficiency perform processing for forming a learning tool with an image which is written to a notebook and is imaged.SOLUTION: A learning support program images a notebook having a configuration such that a first surface of a first column having one or more rows and a second surface of a second column having a plurality of rows are adjacent at a spread mode, forms a learning tool, and allows a computer to be operated. The program allows the computer to execute an acquisition of an image including a plurality of reference marks at one or more corners on the first surface at four corners of a virtual rectangle shape formed by the first and second surfaces at the spread mode of the notebook and at one or more corners on the second surface, identification of the plurality of reference marks in the image, calculation of a coordinate indicating each of the plurality of reference marks, division of the image into one or more first regions on the first surface side corresponding to the first column having the one or more rows and a plurality of second regions on the second surface side corresponding to the second column having the plurality of rows on the basis of the coordinate of the reference marks, and storing of learning card information to a storage part alternately corresponding to image information of the one or more first regions and the image information of the plurality of second regions.SELECTED DRAWING: Figure 4

Description

本開示は、学習支援プログラム、学習支援装置、学習ツール生成用帳面および学習ツール生成方法に関する。   The present disclosure relates to a learning support program, a learning support device, a learning tool generation book, and a learning tool generation method.

従来から、学習効果を高める目的で、暗記カードやフラッシュカード等が様々な手法で作成されてきた。
例えば、特許文献1には、問題及び解答を書き込んだ用紙(問題・解答書込み用紙)をスキャナーでコンピュータに取り込んで、コンピュータにおいて暗記カードの画像を編集した後にこれをプリントアウトすることで、暗記カード紙を作成する方法が開示されている。また、特許文献1には、コンピュータを用いて作成した暗記カード情報を紙媒体に出力することなく、暗記カード情報をコンピュータの画面に表示して、学習に利用可能である旨も記載されている。
Conventionally, memorization cards, flash cards, and the like have been created by various methods for the purpose of enhancing learning effects.
For example, in Patent Document 1, a paper on which a question and an answer are written (question / answer writing paper) is taken into a computer by a scanner, an image of the memorized card is edited on the computer, and the memorized card is printed out. A method of making paper is disclosed. Patent Document 1 also describes that memorized card information that is created using a computer can be used for learning by displaying the memorized card information on a computer screen without outputting it to a paper medium. .

特開2015−27782号公報Japanese Patent Laying-Open No. 2015-27782

しかしながら、特許文献1には、スキャナーでコンピュータに取り込んだ画像から暗記カード情報を生成するための手順について具体的な開示がない。このため、特許文献1記載の方法では、暗記カード情報の生成を効率的に行うことが難しい。   However, Patent Document 1 does not specifically disclose a procedure for generating memorized card information from an image captured by a scanner. For this reason, with the method described in Patent Document 1, it is difficult to efficiently generate memorized card information.

上述の事情に鑑みて、本発明の少なくとも幾つかの実施形態は、帳面に記入した内容を撮像した画像から学習ツールを生成するための処理を効率的に行い得る学習支援プログラム、学習支援装置、学習ツール生成用帳面および学習ツール生成方法を提供することを目的とする。   In view of the above-described circumstances, at least some embodiments of the present invention provide a learning support program, a learning support device, and a learning support program that can efficiently perform processing for generating a learning tool from an image obtained by capturing the content written on a book. An object is to provide a learning tool generation book and a learning tool generation method.

(1)本発明の少なくとも幾つかの実施形態に係る学習支援プログラムは、
1列以上の第1欄を有する第1紙面と、複数列の第2欄を有する第2紙面と、が見開き時に互いに隣り合うように構成された帳面を撮像した画像から学習ツールを生成するようにコンピュータを動作させるための学習支援プログラムであって、
前記帳面の見開き時において前記第1紙面及び前記第2紙面が形成する仮想矩形の4隅のうち、前記第1紙面上における1以上の隅と、前記第2紙面上における1以上の隅とに位置する複数の基準マークを含む前記画像を取得する手順と、
前記画像中の前記複数の基準マークを識別し、前記複数の基準マークの各々の位置を示す座標を算出する手順と、
前記基準マークの各々の前記座標に基づいて、前記画像を、前記1列以上の第1欄にそれぞれ対応した前記第1紙面側における1以上の第1領域と、前記複数列の第2欄にそれぞれ対応した前記第2紙面側における複数の第2領域と、に分割する手順と、
前記1以上の第1領域の画像情報と前記複数の第2領域の画像情報とを互いに対応付けて、学習カード情報として記憶部に記憶する手順と、
を前記コンピュータに実行させるように構成される。
(1) A learning support program according to at least some embodiments of the present invention includes:
A learning tool is generated from an image obtained by capturing an image of a book configured such that a first sheet having one or more first columns and a second sheet having a plurality of columns of second columns are adjacent to each other when facing apart. A learning support program for operating a computer
Of the four corners of the virtual rectangle formed by the first paper surface and the second paper surface when the page is spread, one or more corners on the first paper surface and one or more corners on the second paper surface Obtaining the image including a plurality of fiducial marks located;
Identifying the plurality of reference marks in the image and calculating coordinates indicating the position of each of the plurality of reference marks;
Based on the coordinates of each of the fiducial marks, the image is placed in one or more first regions on the first paper surface side corresponding to the one or more first columns, and in the second column of the plurality of rows. A plurality of second regions on the second paper surface side corresponding to each of the second regions;
A procedure in which the image information of the one or more first areas and the image information of the plurality of second areas are associated with each other and stored as learning card information in a storage unit;
Is configured to cause the computer to execute.

上記(1)の構成によれば、コンピュータに上述した手順を実行させることで、帳面の第1欄及び第2欄のペアからなる学習カード情報を簡単に生成することができる。また、複数の基準マークの位置に基づいて帳面の画像を分割処理するようにしたので、帳面の撮像条件の影響を受けずに、帳面上における第1欄及び第2欄の対応関係を崩さずに帳面の画像を分割することができる。しかも、上記(1)の構成では、帳面の見開き時に第1紙面及び第2紙面によって形成される仮想矩形の4隅のうち、第1紙面上の1以上の隅と、第2紙面上の1以上の隅と、に基準マークが位置する。このため、複数の基準マークが、帳面の第1紙面と第2紙面とをまたぐように配置されることとなり、帳面上における第1欄及び第2欄の対応関係を高精度に維持しながら帳面の画像を分割することができる。
よって、帳面の撮像条件に関して厳格な制限を課す必要がなくなり、学習ツールの生成を効率的に行うことができる。また、帳面の撮像条件に関して厳格な制限を課す必要がないため、カメラを固定する治具等の特別な設備を使用せずに簡易的なカメラ(例えばスマートフォン内蔵カメラ)を用いて前提知識を有しない一般人が撮影した画像から学習ツールを生成できるため、利用者の幅を広げることができる。
According to the configuration of (1) above, by causing the computer to execute the above-described procedure, it is possible to easily generate learning card information including a pair of the first column and the second column of the book. Further, since the image of the book is divided based on the positions of the plurality of reference marks, the correspondence between the first column and the second column on the book is not disturbed without being affected by the imaging conditions of the book. The book image can be divided. Moreover, in the configuration of (1) above, of the four corners of the virtual rectangle formed by the first paper surface and the second paper surface when the book is spread, one or more corners on the first paper surface and 1 on the second paper surface. Reference marks are located at the above corners. For this reason, a plurality of fiducial marks are arranged so as to straddle the first paper surface and the second paper surface of the book surface, while maintaining the correspondence between the first column and the second column on the book surface with high accuracy. Images can be divided.
Therefore, it is not necessary to impose strict restrictions on the imaging conditions of the book, and the learning tool can be generated efficiently. In addition, since there is no need to impose strict restrictions on the imaging conditions of the notebook, there is a prerequisite knowledge using a simple camera (for example, a camera with a built-in smartphone) without using special equipment such as a jig for fixing the camera. Since learning tools can be generated from images taken by ordinary people who do not, the range of users can be expanded.

(2)幾つかの実施形態では、上記(1)の構成において、
前記学習支援プログラムは、
前記画像中における図形(候補図形)の規定角度範囲内の角部の数を算出し、
算出した前記図形の前記角部の数が前記基準マークの角部の数と一致することを含む少なくとも一つの識別条件の成否に基づいて、前記図形を前記基準マークとして識別する
手順を前記コンピュータにさらに実行させるように構成される。
(2) In some embodiments, in the configuration of (1) above,
The learning support program includes:
Calculate the number of corners within the specified angle range of the figure (candidate figure) in the image,
A procedure for identifying the graphic as the reference mark based on success or failure of at least one identification condition including that the calculated number of corners of the graphic matches the number of corners of the reference mark. Further configured to be executed.

なお、本明細書における「規定角度範囲」とは、80度以上100度以下の範囲内で任意に設定されてもよく、85度以上95度以下の範囲内で設定されてもよい。例示的な実施形態では、「規定角度範囲」は、基準マークの角部の角度(例えば90度)を基準として、基準マークの帳面への形成精度(例えば基準マークの印刷精度)上の理由から生じ得る誤差(又は誤差及びマージン)や、帳面の撮像条件の想定範囲内において生じ得る基準マーク画像の歪み(例えば帳面に対するカメラの傾きに起因して生じる基準マーク画像の角部の角度のずれ)を考慮した範囲(例えば±10度、好ましくは±5度)である。
一実施形態では、「規定角度範囲」が複数種類存在する。この場合、規定角度範囲ごとに区別して角部の数を算出し、候補図形と基準マークとで、各々の規定角度範囲の角部の数が一致することを識別条件の一つとして、基準マークの識別処理を行ってもよい。
The “specified angle range” in the present specification may be arbitrarily set within a range of 80 degrees or more and 100 degrees or less, or may be set within a range of 85 degrees or more and 95 degrees or less. In the exemplary embodiment, the “specified angle range” is based on the angle of the reference mark corner (for example, 90 degrees) as a reference for reasons of accuracy in forming the reference mark on the book surface (for example, the reference mark printing accuracy). Possible errors (or errors and margins), and distortions of the reference mark image that may occur within the assumed range of the imaging conditions of the book (for example, a shift in the angle of the corner of the reference mark image caused by the tilt of the camera with respect to the book) (For example, ± 10 degrees, preferably ± 5 degrees).
In one embodiment, there are a plurality of “specified angle ranges”. In this case, the number of corners is calculated separately for each specified angle range, and one of the identification conditions is that the number of corners of each specified angle range matches between the candidate graphic and the reference mark. The identification process may be performed.

上記(2)の構成によれば、画像中における図形(基準マークである可能性がある図形)の形状全体を基準マークの形状との相似性に着目するのではなく、画像中の図形の角部の数に基づいて基準マークを識別するようにしたので、基準マークの識別処理に要する計算時間を短縮することができる。
また、基準マークと紛らわしい図形が第1紙面又は第2紙面上に存在する場合であっても、当該図形が手書きによるものであれば、規定角度範囲内に含まれる角部の数がたまたま基準マークの角部の数と一致することは考えにくい。このため、手書きの図形(文字やカギ括弧等を含む)を基準マークと誤認識する可能性を低減できる。よって、帳面上における第1欄及び第2欄の対応関係を高精度に維持しながら帳面の画像を分割することができる。
According to the configuration of (2) above, the entire shape of the figure in the image (the figure that may be the reference mark) is not focused on the similarity to the shape of the reference mark, but the angle of the figure in the image Since the reference mark is identified based on the number of parts, the calculation time required for the identification process of the reference mark can be shortened.
In addition, even if a figure confusing with the reference mark exists on the first sheet or the second sheet, if the figure is drawn by hand, the number of corners included in the specified angle range may happen. It is unlikely to match the number of corners. For this reason, it is possible to reduce the possibility of erroneously recognizing a handwritten figure (including characters and brackets) as a reference mark. Therefore, it is possible to divide the book image while maintaining the correspondence between the first column and the second column on the book with high accuracy.

(3)幾つかの実施形態では、上記(2)の構成において、
前記基準マークは、外側基準輪郭と、前記外側基準輪郭の内側に位置する内側基準輪郭と、を含み、
前記少なくとも一つの識別条件は、
前記図形の外側輪郭の前記規定角度範囲内の角部の数が、前記外側基準輪郭の角部の数と一致し、且つ、
前記図形の内側輪郭の前記規定角度範囲内の角部の数が、前記内側基準輪郭の角部の数と一致する
ことを含む。
(3) In some embodiments, in the configuration of (2) above,
The reference mark includes an outer reference contour and an inner reference contour located inside the outer reference contour;
The at least one identification condition is:
The number of corners within the specified angle range of the outer contour of the figure matches the number of corners of the outer reference contour; and
The number of corners within the specified angle range of the inner contour of the figure includes matching the number of corners of the inner reference contour.

上記(3)の構成によれば、画像中に存在する図形の外側輪郭及び内側輪郭が、それぞれ、基準マークの外側基準輪郭及び内側基準輪郭の角部と同数の規定角度範囲内の角部を有するか否かに基づいて基準マークを識別することで、計算負荷の増大を抑制しながら、手書きの図形を基準マークと誤認識する可能性をより一層低減できる。   According to the configuration of (3) above, the outer contour and the inner contour of the graphic existing in the image have corner portions within the specified angle range equal to the corner portions of the outer reference contour and the inner reference contour of the reference mark, respectively. By identifying the reference mark based on whether or not it has, it is possible to further reduce the possibility of erroneously recognizing a handwritten figure as a reference mark while suppressing an increase in calculation load.

(4)幾つかの実施形態では、上記(3)の構成において、
前記基準マークは、前記外側基準輪郭が矩形であり、且つ、前記内側基準輪郭が8個以上の直角の角部を有する多角形である。
(4) In some embodiments, in the configuration of (3) above,
The reference mark is a polygon in which the outer reference contour is rectangular and the inner reference contour has eight or more right-angled corners.

上記(4)の構成によれば、矩形の外側基準輪郭と、8個以上の直角の角部を有する多角形の内側基準輪郭と、を組み合わせたシンプルな形状の基準マークを採用することで、直角の角部の数に着目して基準マークの識別処理速度を向上しつつ、手書きの図形を基準マークと誤認識する可能性を低減することができる。   According to the configuration of (4) above, by adopting a simple reference mark that combines a rectangular outer reference contour and a polygonal inner reference contour having eight or more right-angled corners, It is possible to reduce the possibility of erroneously recognizing a handwritten figure as a reference mark while improving the reference mark identification processing speed by paying attention to the number of right-angled corners.

(5)幾つかの実施形態では、上記(1)乃至(4)の何れかの構成において、
前記学習支援プログラムは、
前記画像中における図形の輪郭によって囲まれる面積を算出し、
算出した前記面積の大きさ、又は、前記画像中に占める前記面積の比率が規定範囲内であることを含む少なくとも一つの識別条件の成否に基づいて、前記図形を前記基準マークとして識別する
手順を前記コンピュータにさらに実行させるように構成される。
(5) In some embodiments, in any one of the above configurations (1) to (4),
The learning support program includes:
Calculate the area surrounded by the contour of the figure in the image,
A procedure for identifying the figure as the reference mark based on the success or failure of at least one identification condition including the calculated size of the area or the ratio of the area occupied in the image being within a specified range. The computer is further configured to execute.

上記(5)の構成によれば、画像中に存在する図形の輪郭によって囲まれる面積の大きさ又は該面積の画像中に占める比率に基づいて基準マークの識別を行うことで、規定角度範囲内の角部を利用して基準マークの識別処理速度を向上しつつ、手書きの図形を基準マークと誤認識する可能性を低減することができる。   According to the configuration of (5) above, by identifying the reference mark based on the size of the area surrounded by the outline of the graphic existing in the image or the ratio of the area in the image, the reference mark can be identified. The possibility of erroneously recognizing a handwritten figure as a reference mark can be reduced while improving the identification processing speed of the reference mark using the corners.

(6)幾つかの実施形態では、上記(1)乃至(5)の何れかの構成において、
前記学習支援プログラムは、
前記画像中の図形の輪郭における規定角度範囲内の複数の角部の座標を特定し、
各々の前記規定角度範囲内の角部の座標を結んで得られる形状が、前記基準マークの形状と一致しているか否かを含む少なくとも一つの識別条件の成否に基づいて、前記図形を前記基準マークとして識別する
手順を前記コンピュータにさらに実行させるように構成される。
(6) In some embodiments, in any one of the above configurations (1) to (5),
The learning support program includes:
Identify the coordinates of a plurality of corners within a specified angle range in the contour of the figure in the image,
Based on the success or failure of at least one identification condition including whether or not the shape obtained by connecting the coordinates of the corners within each specified angle range matches the shape of the reference mark, The computer is further configured to further execute a procedure for identifying as a mark.

上記(6)の構成によれば、画像中に存在する図形の規定角度範囲内の複数の角部の座標を結んで得られる形状が基準マークのそれと一致しているか否かに基づいて基準マークの識別を行うことで、規定角度範囲内の角部を利用して基準マークの識別処理速度を向上しつつ、手書きの図形を基準マークと誤認識する可能性を低減することができる。   According to the configuration of (6) above, the reference mark is based on whether or not the shape obtained by connecting the coordinates of a plurality of corners within the specified angle range of the graphic existing in the image matches that of the reference mark. Thus, the possibility of erroneously recognizing a handwritten figure as a reference mark can be reduced while improving the reference mark identification processing speed by using the corner portion within the specified angle range.

(7)幾つかの実施形態では、上記(1)乃至(6)の何れかの構成において、
前記基準マークは、前記仮想矩形の4隅の各々に設けられており、
前記学習支援プログラムは、
前記画像中において4個の前記基準マークを全て検出できない場合に、マーク認識エラー信号を生成する手順を前記コンピュータにさらに実行させるように構成される。
(7) In some embodiments, in any one of the configurations (1) to (6) above,
The reference mark is provided at each of the four corners of the virtual rectangle,
The learning support program is:
When all the four reference marks cannot be detected in the image, the computer is further configured to execute a procedure for generating a mark recognition error signal.

上記(7)の構成によれば、帳面の見開き時に第1紙面及び第2紙面によって形成される仮想矩形の4隅のそれぞれに設けられた4個の基準マークを検出できない場合にマーク認識エラー信号を生成するようにしたので、画像中の手書きの図形を基準マークと誤認したまま、精度の低い学習カード情報を生成してしまう事態を回避できる。
なお、マーク認識エラー信号は、ユーザーインターフェースに表示され、学習カード情報の生成処理をそのまま続行するか否かを使用者に確認させるようにしてもよい。
According to the configuration of (7) above, the mark recognition error signal when the four reference marks provided at the four corners of the virtual rectangle formed by the first paper surface and the second paper surface cannot be detected when the page is spread. Therefore, it is possible to avoid a situation where learning card information with low accuracy is generated while a handwritten figure in the image is mistaken as a reference mark.
Note that the mark recognition error signal may be displayed on the user interface and allow the user to confirm whether or not to continue the learning card information generation process.

(8)幾つかの実施形態では、上記(1)乃至(7)の何れかの構成において、
前記学習プログラムが、前記基準マークの各々の前記座標に基づいて前記画像を補正する手順を前記コンピュータにさらに実行させるように構成される。
(8) In some embodiments, in any one of the above configurations (1) to (7),
The learning program is configured to further cause the computer to execute a procedure for correcting the image based on the coordinates of each of the reference marks.

上記(8)の構成によれば、基準マークの座標に基づいて画像を補正するようにしたので、帳面の撮像条件の影響を受けずに、帳面上における第1欄及び第2欄の対応関係を高精度に維持しながら帳面の画像を分割することができる。よって、帳面の撮像条件に関して厳格な制限を課す必要がなくなり、学習ツールの生成を効率的に行うことができる。
なお、画像の補正処理は、例えば、画像が台形である場合にこれが矩形になるように補正する台形補正処理や、画像が傾いている場合にこの傾きを補正する傾き補正処理を挙げることができる。
According to the configuration of (8) above, since the image is corrected based on the coordinates of the reference mark, the correspondence between the first column and the second column on the page is not affected by the imaging conditions of the page. Can be divided while maintaining high accuracy. Therefore, it is not necessary to impose strict restrictions on the imaging conditions of the book, and the learning tool can be generated efficiently.
Note that the image correction processing includes, for example, a trapezoid correction processing for correcting the image to be rectangular when the image is a trapezoid, and an inclination correction processing for correcting the inclination when the image is tilted. .

(9)幾つかの実施形態では、上記(1)乃至(8)の何れかの構成において、
前記学習支援プログラムは、
少なくとも一つの前記第1領域の画像情報を質問内容として表示する手順と、
前記少なくとも一つの前記第1領域にそれぞれ対応した少なくとも一つの前記第2領域の画像情報を回答内容として表示する手順と、
を前記コンピュータにさらに実行させるように構成される。
(9) In some embodiments, in any one of the above configurations (1) to (8),
The learning support program includes:
Displaying at least one image information of the first region as question content;
Displaying at least one image information of the second region corresponding to each of the at least one first region as a response content;
Is further configured to cause the computer to execute.

上記(9)の構成によれば、生成した学習カード情報のうち第1領域の画像情報を質問内容として表示し、当該第1領域に対応する第2領域の画像情報を回答内容として表示することで、学習ツールを効果的に活用して学習効果を向上させることができる。   According to the configuration of (9) above, the image information of the first area in the generated learning card information is displayed as the question contents, and the image information of the second area corresponding to the first area is displayed as the answer contents. Therefore, the learning effect can be improved by effectively using the learning tool.

(10)幾つかの実施形態では、上記(1)乃至(9)の何れかの構成において、
前記画像中における図形の外側輪郭によって囲まれる第1面積と、前記外側輪郭の内側に位置する内側輪郭によって囲まれる第2面積と、を算出し、
算出した前記第1面積と前記第2面積の比率が規定範囲内であることを含む少なくとも一つの識別条件の成否に基づいて、前記図形を前記基準マークとして識別する
手順を前記コンピュータにさらに実行させるように構成される。
(10) In some embodiments, in any one of the above configurations (1) to (9),
Calculating a first area surrounded by an outer contour of the figure in the image and a second area surrounded by an inner contour located inside the outer contour;
Causing the computer to further execute a procedure for identifying the graphic as the reference mark based on success or failure of at least one identification condition including that the calculated ratio between the first area and the second area is within a specified range. Configured as follows.

上記(10)の構成によれば、画像中に存在する図形の外側輪郭によって囲まれる第1面積と内側輪郭によって囲まれる第2面積との比率に基づいて基準マークの識別を行うことで、規定角度範囲内の角部を利用して基準マークの識別処理速度を向上しつつ、手書きの図形を基準マークと誤認識する可能性を低減することができる。   According to the configuration of the above (10), the reference mark is identified based on the ratio of the first area surrounded by the outer contour of the graphic existing in the image and the second area surrounded by the inner contour. The possibility of erroneously recognizing a handwritten figure as a reference mark can be reduced while improving the reference mark identification processing speed by using the corner portion within the angle range.

(11)幾つかの実施形態では、上記(1)乃至(10)の何れかの構成において、
前記学習支援プログラムは、
前記画像の複数の分割条件にそれぞれ対応する複数種の基準マークのうち、前記画像中の前記基準マークが何れであるかを特定する手順と、
特定された前記基準マークに対応する前記分割条件に従って、前記画像を前記第1領域及び前記前記第2領域に分割する手順と、
を前記コンピュータにさらに実行させるように構成される。
(11) In some embodiments, in any one of the above configurations (1) to (10),
The learning support program includes:
A procedure for specifying which one of the reference marks in the image among a plurality of types of reference marks respectively corresponding to a plurality of division conditions of the image;
Dividing the image into the first area and the second area according to the division condition corresponding to the identified reference mark;
Is further configured to cause the computer to execute.

第1欄と第2欄との対応関係は学習者のニーズによって様々である。例えば、第1欄に記載された質問に対する回答事項が複数存在する場合、複数の回答事項をそれぞれ複数の第2欄に分けて記入すれば、学習カードとしての一覧性が向上する。また、各質問事項及びこれに対応する回答事項の情報量が少ない場合、1冊の帳面からより多くの学習カード情報を生成するために第1領域及び第2領域の分割数は多いことが望まれる。逆に、各質問事項及びこれに対応する回答事項の情報量が多い場合、第1領域及び第2領域の分割数は少ない方が使い勝手が良い。
この点、上記(11)の構成によれば、基準マークの種類別に画像分割条件を設定することができるので、学習者のニーズに合わせて、第1欄と第2欄との対応関係を変えることができる。
The correspondence between the first column and the second column varies depending on the needs of the learner. For example, when there are a plurality of answer items for the question described in the first column, if the plurality of answer items are entered separately in a plurality of second columns, the listability as a learning card is improved. In addition, when the amount of information of each question item and the corresponding answer item is small, it is desirable that the number of divisions of the first region and the second region is large in order to generate more learning card information from one book. It is. Conversely, when the amount of information of each question item and the corresponding answer item is large, the smaller the number of divisions of the first region and the second region, the better the usability.
In this regard, according to the configuration of (11) above, the image division condition can be set for each type of reference mark, so the correspondence between the first column and the second column is changed according to the needs of the learner. be able to.

(12)本発明の少なくとも幾つかの実施形態に係る学習支援装置は、
上記(1)乃至(11)の何れかの構成の学習支援プログラムによって、
前記帳面の見開き時において前記第1紙面及び前記第2紙面が形成する仮想矩形の4隅のうち、前記第1紙面上における1以上の隅と、前記第2紙面上における1以上の隅とに位置する複数の基準マークを含む前記画像を取得する手順と、
前記画像中の前記複数の基準マークを識別し、前記複数の基準マークの各々の位置を示す座標を算出する手順と、
前記基準マークの各々の前記座標に基づいて、前記画像を、前記1列以上の第1欄にそれぞれ対応した前記第1紙面側における1以上の第1領域と、前記複数列の第2欄にそれぞれ対応した前記第2紙面側における複数の第2領域と、に分割する手順と、
前記1以上の第1領域の画像情報と前記複数の第2領域の画像情報とを互いに対応付けて、学習カード情報として記憶部に記憶する手順と、
を実行可能に構成されたコンピュータを備える。
(12) A learning support apparatus according to at least some embodiments of the present invention includes:
By the learning support program having the configuration of any of (1) to (11) above,
Of the four corners of the virtual rectangle formed by the first paper surface and the second paper surface when the page is spread, one or more corners on the first paper surface and one or more corners on the second paper surface Obtaining the image including a plurality of fiducial marks located;
Identifying the plurality of reference marks in the image and calculating coordinates indicating the position of each of the plurality of reference marks;
Based on the coordinates of each of the fiducial marks, the image is placed in one or more first regions on the first paper surface side corresponding to the one or more first columns, and in the second column of the plurality of rows. A plurality of second regions on the second paper surface side corresponding to each of the second regions;
A procedure in which the image information of the one or more first areas and the image information of the plurality of second areas are associated with each other and stored as learning card information in a storage unit;
The computer is configured to be executable.

(13)本発明の少なくとも幾つかの実施形態に係る学習ツール生成用帳面は、
1列以上の第1欄を有する第1紙面と、
複数列の第2欄を有する第2紙面と、
を備える学習ツール生成用帳面であって、
前記学習ツール生成用帳面の見開き時に、前記第1紙面と前記第2紙面とが互いに隣り合うとともに、前記第1紙面及び前記第2紙面が形成する仮想矩形の4隅のうち、前記第1紙面上における1以上の隅と、前記第2紙面上における1以上の隅とに位置する複数の基準マークを有し、
上記(1)乃至(11)の何れかの構成の学習支援プログラムが、
前記複数の基準マークを含む前記学習ツール生成用帳面の画像を取得する手順と、
前記画像中の前記複数の基準マークを識別し、前記複数の基準マークの各々の位置を示す座標を算出する手順と、
前記基準マークの各々の前記座標に基づいて、前記画像を、前記1列以上の第1欄にそれぞれ対応した前記第1紙面側における1以上の第1領域と、前記複数列の第2欄にそれぞれ対応した前記第2紙面側における複数の第2領域と、に分割する手順と、
前記1以上の第1領域の画像情報と前記複数の第2領域の画像情報とを互いに対応付けて、学習カード情報として記憶部に記憶する手順と、
をコンピュータに実行させることで学習ツールを生成可能に構成される。
(13) A learning tool generation book according to at least some embodiments of the present invention includes:
A first page having a first column of one or more rows;
A second page having a plurality of rows of second columns;
A learning tool generation book comprising:
When the learning tool generation book is spread, the first paper surface and the second paper surface are adjacent to each other, and the first paper surface among the four corners of the virtual rectangle formed by the first paper surface and the second paper surface. A plurality of fiducial marks located at one or more corners on the top and one or more corners on the second paper surface;
The learning support program having the configuration of any of (1) to (11) above is provided.
A procedure for acquiring an image of the learning tool generation book including the plurality of reference marks;
Identifying the plurality of reference marks in the image and calculating coordinates indicating the position of each of the plurality of reference marks;
Based on the coordinates of each of the fiducial marks, the image is placed in one or more first regions on the first paper surface side corresponding to the one or more first columns, and in the second column of the plurality of rows. A plurality of second regions on the second paper surface side corresponding to each of the second regions;
A procedure in which the image information of the one or more first areas and the image information of the plurality of second areas are associated with each other and stored as learning card information in a storage unit;
Is configured to generate a learning tool by causing a computer to execute.

上記(11)又は(12)の構成によれば、上記(1)に関して上述したとおり、帳面の第1欄及び第2欄のペアからなる学習カード情報を簡単に生成することができるとともに、帳面の撮像条件に関して厳格な制限を課す必要がなくなり、学習ツールの生成を効率的に行うことができる。   According to the configuration of (11) or (12) above, as described above with respect to (1) above, it is possible to easily generate learning card information consisting of a pair of the first column and second column of the book, Therefore, it is not necessary to impose strict restrictions on the imaging conditions, and learning tools can be generated efficiently.

(14)本発明の少なくとも幾つかの実施形態に係る学習ツール生成方法は、
1列以上の第1欄を有する第1紙面と、複数列の第2欄を有する第2紙面と、が見開き時に互いに隣り合うように構成された帳面を撮像した画像から学習ツールを生成する学習ツール生成方法であって、
前記帳面の見開き時において前記第1紙面及び前記第2紙面が形成する仮想矩形の4隅のうち、前記第1紙面上における1以上の隅と、前記第2紙面上における1以上の隅とに位置する複数の基準マークを含む前記画像を撮像するステップと、
前記画像中の前記複数の基準マークを識別し、前記複数の基準マークの各々の位置を示す座標を算出するステップと、
前記基準マークの各々の前記座標に基づいて、前記画像を、前記1列以上の第1欄にそれぞれ対応した前記第1紙面側における1以上の第1領域と、前記複数列の第2欄にそれぞれ対応した前記第2紙面側における複数の第2領域と、に分割するステップと、
前記1以上の第1領域の画像情報と前記複数の第2領域の画像情報とを互いに対応付けて、学習カード情報として記憶するステップと、
を備える。
(14) A learning tool generation method according to at least some embodiments of the present invention includes:
Learning that generates a learning tool from an image of a book that is configured such that a first page having one or more columns of the first column and a second page having a plurality of columns of the second column are adjacent to each other when facing apart. A tool generation method,
Of the four corners of the virtual rectangle formed by the first paper surface and the second paper surface when the page is spread, one or more corners on the first paper surface and one or more corners on the second paper surface Capturing the image including a plurality of fiducial marks located;
Identifying the plurality of reference marks in the image and calculating coordinates indicating the position of each of the plurality of reference marks;
Based on the coordinates of each of the fiducial marks, the image is placed in one or more first regions on the first paper surface side corresponding to the one or more first columns, and in the second column of the plurality of rows. Dividing into a plurality of second regions on the second paper surface side corresponding respectively;
Storing the image information of the one or more first areas and the image information of the plurality of second areas as learning card information in association with each other;
Is provided.

上記(14)の方法によれば、帳面の第1欄及び第2欄のペアからなる学習カード情報を簡単に生成することができる。また、複数の基準マークの位置に基づいて帳面の画像を分割処理するようにしたので、帳面の撮像条件の影響を受けずに、帳面上における第1欄及び第2欄の対応関係を崩さずに帳面の画像を分割することができる。しかも、上記(14)の方法では、帳面の第1紙面と第2紙面とをまたぐように配置された複数の基準マークの座標に基づいて、帳面上における第1欄及び第2欄の対応関係を高精度に維持しながら帳面の画像を分割することができる。よって、帳面の撮像条件に関して厳格な制限を課す必要がなくなり、学習ツールの生成を効率的に行うことができる。   According to the method of (14), it is possible to easily generate learning card information composed of a pair of the first column and the second column of the book. Further, since the image of the book is divided based on the positions of the plurality of reference marks, the correspondence between the first column and the second column on the book is not disturbed without being affected by the imaging conditions of the book. The book image can be divided. Moreover, in the method of (14), the correspondence between the first column and the second column on the page is based on the coordinates of a plurality of reference marks arranged so as to straddle the first page and the second page of the page. Can be divided while maintaining high accuracy. Therefore, it is not necessary to impose strict restrictions on the imaging conditions of the book, and the learning tool can be generated efficiently.

本発明の少なくとも幾つかの実施形態によれば、帳面の第1欄及び第2欄のペアからなる学習カード情報を簡単に生成することができるとともに、帳面の撮像条件に関して厳格な制限を課す必要がなくなり、学習ツールの生成を効率的に行うことができる。   According to at least some embodiments of the present invention, it is possible to easily generate learning card information consisting of pairs of the first and second fields of a book and to impose strict restrictions on the imaging conditions of the book. And learning tools can be generated efficiently.

一実施形態に係る学習支援装置の構成を示すブロック図である。It is a block diagram which shows the structure of the learning assistance apparatus which concerns on one Embodiment. 学習ツール生成用帳面の構成例を示す図である。It is a figure which shows the structural example of the book for learning tool production | generation. 図3(a)〜(j)は、それぞれ、基準マークの構成例を示す図である。3A to 3J are diagrams showing examples of the configuration of the reference marks. プロセッサによる画像処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the image processing by a processor. 図5(a)〜(f)は、プロセッサによる画像処理の各段階における様子を模式的に示す図である。FIGS. 5A to 5F are diagrams schematically illustrating the states of the image processing by the processor. 図6(a)は一実施形態に係る学習ツール生成用帳面の構成例を示す図であり、図6(b)は図6(a)の帳面に用いられる基準マークを示す図である。FIG. 6A is a diagram illustrating a configuration example of a learning tool generation book according to an embodiment, and FIG. 6B is a diagram illustrating a reference mark used for the book of FIG. 6A. 図7(a)は一実施形態に係る学習ツール生成用帳面の構成例を示す図であり、図7(b)は図7(a)の帳面に用いられる基準マークを示す図である。FIG. 7A is a diagram illustrating a configuration example of a learning tool generation book according to an embodiment, and FIG. 7B is a diagram illustrating a reference mark used for the book of FIG. 7A. 図8は、一実施形態に係る学習ツール生成用帳面の構成例を示す図である。FIG. 8 is a diagram illustrating a configuration example of a learning tool generation book according to an embodiment. 図9は、複数種の基準マークを利用して複数の画像分割条件を使い分ける手順を示すフローチャートである。FIG. 9 is a flowchart showing a procedure for properly using a plurality of image division conditions using a plurality of types of reference marks.

以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。   Hereinafter, some embodiments of the present invention will be described with reference to the accompanying drawings. However, the dimensions, materials, shapes, relative arrangements, etc. of the components described in the embodiments or shown in the drawings are not intended to limit the scope of the present invention, but are merely illustrative examples. Absent.

図1は、一実施形態に係る学習支援装置の構成を示すブロック図である。
図1に示すように、幾つかの実施形態では、学習支援装置1は、学習支援プログラムによって学習ツールに用いられる学習カード情報を生成するための各種手順を実行するコンピュータ10を備える。コンピュータ10は、スマートフォンやタブレット等の携帯端末であってもよい。
FIG. 1 is a block diagram illustrating a configuration of a learning support apparatus according to an embodiment.
As shown in FIG. 1, in some embodiments, the learning support device 1 includes a computer 10 that executes various procedures for generating learning card information used for a learning tool by a learning support program. The computer 10 may be a mobile terminal such as a smartphone or a tablet.

幾つかの実施形態では、コンピュータ10は、プロセッサ12と、カメラ14と、メモリ16と、ディスプレイ18と、入力部20と、を備える。   In some embodiments, the computer 10 includes a processor 12, a camera 14, a memory 16, a display 18, and an input unit 20.

プロセッサ12は、メモリ16から学習支援プログラムを読み出して、図4を参照して後述する手順を実行するように構成される。すなわち、プロセッサ12は、学習支援プログラムに従って、カメラ14によって撮像した画像データをメモリ16から取得してこれを処理し、学習カード情報を生成する。また、プロセッサ12は、カメラ14、ディスプレイ18及び入力部20を含む各種機器を制御する機能も有する。ディスプレイ18及び入力部20は、グラフィカルユーザインターフェース(GUI)を構成しており、学習支援装置1の利用者とコンピュータ10との間での情報のやり取りのために用いられる。
なお、図1に示した例示的な実施形態では、カメラ14がコンピュータ10に内蔵されているが、他の実施形態ではカメラはコンピュータ10の外部に設けられる。この場合、カメラで取得した画像データをI/Oインターフェース又はネットワーク回線を介してコンピュータ10のメモリ16に取り込んでもよい。
The processor 12 is configured to read the learning support program from the memory 16 and execute a procedure described later with reference to FIG. That is, the processor 12 acquires the image data captured by the camera 14 from the memory 16 according to the learning support program, processes it, and generates learning card information. The processor 12 also has a function of controlling various devices including the camera 14, the display 18, and the input unit 20. The display 18 and the input unit 20 constitute a graphical user interface (GUI), and are used for exchanging information between the user of the learning support apparatus 1 and the computer 10.
In the exemplary embodiment shown in FIG. 1, the camera 14 is built in the computer 10. However, in other embodiments, the camera is provided outside the computer 10. In this case, the image data acquired by the camera may be taken into the memory 16 of the computer 10 via an I / O interface or a network line.

図2は、カメラ14による撮像対象である帳面(学習ツール生成用帳面)の構成例を示す図である。
図2に示すように、帳面(学習ツール生成用帳面)100は、1列以上の第1欄112を有する第1紙面110と、複数列の第2欄122を有する第2紙面120と、を備える。
なお、図2に示す例示的な実施形態では、複数列の第1欄112が複数列の第2欄122とそれぞれ対応して設けられている(第1欄112の列数と第2欄122の列数は一致している)。図2に示す例では、第1欄112及び第2欄122が、それぞれ、12列設けられているが、第1欄112及び第2欄122の列数は任意に設定可能である。
FIG. 2 is a diagram illustrating a configuration example of a book (a learning tool generation book) that is an object to be imaged by the camera 14.
As shown in FIG. 2, the form (learning tool generation form) 100 includes a first sheet 110 having a first column 112 having one or more columns and a second sheet 120 having a second column 122 having a plurality of columns. Prepare.
In the exemplary embodiment shown in FIG. 2, a plurality of columns of the first column 112 are provided in correspondence with the plurality of columns of the second column 122 (the number of columns in the first column 112 and the second column 122). The number of columns in the match.) In the example shown in FIG. 2, the first column 112 and the second column 122 are provided in 12 columns, respectively, but the number of columns in the first column 112 and the second column 122 can be arbitrarily set.

また、帳面100は、綴じ部102において用紙が綴じられており、帳面100を閉じたときに第1紙面110と第2紙面120とが互いに向き合うとともに、帳面100の見開き時に図2に示すように第1紙面110と第2紙面120とが隣り合うように構成されている。綴じ部102は、複数枚の用紙を糸で綴じる糸綴じの構成や、複数枚の用紙を糊だけで固定する無線綴じの構成や、用紙をリングで綴じるリング綴じの構成であってもよい。図2に示す例示的な実施形態では、綴じ部102は、第1紙面110及び第2紙面120のそれぞれに複数の穴104が形成されており、この穴104にリングを通すリング綴じの構成を有する。
帳面100の見開き時に第1紙面110と第2紙面120とが隣り合うようにリング綴じ方式の綴じ部102を構成すれば、帳面100を綴じ部102で折り返すことで、質問内容が記載された紙面(第1紙面110又は第2紙面120の一方)の背面側に回答内容が記載された紙面(第1紙面110又は第2紙面120の他方)が位置することになり、帳面100自体を暗記ノートとして使用することも可能である。
Further, the paper 100 is bound by the binding unit 102, and when the paper 100 is closed, the first paper surface 110 and the second paper surface 120 face each other, and as shown in FIG. The first paper surface 110 and the second paper surface 120 are configured to be adjacent to each other. The binding unit 102 may have a configuration of yarn binding that binds a plurality of sheets with a thread, a configuration of wireless binding that fixes a plurality of sheets with glue alone, or a configuration of ring binding that binds sheets with a ring. In the exemplary embodiment shown in FIG. 2, the binding portion 102 has a plurality of holes 104 formed in each of the first paper surface 110 and the second paper surface 120, and has a ring-binding configuration in which a ring is passed through the hole 104. Have.
If the binding portion 102 of the ring binding method is configured so that the first paper surface 110 and the second paper surface 120 are adjacent to each other when the book surface 100 is spread, the paper surface on which the contents of the question are described by folding the book surface 100 with the binding portion 102. A paper surface (the other of the first paper surface 110 or the second paper surface 120) on which the contents of the answer are written is located on the back side of the first paper surface 110 or the second paper surface 120, and the notebook 100 itself is memorized as a note. It can also be used.

図2に示すように、幾つかの実施形態では、帳面100は、帳面100の見開き時において第1紙面110及び第2紙面120が形成する仮想矩形140の4隅のうち、第1紙面110上における1以上の隅と、第2紙面120上における1以上の隅とに位置する複数の基準マーク130を有する。図2に示す例示的な実施形態では、4個の基準マーク130が、仮想矩形140の4隅にそれぞれ設けられている。   As shown in FIG. 2, in some embodiments, the book surface 100 is located on the first paper surface 110 among the four corners of the virtual rectangle 140 formed by the first paper surface 110 and the second paper surface 120 when the book surface 100 is spread. And a plurality of reference marks 130 located at one or more corners on the second paper surface 120. In the exemplary embodiment shown in FIG. 2, four reference marks 130 are provided at the four corners of the virtual rectangle 140, respectively.

ここで、図3を用いて、基準マーク130の形状について説明する。図3(a)〜(j)は、それぞれ基準マーク130の構成例を示す図である。
図3(a)〜(j)に示すように、幾つかの実施形態では、基準マーク130は複数の角部132(132a,132b)を有する。図3(a)〜(j)には、各々の角部132の角度が90度である例が示されている。
Here, the shape of the reference mark 130 will be described with reference to FIG. 3A to 3J are diagrams showing examples of the configuration of the reference mark 130, respectively.
As shown in FIGS. 3A to 3J, in some embodiments, the reference mark 130 has a plurality of corners 132 (132a, 132b). 3A to 3J show an example in which the angle of each corner 132 is 90 degrees.

幾つかの実施形態では、各々の基準マーク130は、外側基準輪郭134と、外側基準輪郭134の内側に位置する内側基準輪郭136と、を含む。外側基準輪郭134及び内側基準輪郭136は、それぞれ、複数の折れ線によって閉じた多角形を構成している。
内側基準輪郭136は、(8+2n)個(但し、nは0以上の整数)の直角の角部132bを有する(8+2n)角形であってもよい。図3(a)〜(j)に示す例示的な実施形態では、外側基準輪郭134が4個の直角の角部132aを有する矩形であり、内側基準輪郭136が8個の直角の角部132bを有する八角形である。
In some embodiments, each fiducial mark 130 includes an outer reference contour 134 and an inner reference contour 136 located inside the outer reference contour 134. The outer reference contour 134 and the inner reference contour 136 each form a polygon closed by a plurality of broken lines.
The inner reference contour 136 may be an (8 + 2n) square having (8 + 2n) (where n is an integer equal to or greater than 0) right-angled corners 132b. In the exemplary embodiment shown in FIGS. 3 (a)-(j), the outer reference contour 134 is a rectangle with four right angle corners 132a and the inner reference contour 136 is eight right angle corners 132b. Is an octagon.

図3(a)〜図3(d)に示す例示的な実施形態では、基準マーク130は、正方形の外側基準輪郭134と、外側基準輪郭134の内側に位置するT字形状の内側基準輪郭136と、を有する。図3(a)〜図3(d)に示すように、内側基準輪郭136のT字形状の向きは特に限定されない。
図3(e)〜図3(h)に示す例示的な実施形態では、基準マーク130は、正方形の外側基準輪郭134と、外側基準輪郭134の内側に位置するコの字形状の内側基準輪郭136と、を有する。図3(a)〜図3(d)に示すように、内側基準輪郭136のコの字形状の向きは特に限定されない。
図3(i)及び図3(j)に示す例示的な実施形態では、基準マーク130は、正方形の外側基準輪郭134と、外側基準輪郭134の内側に位置するZ字形状の内側基準輪郭136と、を有する。図3(i)及び図3(j)に示すように、内側基準輪郭136のZ字形状の向きは特に限定されない。
In the exemplary embodiment shown in FIGS. 3 (a) to 3 (d), the reference mark 130 includes a square outer reference contour 134 and a T-shaped inner reference contour 136 located inside the outer reference contour 134. And having. As shown in FIGS. 3A to 3D, the direction of the T-shape of the inner reference contour 136 is not particularly limited.
In the exemplary embodiment shown in FIGS. 3 (e) to 3 (h), the reference mark 130 includes a square outer reference contour 134 and a U-shaped inner reference contour located inside the outer reference contour 134. 136. As shown in FIGS. 3A to 3D, the direction of the U-shape of the inner reference contour 136 is not particularly limited.
In the exemplary embodiment shown in FIGS. 3 (i) and 3 (j), the fiducial mark 130 includes a square outer reference contour 134 and a Z-shaped inner reference contour 136 located inside the outer reference contour 134. And having. As shown in FIGS. 3 (i) and 3 (j), the Z-shaped orientation of the inner reference contour 136 is not particularly limited.

なお、図3(a)〜図3(j)に示すように、外側基準輪郭134と内側基準輪郭136とで囲まれる領域135は、1色以上のインクによる塗り潰し(ベタ)領域であってもよい。これに対し、内側基準輪郭136で囲まれる領域137は、図3(a)〜図3(j)に示すように、インクが存在しない領域であってもよい。   As shown in FIGS. 3A to 3J, the region 135 surrounded by the outer reference contour 134 and the inner reference contour 136 may be a solid (solid) region of one or more colors. Good. On the other hand, the region 137 surrounded by the inner reference contour 136 may be a region where no ink exists, as shown in FIGS. 3 (a) to 3 (j).

続いて、図4及び図5を用いて、学習支援プログラムに基づくプロセッサ12による画像処理の手順について説明する。   Next, an image processing procedure by the processor 12 based on the learning support program will be described with reference to FIGS. 4 and 5.

図4は、プロセッサ12による画像処理の手順を示すフローチャートである。図5(a)〜(f)は、プロセッサ12による画像処理の各段階における様子を模式的に示す図である。
なお、図5(a)〜(f)は、画像中の候補図形200が図3(a)に示す基準マーク130であるか否かを判別する場合を例示している。
FIG. 4 is a flowchart showing a procedure of image processing by the processor 12. FIGS. 5A to 5F are diagrams schematically showing the state of each stage of image processing by the processor 12.
5A to 5F illustrate a case where it is determined whether or not the candidate graphic 200 in the image is the reference mark 130 shown in FIG.

図4に示すように、プロセッサ12は、帳面100の見開き状態の画像データをメモリ16から読み出す(ステップS2)。帳面100の画像データは、コンピュータ10のカメラ14によって撮像されたものあってもよい。なお、帳面100の撮像条件として、帳面100上の基準マーク130が所定領域内に収まるという制限を課しておいてもよい。この場合、撮像条件の制限が過度にならないように、基準マーク130が収まるべき領域は十分に広く設定しておくのがよい。   As shown in FIG. 4, the processor 12 reads the image data in the spread state of the book surface 100 from the memory 16 (step S2). The image data of the book surface 100 may be captured by the camera 14 of the computer 10. Note that, as an imaging condition of the book surface 100, a restriction that the reference mark 130 on the book surface 100 is within a predetermined area may be imposed. In this case, it is preferable to set a sufficiently wide area in which the reference mark 130 should be stored so that the imaging condition is not excessively limited.

続いて、帳面100の画像データのうち画像処理の対象とする領域を切り取る(ステップS4)。
この際、第1紙面110及び第2紙面120が形成する仮想矩形140の4隅に現れている図形(基準マーク130である可能性がある図形)を全て含むような領域を画像データから切り取り、この領域(対象画像領域)を画像処理の対象とする。例えば、撮像条件として設定された前記領域(基準マーク130が収まるべき領域)を含むように、画像データから切り取る対象画像領域の範囲を設定してもよい。
Subsequently, a region to be subjected to image processing is cut out from the image data of the book 100 (step S4).
At this time, an area including all of the figures appearing at the four corners of the virtual rectangle 140 formed by the first paper surface 110 and the second paper surface 120 (a graphic that may be the reference mark 130) is cut out from the image data. This region (target image region) is the target of image processing. For example, the range of the target image region to be cut out from the image data may be set so as to include the region set as the imaging condition (the region where the reference mark 130 should fit).

次に、対象画像領域に含まれる図形(基準マーク130である可能性がある図形)の画像又は当該図形を含む画像を切り取り、基準マーク130の候補図形200を含む画像とする(ステップS6)。ここで、対象画像領域からの画像切取り範囲は、入力部20を介して入力された指示に基づいて設定してもよいし、撮像条件として前記領域が設定されている場合、対象画像領域のうち前記領域の少なくとも一部を含むような範囲に設定してもよい。そして、ステップS6で得られた候補図形200の画像をそれぞれグレースケール化したうえで、これをさらに二値化する(ステップS8)。
なお、図5(a)には候補図形200をグレースケール化した様子を示しており、図5(b)には候補図形200をグレースケール化後に二値化した様子を示している。
図4に示す例示的な実施形態では、ステップS6において対象画像領域から候補図形200を含む画像を切り取って、これを以降の画像処理の対象とする。しかし、他の実施形態では、ステップS6における画像切取り処理を行わず、ステップ2で設定された対象画像領域全体を「候補図形200を含む画像」として、ステップS8以降の処理を行ってもよい。
Next, an image of a graphic (graphic that may be the reference mark 130) included in the target image region or an image including the graphic is cut out to obtain an image including the candidate graphic 200 of the reference mark 130 (step S6). Here, the image clipping range from the target image area may be set based on an instruction input via the input unit 20, or when the area is set as an imaging condition, You may set to the range which includes at least one part of the said area | region. Then, each of the images of the candidate graphic 200 obtained in step S6 is converted into a gray scale, and further binarized (step S8).
FIG. 5A shows a state in which the candidate graphic 200 is converted into a gray scale, and FIG. 5B shows a state in which the candidate graphic 200 is binarized after being converted into a gray scale.
In the exemplary embodiment shown in FIG. 4, in step S <b> 6, an image including the candidate graphic 200 is cut out from the target image area, and this is set as a target for subsequent image processing. However, in another embodiment, the image cropping process in step S6 may not be performed, and the process after step S8 may be performed with the entire target image area set in step 2 as “an image including the candidate graphic 200”.

続いて、二値化された候補図形200の輪郭を抽出し、この輪郭を直線に近似する(ステップS10)。こうして、候補図形200の直線状の輪郭234,236が得られる。このように輪郭234,236を直線近似しておけば、ノイズの影響を受けずに角部232の特定を高精度に行うことができる。
なお、図5(c)には、二値化された候補図形200の輪郭を直線近似した様子が示されている。同図に示す例示的な実施形態では、候補図形200の外側輪郭234と内側輪郭236とが示されている。
Subsequently, the contour of the binarized candidate graphic 200 is extracted, and this contour is approximated to a straight line (step S10). In this way, the linear outlines 234 and 236 of the candidate graphic 200 are obtained. If the contours 234 and 236 are linearly approximated in this way, the corner portion 232 can be specified with high accuracy without being affected by noise.
FIG. 5C shows a state where the contour of the binarized candidate graphic 200 is approximated by a straight line. In the exemplary embodiment shown in the figure, an outer contour 234 and an inner contour 236 of the candidate graphic 200 are shown.

次に、候補図形200における直線近似された輪郭234,236における角部232(232a,232b)の数を算出する。なお、角部232は、輪郭234,236のうち、輪郭234,236の各辺が規定角度範囲内で交差する箇所として特定可能である。ここでの「規定角度範囲」とは、基準マーク130の角部132の角度(例えば90度)を基準として、基準マーク130の帳面100への形成精度(例えば基準マーク130の印刷精度)上の理由から生じ得る誤差(又は誤差及びマージン)を考慮した範囲(例えば±10度、好ましくは±5度)である。「規定角度範囲」は、例えば、80度以上100度以下の範囲内で任意に設定されてもよく、85度以上95度以下の範囲内で設定されてもよい。
なお、図5(d)には候補図形200の外側輪郭234における4個の角部232aを特定した様子を示しており、図5(e)には候補図形200の内側輪郭236における8個の角部232bを特定した様子を示している。
Next, the number of corners 232 (232a, 232b) in the contours 234, 236 that are linearly approximated in the candidate graphic 200 is calculated. In addition, the corner | angular part 232 can be specified as a location where each edge | side of the outlines 234 and 236 cross | intersects within a regulation angle range among the outlines 234 and 236. Here, the “specified angle range” refers to the accuracy of forming the reference mark 130 on the book surface 100 (for example, the printing accuracy of the reference mark 130) with the angle of the corner portion 132 (for example, 90 degrees) of the reference mark 130 as a reference. It is a range (for example, ± 10 degrees, preferably ± 5 degrees) in consideration of an error (or an error and a margin) that may occur for a reason. The “specified angle range” may be arbitrarily set within a range of 80 degrees to 100 degrees, for example, and may be set within a range of 85 degrees to 95 degrees.
5D shows a state where the four corners 232a in the outer contour 234 of the candidate graphic 200 are specified, and FIG. 5E shows the eight corners 236 in the inner contour 236 of the candidate graphic 200. The state which specified the corner | angular part 232b is shown.

そして、輪郭234,236における角部232(232a,232b)の数が、基準マーク130の角部132(132a,132b)の数と一致しているかという第1識別条件の成否を判定する(ステップS12)。
なお、図5(d)に示した例では、候補図形200の外側輪郭234の角部232aの数(=4個)が、図3(a)に示す基準マーク130の外側基準輪郭134の角部132aの数(=4個)と一致している。また、図5(e)に示した例では、候補図形200の内側輪郭236の角部232bの数(=8個)が、図3(a)に示す基準マーク130の内側基準輪郭136の角部132bの数(=8個)と一致している。よって、図5(d)及び図5(e)に示した例の場合、候補図形200は第1識別条件を満たす。
Then, the success or failure of the first identification condition is determined as to whether the number of corners 232 (232a, 232b) in the contours 234, 236 matches the number of corners 132 (132a, 132b) of the reference mark 130 (step). S12).
In the example shown in FIG. 5D, the number of corner portions 232a (= 4) of the outer contour 234 of the candidate graphic 200 is equal to the corner of the outer reference contour 134 of the reference mark 130 shown in FIG. This matches the number of parts 132a (= 4). In the example shown in FIG. 5E, the number (= 8) of corners 232b of the inner contour 236 of the candidate graphic 200 is equal to the corner of the inner reference contour 136 of the reference mark 130 shown in FIG. This matches the number of parts 132b (= 8). Therefore, in the example shown in FIG. 5D and FIG. 5E, the candidate graphic 200 satisfies the first identification condition.

続いて、候補図形200の輪郭234,236で囲まれた面積S(S1,S2)の大きさを算出し、この面積S(S1,S2)の大きさ、又は、ステップS4で切り取った対象画像領域全体に占める面積S(S1,S2)の比率が、規定範囲内に収まるかという第2識別条件の成否を判定する(ステップS14)。
なお、図5(d)には候補図形200の外側輪郭234で囲まれる面積S1が示されており、図5(e)には候補図形200の内側輪郭236で囲まれる面積S2が示されている。
Subsequently, the size of the area S (S1, S2) surrounded by the contours 234, 236 of the candidate graphic 200 is calculated, and the size of the area S (S1, S2) or the target image cut out in step S4 Whether the ratio of the area S (S1, S2) occupying the entire region falls within the specified range is determined (step S14).
5D shows the area S1 surrounded by the outer contour 234 of the candidate graphic 200, and FIG. 5E shows the area S2 surrounded by the inner contour 236 of the candidate graphic 200. Yes.

さらに、候補図形200の輪郭234,236の角部232(232a,232b)の座標を算出し、この座標間を結んだ形状が基準マーク130の輪郭134,136の形状と一致するかという第3識別条件の成否を判定する(ステップS16)。
具体的には、候補図形200の外側輪郭234の角部232aを結んだ形状が、基準マーク130の外側基準輪郭134と同一の形状(例えば、矩形又は正方形)であるか否かを判定する。また、候補図形200の内側輪郭236の角部232bを結んだ形状が、基準マーク130の内側基準輪郭136と同一の形状(例えば、直角の角部を8個有する形状)であるか否かを判定する。
Further, the coordinates of the corners 232 (232a, 232b) of the contours 234, 236 of the candidate graphic 200 are calculated, and the third is to determine whether the shape connecting the coordinates matches the shapes of the contours 134, 136 of the reference mark 130. The success or failure of the identification condition is determined (step S16).
Specifically, it is determined whether or not the shape connecting the corners 232a of the outer contour 234 of the candidate graphic 200 is the same shape (for example, a rectangle or a square) as the outer reference contour 134 of the reference mark 130. Also, whether or not the shape connecting the corners 232b of the inner contour 236 of the candidate graphic 200 is the same shape as the inner reference contour 136 of the reference mark 130 (for example, a shape having eight right-angled corners). judge.

そして、第1識別条件、第2識別条件および第3識別条件の全てを充足する場合(即ち、ステップS12,ステップS14及びステップS16において何れもYES判定の場合)にのみ、当該候補図形200を基準マーク130として識別する(ステップS17)。また、基準マーク130として識別された候補図形200の輪郭234,236の各々の角部232(232a,232b)の座標をメモリ16に保存しておく。
その後、ステップS18において、全ての基準マーク130(例えば4個)が検出されたか否かを判定する。全ての基準マーク130が検出済みであれば(ステップS18のYES判定)、基準マーク130の識別処理を終えて、後続のステップS24へと進む。
Then, only when the first identification condition, the second identification condition, and the third identification condition are all satisfied (that is, when YES is determined in steps S12, S14, and S16), the candidate graphic 200 is used as a reference. It is identified as a mark 130 (step S17). Further, the coordinates of the corners 232 (232 a and 232 b) of the contours 234 and 236 of the candidate graphic 200 identified as the reference mark 130 are stored in the memory 16.
Thereafter, in step S18, it is determined whether or not all the reference marks 130 (for example, four) have been detected. If all the reference marks 130 have been detected (YES determination at step S18), the process of identifying the reference marks 130 is finished, and the process proceeds to the subsequent step S24.

これに対し、第1識別条件、第2識別条件および第3識別条件の何れかを満たさない場合(即ち、ステップS12,ステップS14又はステップS16の何れかがNO判定の場合)、当該候補図形200は基準マーク130ではないと判断して、ステップS20へと進む。   On the other hand, when any of the first identification condition, the second identification condition, and the third identification condition is not satisfied (that is, when any of Step S12, Step S14, or Step S16 is NO), the candidate graphic 200 Is determined not to be the reference mark 130, and the process proceeds to step S20.

なお、他の実施形態では、上述の第1識別条件〜第3識別条件に加えて、第4識別条件として、候補図形200の外側輪郭234によって囲まれる第1面積Sと、候補図形200の内側輪郭236によって囲まれる第2面積Sとの比率が規定範囲内(例えば、0.1≦S/S≦1)であるか否かも判定してもよい。
なお、上述の第1識別条件〜第4識別条件の全てを用いずに、第1識別条件、第2識別条件、第3識別条件又は第4識別条件のうち1つ以上の識別条件のみの成否に基づいて、候補図形200が基準マーク130であるか否かを判定してもよい。
In other embodiments, in addition to the above-described first to third identification conditions, as a fourth identification condition, the first area S 1 surrounded by the outer contour 234 of the candidate graphic 200 and the candidate graphic 200 It may also be determined whether the ratio with the second area S 2 surrounded by the inner contour 236 is within a specified range (for example, 0.1 ≦ S 2 / S 1 ≦ 1).
The success or failure of only one or more of the first identification condition, the second identification condition, the third identification condition, or the fourth identification condition without using all of the first to fourth identification conditions described above. Based on the above, it may be determined whether or not the candidate graphic 200 is the reference mark 130.

ステップS20では、他に候補図形200が残っているか否かを判定する。他の候補図形200が残っていれば(ステップS20のYES判定)、新しい候補図形200について、ステップS12〜S16のマーク識別ステップを行う。
これに対し、他の候補図形200が残っていなければ(ステップS20のNO判定)、プロセッサ12は、基準マーク130の識別エラー信号を生成する(ステップS22)。識別エラー信号はディスプレイ18に送られ、ディスプレイ18に基準マーク130の識別に失敗したことを知らせる警告を表示してもよい。そして、学習カード情報の生成処理をそのまま続行するか否かの入力部20を介した指示を使用者に促してもよい。
In step S20, it is determined whether there are other candidate graphics 200 remaining. If another candidate graphic 200 remains (YES determination in step S20), the mark identification steps in steps S12 to S16 are performed for the new candidate graphic 200.
On the other hand, if no other candidate graphic 200 remains (NO determination at step S20), the processor 12 generates an identification error signal for the reference mark 130 (step S22). The identification error signal may be sent to the display 18 to display a warning on the display 18 informing that the identification of the reference mark 130 has failed. Then, the user may be prompted to give an instruction via the input unit 20 as to whether or not to continue the learning card information generation process.

全ての基準マーク130が正常に検出された後、ステップS24では、各々の基準マーク130の座標に基づいて画像(即ち、ステップS4で設定した対象画像領域内の画像)の補正を行う。
具体的には、ステップS17において保存しておいた候補図形200(基準マーク130)の輪郭234,236の角部232(232a,232b)の座標をメモリ16から読み出し、基準マーク130の位置を示す代表座標(例えば基準マーク130の中心点の座標)を算出する。そして、各々の基準マーク130の代表座標に基づいて、対象画像領域内の画像の補正処理を行うのである。
なお、画像の補正処理は、例えば、画像が台形である場合にこれが矩形になるように補正する台形補正処理や、画像が傾いている場合にこの傾きを補正する傾き補正処理を挙げることができる。
After all the reference marks 130 are detected normally, in step S24, the image (that is, the image in the target image area set in step S4) is corrected based on the coordinates of each reference mark 130.
Specifically, the coordinates of the corners 232 (232a, 232b) of the contours 234, 236 of the candidate graphic 200 (reference mark 130) stored in step S17 are read from the memory 16 to indicate the position of the reference mark 130. Representative coordinates (for example, the coordinates of the center point of the reference mark 130) are calculated. Then, based on the representative coordinates of each fiducial mark 130, the image in the target image area is corrected.
Note that the image correction processing includes, for example, a trapezoid correction processing for correcting the image to be rectangular when the image is a trapezoid, and an inclination correction processing for correcting the inclination when the image is tilted. .

その後、ステップS26において、各々の基準マーク130の代表座標に基づき、第1欄112及び第2欄122の列数に応じて、対象画像領域における画像を分割する(ステップS26)。具体的には、帳面100の1列以上の第1欄112にそれぞれ対応した第1紙面110側における1以上の第1領域212と、複数列の第2欄122にそれぞれ対応した第2紙面120側における複数の第2領域222と、に対象画像領域内の画像を分割する。この際、第1紙面110及び第2紙面120間の綴じ部102や、第1紙面110及び第2紙面120に形成された穴104が含まれないように、第1領域212及び第2領域222を設定してもよい。
なお、図5(f)に示す例示的な実施形態では、合計12列の第1領域212と、合計12列の第2領域222と、に画像を分割した様子が示されている。
Thereafter, in step S26, the image in the target image area is divided according to the number of columns in the first column 112 and the second column 122 based on the representative coordinates of each reference mark 130 (step S26). Specifically, one or more first regions 212 on the first paper surface 110 side corresponding to one or more first columns 112 of the book surface 100 and a second paper surface 120 corresponding to each of the second columns 122 of a plurality of rows. The image in the target image area is divided into a plurality of second areas 222 on the side. At this time, the first region 212 and the second region 222 are not included so that the binding portion 102 between the first paper surface 110 and the second paper surface 120 and the hole 104 formed in the first paper surface 110 and the second paper surface 120 are not included. May be set.
In the exemplary embodiment shown in FIG. 5F, a state in which an image is divided into a total of 12 columns of first regions 212 and a total of 12 columns of second regions 222 is shown.

そして、ステップS28に進んで、1以上の第1領域212の画像情報と、複数の第2領域222の画像情報とを互いに対応付けて、学習カード情報としてメモリ16に保存する。なお、ここでいう「学習カード情報」とは、第1領域212の画像情報と、当該第1領域212と同一列の第2領域222の画像情報とのペアからなる情報であってもよい。
図5(f)に示す例の場合、第1領域212の画像情報と第2領域222の画像情報とのペアが12組形成されるため、ステップS28において12種類の学習カード情報が生成される。
In step S28, the image information of one or more first areas 212 and the image information of the plurality of second areas 222 are associated with each other and stored in the memory 16 as learning card information. Note that the “learning card information” here may be information including a pair of image information of the first area 212 and image information of the second area 222 in the same column as the first area 212.
In the case of the example shown in FIG. 5F, since 12 pairs of image information of the first area 212 and image information of the second area 222 are formed, 12 types of learning card information are generated in step S28. .

図4に示す実施形態によれば、コンピュータ10に上述した手順(ステップS2〜S28)を実行させることで、帳面100の第1欄112及び第2欄122のペアからなる学習カード情報を簡単に生成することができる。また、複数の基準マーク130の位置に基づいて帳面100の画像を分割処理するようにしたので、帳面100の撮像条件の影響を受けずに、帳面100上における第1欄112及び第2欄122の対応関係を崩さずに帳面100の画像を分割することができる。しかも、帳面100の見開き時に第1紙面110及び第2紙面120によって形成される仮想矩形140の4隅のうち、第1紙面110上の1以上の隅と、第2紙面120上の1以上の隅と、に基準マーク130が位置する。このため、複数の基準マーク130が、帳面100の第1紙面110と第2紙面120とをまたぐように配置されることとなり、帳面100上における第1欄112及び第2欄122の対応関係を高精度に維持しながら帳面100の画像を分割することができる。よって、帳面100の撮像条件に関して厳格な制限を課す必要がなくなり、学習ツールの生成を効率的に行うことができる。   According to the embodiment shown in FIG. 4, the learning card information including the pair of the first column 112 and the second column 122 of the book 100 can be easily obtained by causing the computer 10 to execute the above-described procedure (steps S <b> 2 to S <b> 28). Can be generated. Further, since the image of the book surface 100 is divided based on the positions of the plurality of reference marks 130, the first column 112 and the second column 122 on the book surface 100 are not affected by the imaging conditions of the book surface 100. It is possible to divide the image of the book face 100 without breaking the corresponding relationship. Moreover, among the four corners of the virtual rectangle 140 formed by the first paper surface 110 and the second paper surface 120 when the book surface 100 is spread, one or more corners on the first paper surface 110 and one or more corners on the second paper surface 120. Reference marks 130 are located at the corners. Therefore, the plurality of reference marks 130 are arranged so as to straddle the first paper surface 110 and the second paper surface 120 of the book surface 100, and the correspondence relationship between the first column 112 and the second column 122 on the book surface 100 is determined. The image of the book surface 100 can be divided while maintaining high accuracy. Therefore, it is not necessary to impose strict restrictions on the imaging conditions of the book surface 100, and the learning tool can be generated efficiently.

また、画像中における図形200の角部232(232a,232b)の数に基づいて基準マーク130を識別するようにしたので、基準マーク130の識別処理に要する計算時間を短縮することができる。
しかも、基準マーク130と紛らわしい図形200が第1紙面110又は第2紙面120上に存在する場合であっても、当該図形200が手書きによるものであれば、規定角度範囲内に含まれる角部232の数がたまたま基準マーク130の角部132の数と一致することは考えにくい。このため、手書きの図形200を基準マーク130と誤認識する可能性を低減できる。よって、帳面100上における第1欄112及び第2欄122の対応関係を高精度に維持しながら帳面100の画像を分割することができる。
Further, since the reference mark 130 is identified based on the number of corners 232 (232a, 232b) of the graphic 200 in the image, the calculation time required for the identification process of the reference mark 130 can be shortened.
Moreover, even if the figure 200 confusing with the reference mark 130 exists on the first paper surface 110 or the second paper surface 120, the corner portion 232 included in the specified angle range if the graphic 200 is handwritten. It is unlikely that the number of coincides with the number of corners 132 of the reference mark 130. For this reason, the possibility of erroneously recognizing the handwritten figure 200 as the reference mark 130 can be reduced. Therefore, the image of the book 100 can be divided while maintaining the correspondence between the first column 112 and the second column 122 on the book 100 with high accuracy.

また、画像中に存在する図形200の外側輪郭234及び内側輪郭236が、それぞれ、基準マーク130の外側基準輪郭134及び内側基準輪郭136の角部132(132a,132b)と同数の規定角度範囲内の角部232(232a,232b)を有するか否かに基づいて基準マーク130を識別することで、手書きの図形200を基準マーク130と誤認識する可能性をより一層低減できる。   In addition, the outer contour 234 and the inner contour 236 of the graphic 200 existing in the image are within the same specified angle range as the outer reference contour 134 of the reference mark 130 and the corner 132 (132a, 132b) of the inner reference contour 136, respectively. By identifying the reference mark 130 based on whether or not it has the corner portion 232 (232a, 232b), the possibility of erroneously recognizing the handwritten figure 200 as the reference mark 130 can be further reduced.

また、矩形の外側基準輪郭134と、8個以上の直角の角部132bを有する多角形の内側基準輪郭136と、を組み合わせたシンプルな形状の基準マーク130を採用することで、候補図形200の直角の角部232(232a,232b)の数に着目して基準マーク130の識別処理速度を向上しつつ、手書きの図形200を基準マーク130と誤認識する可能性を低減することができる。   In addition, by adopting a simple reference mark 130 that combines a rectangular outer reference contour 134 and a polygonal inner reference contour 136 having eight or more right-angled corners 132b, Focusing on the number of right-angled corners 232 (232a, 232b) to improve the identification processing speed of the reference mark 130, it is possible to reduce the possibility of erroneously recognizing the handwritten figure 200 as the reference mark 130.

また、画像中に存在する図形200の輪郭234,236によって囲まれる面積S(S1,S2)の大きさ又は該面積S(S1,S2)の画像中に占める比率に基づいて基準マーク130の識別を行うことで、規定角度範囲内の角部232(232a,232b)に着目して基準マーク130の識別処理速度を向上しつつ、手書きの図形200を基準マーク130と誤認識する可能性を低減することができる。   Further, the reference mark 130 is identified based on the size of the area S (S1, S2) surrounded by the outlines 234, 236 of the graphic 200 existing in the image or the ratio of the area S (S1, S2) in the image. As a result, the recognition processing speed of the reference mark 130 is improved by focusing on the corners 232 (232a, 232b) within the specified angle range, and the possibility that the handwritten figure 200 is erroneously recognized as the reference mark 130 is reduced. can do.

また、画像中に存在する図形200の規定角度範囲内の複数の角部232(232a,232b)の座標を結んで得られる形状が基準マーク130のそれと一致しているか否かに基づいて基準マーク130の識別を行うことで、規定角度範囲内の角部232(232a,232b)に着目して基準マーク130の識別処理速度を向上しつつ、手書きの図形200を基準マーク130と誤認識する可能性を低減することができる。   Further, the reference mark is determined based on whether or not the shape obtained by connecting the coordinates of a plurality of corners 232 (232a, 232b) within the specified angle range of the graphic 200 existing in the image matches that of the reference mark 130. By identifying 130, it is possible to erroneously recognize the handwritten figure 200 as the reference mark 130 while improving the identification processing speed of the reference mark 130 by focusing on the corners 232 (232a, 232b) within the specified angle range. Can be reduced.

また、帳面100の見開き時に第1紙面110及び第2紙面120によって形成される仮想矩形140の4隅のそれぞれに設けられた4個の基準マーク130を検出できない場合にマーク認識エラー信号を生成するようにしたので、画像中の手書きの図形200を基準マーク130と誤認したまま、精度の低い学習カード情報を生成してしまう事態を回避できる。   Further, a mark recognition error signal is generated when the four reference marks 130 provided at the four corners of the virtual rectangle 140 formed by the first paper surface 110 and the second paper surface 120 cannot be detected when the book surface 100 is spread. Since it did in this way, the situation which produces | generates low-precision learning card information can be avoided, misrecognizing the handwritten figure 200 in an image as the reference | standard mark 130. FIG.

さらに、基準マーク130の座標に基づいて画像を補正するようにしたので、帳面100の撮像条件の影響を受けずに、帳面100上における第1欄112及び第2欄122の対応関係を高精度に維持しながら帳面100の画像を分割することができる。よって、帳面100の撮像条件に関して厳格な制限を課す必要がなくなり、学習ツールの生成を効率的に行うことができる。   Furthermore, since the image is corrected based on the coordinates of the reference mark 130, the correspondence between the first column 112 and the second column 122 on the book surface 100 is highly accurate without being affected by the imaging conditions of the book surface 100. It is possible to divide the image of the book 100 while maintaining the above. Therefore, it is not necessary to impose strict restrictions on the imaging conditions of the book surface 100, and the learning tool can be generated efficiently.

上述した手順によって得られた学習カード情報は、プロセッサ12によってメモリ16から読み出されて学習ツールとして活用される。すなわち、プロセッサ12は、第1領域212の画像情報を質問内容としてディスプレイ18に表示するとともに、入力部20を介した操作信号に応答して、第2領域222の画像情報を回答内容としてディスプレイ18に表示してもよい。これにより、学習効果を向上させることができる。   The learning card information obtained by the above-described procedure is read from the memory 16 by the processor 12 and used as a learning tool. That is, the processor 12 displays the image information of the first area 212 on the display 18 as the question content, and responds to the operation signal via the input unit 20 and displays the image information of the second area 222 as the answer content. May be displayed. Thereby, the learning effect can be improved.

なお、プロセッサ12は、各々の学習カード情報について正答率をメモリ16に記憶してもよい。この場合、プロセッサ12は、正答率の低い学習カード情報を、正答率が高い学習カード情報に優先して、ディスプレイ18に表示するようにしてもよい。あるいは、プロセッサ12は、メモリ16に記憶されている学習カード情報をランダムに読み出して、ディスプレイ18に表示してもよい。
このように、プロセッサ12がディスプレイ18に表示する学習カード情報を適宜選択することで、学習効果をさらに向上させることができる。
The processor 12 may store the correct answer rate for each learning card information in the memory 16. In this case, the processor 12 may display the learning card information with a low correct answer rate on the display 18 in preference to the learning card information with a high correct answer rate. Alternatively, the processor 12 may randomly read the learning card information stored in the memory 16 and display it on the display 18.
As described above, the learning effect can be further improved by appropriately selecting the learning card information displayed on the display 18 by the processor 12.

本発明は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。   The present invention is not limited to the above-described embodiments, and includes forms obtained by modifying the above-described embodiments and forms obtained by appropriately combining these forms.

例えば、上述の実施形態では、主として、学習者が帳面100の第1欄112及び第2欄122に書き込んだ文字情報から学習カード情報を生成することを想定しているが、他の実施形態では、第1欄112又は第2欄122の少なくとも一方に含まれる情報は画像情報(絵、図、記号、写真等)から学習カード情報を生成してもよい。このことについて、図6(a)及び図6(b)を参照しながら詳述する。   For example, in the above-described embodiment, it is mainly assumed that the learner generates learning card information from the character information written in the first column 112 and the second column 122 of the book 100, but in other embodiments. Information included in at least one of the first column 112 and the second column 122 may generate learning card information from image information (pictures, drawings, symbols, photographs, etc.). This will be described in detail with reference to FIGS. 6 (a) and 6 (b).

図6(a)は一実施形態に係る学習ツール生成用帳面の構成例を示す図であり、図6(b)は図6(a)の帳面に用いられる基準マーク130を示す図である。
図6(a)に示すように、第1欄112には製品外観を示す画像情報が含まれており、第2欄122には当該画像情報に関連する文字情報(例えば製品名、製品の特長、製品価格、製品の色の種類等)が含まれている。他の実施形態では、歴史上の人物の絵又は写真が第1欄112に含まれており、第2欄122には当該人物の名前、偉業、活動地域、又は当該人物が生きた時代等の情報が含まれていてもよい。別の実施形態では、名所の絵又は写真が第1欄112に含まれており、第2欄122には当該名所の名前、場所等の情報が含まれていてもよい。さらに別の実施形態では、動物、魚、昆虫等の生物や植物の写真又は絵が第1欄112に含まれており、第2欄122には当該生物又は植物の名前、分類、生息地等の情報が含まれていてもよい。
なお、図6(a)及び(b)に示す例示的な実施形態では、基準マーク130は、8個の角部132aを有する外側基準輪郭134と、10個の角部132bを有する内側基準輪郭136と、を含む。なお、図6(b)では、代表的な角部132a,132bに対してのみ符号を付している。
FIG. 6A is a diagram showing a configuration example of a learning tool generation book according to an embodiment, and FIG. 6B is a diagram showing a reference mark 130 used for the book of FIG. 6A.
As shown in FIG. 6A, the first column 112 includes image information indicating the appearance of the product, and the second column 122 includes character information related to the image information (for example, product name, product features). Product price, product color type, etc.). In other embodiments, a picture or photo of a historical person is included in the first column 112, and the second column 122 includes the person's name, feat, area of activity, or the time when the person lived. Information may be included. In another embodiment, a landmark picture or photo may be included in the first column 112 and the second column 122 may include information such as the name, location, etc. of the landmark. In yet another embodiment, photographs or pictures of animals and plants such as animals, fish and insects are included in the first column 112, and the second column 122 includes the name, classification, habitat, etc. of the organism or plant. May be included.
In the exemplary embodiment shown in FIGS. 6A and 6B, the reference mark 130 includes an outer reference contour 134 having eight corners 132a and an inner reference contour having ten corners 132b. 136. In FIG. 6B, only the representative corner portions 132a and 132b are denoted by reference numerals.

また、上述の実施形態では、主として1種類の基準マーク130を用いることを想定しているが、複数種の基準マーク130を使用してもよい。複数種の基準マーク130の使用により、学習者の多様なニーズに応えることができる。このことについて、以下、図2及び図7〜図9を参照しながら詳述する。   In the above-described embodiment, it is assumed that one type of reference mark 130 is mainly used. However, a plurality of types of reference marks 130 may be used. The use of a plurality of types of reference marks 130 can meet various needs of learners. This will be described in detail below with reference to FIGS. 2 and 7 to 9.

図7(a)は一実施形態に係る学習ツール生成用帳面の構成例を示す図であり、図7(b)は図7(a)の帳面に用いられる基準マーク130を示す図である。
図7(a)に示す帳面100は、図2に示す例に比べて、第1欄112及び第2欄122の列数が少ない。このため、第1欄112及び第2欄122の各々により多くの情報を盛り込むことができる。図7(a)に示す例示的な実施形態では、第1紙面110には6列の第1欄112が設けられており、第2紙面120には第1欄112にそれぞれ対応する6列の第2欄122が設けられている。なお、本実施形態における基準マーク130は、図7(b)に示すように、6個の角部132aを有するL字状の外側基準輪郭134と、8個の角部132bを有するT字状の内側基準輪郭136と、を含む。なお、図7(b)では、代表的な角部132a,132bに対してのみ符号を付している。
FIG. 7A is a diagram illustrating a configuration example of a learning tool generation book according to an embodiment, and FIG. 7B is a diagram illustrating a reference mark 130 used for the book of FIG. 7A.
The book 100 shown in FIG. 7A has fewer columns in the first column 112 and the second column 122 than the example shown in FIG. For this reason, more information can be included in each of the first column 112 and the second column 122. In the exemplary embodiment shown in FIG. 7 (a), the first sheet 110 is provided with six columns of first columns 112, and the second sheet 120 is provided with six columns corresponding to the first columns 112, respectively. A second column 122 is provided. As shown in FIG. 7B, the reference mark 130 in the present embodiment has an L-shaped outer reference contour 134 having six corners 132a and a T-shape having eight corners 132b. Inner reference contour 136. In FIG. 7B, only the representative corners 132a and 132b are denoted by reference numerals.

図8は、一実施形態に係る学習ツール生成用帳面の構成例を示す図である。
図8に示す帳面100は、図2及び図7(a)に示す例とは異なり、第1欄112と第2欄122の列数が異なる。具体的には、一つの第1欄112に対して、複数列の第2欄122が対応付けられている。このため、一つの第1欄112に対応する複数種の情報をそれぞれ複数列の第2欄122に盛り込むことができる。図8に示す例示的な実施形態では、第1紙面110には2列の第1欄112が設けられており、第2紙面120には各々の第1欄112に対して3列の第2欄122が対応するように合計6列の第2欄122が設けられている。なお、本実施形態における基準マーク130は、図3(j)に示したものと同一である。
FIG. 8 is a diagram illustrating a configuration example of a learning tool generation book according to an embodiment.
8 differs from the example shown in FIGS. 2 and 7A in that the number of columns in the first column 112 and the second column 122 is different. Specifically, a plurality of second columns 122 are associated with one first column 112. Therefore, a plurality of types of information corresponding to one first column 112 can be included in the second column 122 in a plurality of columns. In the exemplary embodiment shown in FIG. 8, the first page 110 is provided with two rows of first columns 112, and the second page 120 has three rows of second columns 112 for each first column 112. A total of six columns of second columns 122 are provided so that the columns 122 correspond. The reference mark 130 in the present embodiment is the same as that shown in FIG.

図9は、複数種の基準マーク130を利用して複数の画像分割条件を使い分ける手順を示すフローチャートである。なお、ここでは、図2、図7(a)及び図8を参照して述べた3種類の基準マーク130を活用して複数の画像分割条件を使い分けるようにした学習ツール生成方法について説明する。   FIG. 9 is a flowchart showing a procedure for properly using a plurality of image division conditions using a plurality of types of reference marks 130. Here, a learning tool generation method will be described in which a plurality of image division conditions are selectively used by utilizing the three types of reference marks 130 described with reference to FIGS. 2, 7A, and 8.

図9に示すように、ステップS30において、プロセッサ12により、図4を参照して上述した手順(ステップS2〜S18)に従って、第1識別条件〜第4識別条件の成否に基づいて基準マーク130を検出する。ここでの基準マーク130は、図2、図7(a)及び図8に示した3種類の基準マーク130の何れかである。ここでは、図2、図7(a)及び図8に示した3種類の基準マーク130を、それぞれ、第1基準マーク130A、第2基準マーク130B、第3基準マーク130Cと称する。
なお、ステップS30を実行するに際して、3種類の基準マーク130(130A〜130C)の各々について、識別条件(第1識別条件〜第4識別条件)は個別に設定されており、メモリ16に予め格納されていてもよい。例えば、第1基準マーク130Aの場合、第1識別条件は外側基準輪郭134の角部132aが4個、内側基準輪郭136の角部132bが8個であるのに対し、第2基準マーク130Bの場合、第1識別条件は外側基準輪郭134の角部132aが6個、内側基準輪郭136の角部132bが8個であり、第3基準マーク130Cの場合、第1識別条件は外側基準輪郭134の角部132aが4個、内側基準輪郭132bが8個である。同様に、他の識別条件(第2識別条件〜第4識別条件)についても、各基準マーク130A〜130Cについて個別に設定される。この場合、プロセッサ12は、ステップS30を実行するためには、メモリ16から各基準マーク130A〜130Cについて個別に設定された第1識別条件〜第4識別条件を読み出し、何れかの第1識別条件〜第4識別条件を充足した候補図形200を基準マーク130として検出すればよい。
As shown in FIG. 9, in step S30, the processor 12 sets the reference mark 130 based on the success or failure of the first identification condition to the fourth identification condition according to the procedure (steps S2 to S18) described above with reference to FIG. To detect. The reference mark 130 here is one of the three types of reference marks 130 shown in FIGS. 2, 7A and 8. Here, the three types of reference marks 130 shown in FIGS. 2, 7A and 8 are referred to as a first reference mark 130A, a second reference mark 130B and a third reference mark 130C, respectively.
When executing step S30, the identification conditions (first identification condition to fourth identification condition) are individually set for each of the three types of reference marks 130 (130A to 130C) and stored in the memory 16 in advance. May be. For example, in the case of the first reference mark 130A, the first identification condition is that the outer reference contour 134 has four corners 132a and the inner reference contour 136 has eight corners 132b, whereas the second reference mark 130B has In this case, the first identification condition is six corners 132a of the outer reference contour 134 and eight corners 132b of the inner reference contour 136. In the case of the third reference mark 130C, the first identification condition is the outer reference contour 134. There are four corners 132a and eight inner reference contours 132b. Similarly, the other identification conditions (second identification condition to fourth identification condition) are individually set for each of the reference marks 130A to 130C. In this case, in order to execute step S30, the processor 12 reads the first identification condition to the fourth identification condition individually set for each of the reference marks 130A to 130C from the memory 16, and any one of the first identification conditions The candidate graphic 200 that satisfies the fourth identification condition may be detected as the reference mark 130.

次に、ステップS32〜S36において、検出した基準マーク130が第1基準マーク130A〜第3基準マーク130Cの何れであるかを特定する。この際、ステップS30における基準マーク130の検出時に、何れの基準マーク130(130A〜130C)についての識別条件(第1識別条件〜第4識別条件)を充足したのかに基づいて基準マーク130の特定を行ってもよい。
例えば、ステップS30における基準マーク130の検出時に第1基準マーク130Aについての第1識別条件〜第4識別条件を充足したのであれば、当該基準マーク130が第1基準マーク130Aであると判断される(ステップS32のYES判定)。同様に、ステップS30における基準マーク130の検出時に第2基準マーク130Bについての第1識別条件〜第4識別条件を充足したのであれば、当該基準マーク130が第2基準マーク130Bであると判断される(ステップS34のYES判定)。さらに、ステップS30における基準マーク130の検出時に第3基準マーク130Cについての第1識別条件〜第4識別条件を充足したのであれば、当該基準マーク130が第3基準マーク130Cであると判断される(ステップS36のYES判定)。
こうして、ステップS32〜S36において、検出した基準マーク130が第1基準マーク130A〜第3基準マーク130Cの何れであるかが特定される。なお、検出した基準マーク130が第1基準マーク130A〜第3基準マーク130Cの何れでもないと判断された場合(ステップS36のNO判定)、プロセッサ12は、基準マーク130の特定エラー信号を生成する(ステップS37)。
Next, in steps S32 to S36, it is specified which of the first reference mark 130A to the third reference mark 130C is the detected reference mark 130. At this time, when the reference mark 130 is detected in step S30, the identification of the reference mark 130 is determined based on which of the reference marks 130 (130A to 130C) the identification condition (first identification condition to fourth identification condition) is satisfied. May be performed.
For example, if the first to fourth identification conditions for the first reference mark 130A are satisfied when the reference mark 130 is detected in step S30, the reference mark 130 is determined to be the first reference mark 130A. (YES determination of step S32). Similarly, if the first to fourth identification conditions for the second reference mark 130B are satisfied when the reference mark 130 is detected in step S30, it is determined that the reference mark 130 is the second reference mark 130B. (YES determination in step S34). Furthermore, if the first identification condition to the fourth identification condition for the third reference mark 130C are satisfied when the reference mark 130 is detected in step S30, it is determined that the reference mark 130 is the third reference mark 130C. (YES determination of step S36).
Thus, in steps S32 to S36, it is specified which of the first reference mark 130A to the third reference mark 130C is the detected reference mark 130. When it is determined that the detected reference mark 130 is not any of the first reference mark 130A to the third reference mark 130C (NO determination in step S36), the processor 12 generates a specific error signal of the reference mark 130. (Step S37).

この後、ステップS38に進んで、特定された基準マーク130(130A〜130C)に対応する画像分割条件を決定する。この際、プロセッサ12が、各基準マーク130A〜130Cに対応する画像分割条件をメモリ16から読み出すことで、画像分割条件を決定してもよい。   Thereafter, the process proceeds to step S38, and an image division condition corresponding to the identified reference mark 130 (130A to 130C) is determined. At this time, the processor 12 may determine the image division condition by reading the image division condition corresponding to each of the reference marks 130 </ b> A to 130 </ b> C from the memory 16.

続いて、ステップS40では、決定された画像分割条件に従って、基準マーク130(130A〜130C)の代表座標に基づき、画像分割条件によって指定された列数の第1欄112及び第2欄122に画像を分割する。例えば、第1基準マーク130Aが検出された場合、第1基準マーク130Aに対応する画像分割条件に従って、12列の第1欄112及び12列の第2欄122に画像分割する。同様に、第2基準マーク130Bが検出された場合、第2基準マーク130Bに対応する画像分割条件に従って、6列の第1欄112及び6列の第2欄122に画像分割する。さらに、第3基準マーク130Cが検出された場合、第3基準マーク130Cに対応する画像分割条件に従って、2列の第1欄112及び6列の第2欄122に画像分割する。   Subsequently, in step S40, an image is displayed in the first column 112 and the second column 122 of the number of columns specified by the image division condition based on the representative coordinates of the reference mark 130 (130A to 130C) according to the determined image division condition. Split. For example, when the first fiducial mark 130A is detected, the image is divided into 12 columns of the first column 112 and 12 columns of the second column 122 according to the image dividing condition corresponding to the first fiducial mark 130A. Similarly, when the second fiducial mark 130B is detected, the image is divided into six columns of the first column 112 and six columns of the second column 122 according to the image dividing condition corresponding to the second fiducial mark 130B. Further, when the third reference mark 130C is detected, the image is divided into two columns of the first column 112 and six columns of the second column 122 according to the image dividing condition corresponding to the third reference mark 130C.

最後に、ステップS42において、第1領域212の画像情報と、第2領域222の画像情報とを互いに対応付けて、学習カード情報としてメモリ16に保存する。   Finally, in step S42, the image information in the first area 212 and the image information in the second area 222 are associated with each other and stored in the memory 16 as learning card information.

こうして、図9を参照して説明した手順により、複数種の基準マーク130(130A〜130C)を活用して学習カード情報を生成するようにすれば、学習者のニーズに合わせて、第1欄112と第2欄122の対応関係が異なる複数種の帳面を使い分けることが可能になる。
なお、図9を参照して上述した実施形態では、第1識別条件〜第4識別条件の全てを用いる例について説明したが、第1識別条件〜第4識別条件の1以上を含む識別条件により基準マーク130(130A〜130C)の特定を行ってもよい。
In this way, if the learning card information is generated by using the plurality of kinds of reference marks 130 (130A to 130C) by the procedure described with reference to FIG. 9, the first column is adapted to the needs of the learner. It is possible to selectively use a plurality of types of books having different correspondences between 112 and the second column 122.
In the embodiment described above with reference to FIG. 9, the example using all of the first identification condition to the fourth identification condition has been described. However, according to the identification condition including one or more of the first identification condition to the fourth identification condition. The reference mark 130 (130A to 130C) may be specified.

1 学習支援装置
10 コンピュータ
12 プロセッサ
14 カメラ
16 メモリ
18 ディスプレイ
20 入力部
100 帳面
102 綴じ部
104 穴
110 第1紙面
112 第1欄
120 第2紙面
122 第2欄
130 基準マーク
132,132a,132b (基準マークの)角部
134 外側基準輪郭
134,136 (基準マークの)輪郭
135,137 領域
136 内側基準輪郭
140 仮想矩形
200 候補図形
212 第1領域
222 第2領域
232,232a,232b (候補図形の)角部
234,236 (候補図形の)輪郭
234 外側輪郭
236 内側輪郭
DESCRIPTION OF SYMBOLS 1 Learning support apparatus 10 Computer 12 Processor 14 Camera 16 Memory 18 Display 20 Input part 100 Book face 102 Binding part 104 Hole 110 1st paper surface 112 1st column 120 2nd paper surface 122 2nd column 130 Reference mark 132,132a, 132b (reference | standard) Outer reference contours 134, 136 (reference mark) contours 135, 137 Region 136 Inner reference contour 140 Virtual rectangle 200 Candidate graphic 212 First region 222 Second region 232, 232a, 232b (of candidate graphic) Corners 234, 236 (candidate graphic) contour 234 outer contour 236 inner contour

Claims (14)

1列以上の第1欄を有する第1紙面と、複数列の第2欄を有する第2紙面と、が見開き時に互いに隣り合うように構成された帳面を撮像した画像から学習ツールを生成するようにコンピュータを動作させるための学習支援プログラムであって、
前記帳面の見開き時において前記第1紙面及び前記第2紙面が形成する仮想矩形の4隅のうち、前記第1紙面上における1以上の隅と、前記第2紙面上における1以上の隅とに位置する複数の基準マークを含む前記画像を取得する手順と、
前記画像中の前記複数の基準マークを識別し、前記複数の基準マークの各々の位置を示す座標を算出する手順と、
前記基準マークの各々の前記座標に基づいて、前記画像を、前記1列以上の第1欄にそれぞれ対応した前記第1紙面側における1以上の第1領域と、前記複数列の第2欄にそれぞれ対応した前記第2紙面側における複数の第2領域と、に分割する手順と、
前記1以上の第1領域の画像情報と前記複数の第2領域の画像情報とを互いに対応付けて、学習カード情報として記憶部に記憶する手順と、
を前記コンピュータに実行させるための学習支援プログラム。
A learning tool is generated from an image obtained by capturing an image of a book configured such that a first sheet having one or more first columns and a second sheet having a plurality of columns of second columns are adjacent to each other when facing apart. A learning support program for operating a computer
Of the four corners of the virtual rectangle formed by the first paper surface and the second paper surface when the page is spread, one or more corners on the first paper surface and one or more corners on the second paper surface Obtaining the image including a plurality of fiducial marks located;
Identifying the plurality of reference marks in the image and calculating coordinates indicating the position of each of the plurality of reference marks;
Based on the coordinates of each of the fiducial marks, the image is placed in one or more first regions on the first paper surface side corresponding to the one or more first columns, and in the second column of the plurality of rows. A plurality of second regions on the second paper surface side corresponding to each of the second regions;
A procedure in which the image information of the one or more first areas and the image information of the plurality of second areas are associated with each other and stored as learning card information in a storage unit;
A learning support program for causing the computer to execute.
前記画像中における図形の規定角度範囲内の角部の数を算出し、
算出した前記図形の前記角部の数が前記基準マークの角部の数と一致することを含む少なくとも一つの識別条件の成否に基づいて、前記図形を前記基準マークとして識別する
手順を前記コンピュータにさらに実行させるように構成された請求項1に記載の学習支援プログラム。
Calculate the number of corners within the specified angle range of the figure in the image,
A procedure for identifying the graphic as the reference mark based on success or failure of at least one identification condition including that the calculated number of corners of the graphic matches the number of corners of the reference mark. The learning support program according to claim 1, further configured to be executed.
前記基準マークは、外側基準輪郭と、前記外側基準輪郭の内側に位置する内側基準輪郭と、を含み、
前記少なくとも一つの識別条件は、
前記図形の外側輪郭の前記規定角度範囲内の角部の数が、前記外側基準輪郭の角部の数と一致し、且つ、
前記図形の内側輪郭の前記規定角度範囲内の角部の数が、前記内側基準輪郭の角部の数と一致する
ことを含む請求項2に記載の学習支援プログラム。
The reference mark includes an outer reference contour and an inner reference contour located inside the outer reference contour;
The at least one identification condition is:
The number of corners within the specified angle range of the outer contour of the figure matches the number of corners of the outer reference contour; and
The learning support program according to claim 2, wherein the number of corners in the prescribed angle range of the inner contour of the figure matches the number of corners of the inner reference contour.
前記基準マークは、前記外側基準輪郭が矩形であり、且つ、前記内側基準輪郭が8個以上の直角の角部を有する多角形であることを特徴とする請求項3に記載の学習支援プログラム。   4. The learning support program according to claim 3, wherein the reference mark is a polygon in which the outer reference contour is rectangular and the inner reference contour has eight or more right-angled corners. 前記画像中における図形の輪郭によって囲まれる面積を算出し、
算出した前記面積の大きさ、又は、前記画像中に占める前記面積の比率が規定範囲内であることを含む少なくとも一つの識別条件の成否に基づいて、前記図形を前記基準マークとして識別する
手順を前記コンピュータにさらに実行させるように構成された請求項1乃至4の何れか一項に記載の学習支援プログラム。
Calculate the area surrounded by the contour of the figure in the image,
A procedure for identifying the figure as the reference mark based on the success or failure of at least one identification condition including the calculated size of the area or the ratio of the area occupied in the image being within a specified range. The learning support program according to claim 1, further configured to be executed by the computer.
前記画像中の図形の輪郭における規定角度範囲内の複数の角部の座標を特定し、
各々の前記規定角度範囲内の角部の座標を結んで得られる形状が、前記基準マークの形状と一致しているか否かを含む少なくとも一つの識別条件の成否に基づいて、前記図形を前記基準マークとして識別する
手順を前記コンピュータにさらに実行させるように構成された請求項1乃至5の何れか一項に記載の学習支援プログラム。
Identify the coordinates of a plurality of corners within a specified angle range in the contour of the figure in the image,
Based on the success or failure of at least one identification condition including whether or not the shape obtained by connecting the coordinates of the corners within each specified angle range matches the shape of the reference mark, The learning support program according to any one of claims 1 to 5, wherein the computer is further configured to execute a procedure of identifying as a mark.
前記基準マークは、前記仮想矩形の4隅の各々に設けられており、
前記画像中において4個の前記基準マークを全て検出できない場合に、マーク認識エラー信号を生成する手順を前記コンピュータにさらに実行させるように構成された請求項1乃至6の何れか一項に記載の学習支援プログラム。
The reference mark is provided at each of the four corners of the virtual rectangle,
7. The apparatus according to claim 1, wherein when the four reference marks cannot be detected in the image, a procedure for generating a mark recognition error signal is further executed by the computer. 8. Learning support program.
前記基準マークの各々の前記座標に基づいて前記画像を補正する手順を前記コンピュータにさらに実行させるように構成された請求項1乃至7の何れか一項に記載の学習支援プログラム。   The learning support program according to any one of claims 1 to 7, wherein the computer is further configured to further execute a procedure for correcting the image based on the coordinates of each of the reference marks. 少なくとも一つの前記第1領域の画像情報を質問内容として表示する手順と、
前記少なくとも一つの前記第1領域にそれぞれ対応した少なくとも一つの前記第2領域の画像情報を回答内容として表示する手順と、
を前記コンピュータにさらに実行させるための請求項1乃至8の何れか一項に記載の学習支援プログラム。
Displaying at least one image information of the first region as question content;
Displaying at least one image information of the second region corresponding to each of the at least one first region as a response content;
The learning support program according to claim 1, further causing the computer to execute the following.
前記画像中における図形の外側輪郭によって囲まれる第1面積と、前記外側輪郭の内側に位置する内側輪郭によって囲まれる第2面積と、を算出し、
算出した前記第1面積と前記第2面積の比率が規定範囲内であることを含む少なくとも一つの識別条件の成否に基づいて、前記図形を前記基準マークとして識別する
手順を前記コンピュータにさらに実行させるように構成された請求項1乃至9の何れか一項に記載の学習支援プログラム。
Calculating a first area surrounded by an outer contour of the figure in the image and a second area surrounded by an inner contour located inside the outer contour;
Causing the computer to further execute a procedure for identifying the graphic as the reference mark based on success or failure of at least one identification condition including that the calculated ratio between the first area and the second area is within a specified range. The learning support program according to claim 1, configured as described above.
前記画像の複数の分割条件にそれぞれ対応する複数種の基準マークのうち、前記画像中の前記基準マークが何れであるかを特定する手順と、
特定された前記基準マークに対応する前記分割条件に従って、前記画像を前記第1領域及び前記前記第2領域に分割する手順と、
を前記コンピュータにさらに実行させるように構成された請求項1乃至10の何れか一項に記載の学習支援プログラム。
A procedure for specifying which one of the reference marks in the image among a plurality of types of reference marks respectively corresponding to a plurality of division conditions of the image;
Dividing the image into the first area and the second area according to the division condition corresponding to the identified reference mark;
The learning support program according to claim 1, wherein the learning support program is further configured to cause the computer to execute.
請求項1乃至11の何れか一項に記載の学習支援プログラムによって、
前記帳面の見開き時において前記第1紙面及び前記第2紙面が形成する仮想矩形の4隅のうち、前記第1紙面上における1以上の隅と、前記第2紙面上における1以上の隅とに位置する複数の基準マークを含む前記画像を取得する手順と、
前記画像中の前記複数の基準マークを識別し、前記複数の基準マークの各々の位置を示す座標を算出する手順と、
前記基準マークの各々の前記座標に基づいて、前記画像を、前記1列以上の第1欄にそれぞれ対応した前記第1紙面側における1以上の第1領域と、前記複数列の第2欄にそれぞれ対応した前記第2紙面側における複数の第2領域と、に分割する手順と、
前記1以上の第1領域の画像情報と前記複数の第2領域の画像情報とを互いに対応付けて、学習カード情報として記憶部に記憶する手順と、
を実行可能に構成されたコンピュータを備える学習支援装置。
The learning support program according to any one of claims 1 to 11,
Of the four corners of the virtual rectangle formed by the first paper surface and the second paper surface when the page is spread, one or more corners on the first paper surface and one or more corners on the second paper surface Obtaining the image including a plurality of fiducial marks located;
Identifying the plurality of reference marks in the image and calculating coordinates indicating the position of each of the plurality of reference marks;
Based on the coordinates of each of the fiducial marks, the image is placed in one or more first regions on the first paper surface side corresponding to the one or more first columns, and in the second column of the plurality of rows. A plurality of second regions on the second paper surface side corresponding to each of the second regions;
A procedure in which the image information of the one or more first areas and the image information of the plurality of second areas are associated with each other and stored as learning card information in a storage unit;
A learning support apparatus comprising a computer configured to execute the above.
1列以上の第1欄を有する第1紙面と、
複数列の第2欄を有する第2紙面と、
を備える学習ツール生成用帳面であって、
前記学習ツール生成用帳面の見開き時に、前記第1紙面と前記第2紙面とが互いに隣り合うとともに、前記第1紙面及び前記第2紙面が形成する仮想矩形の4隅のうち、前記第1紙面上における1以上の隅と、前記第2紙面上における1以上の隅とに位置する複数の基準マークを有し、
請求項1乃至11の何れか一項に記載の学習支援プログラムが、
前記複数の基準マークを含む前記学習ツール生成用帳面の画像を取得する手順と、
前記画像中の前記複数の基準マークを識別し、前記複数の基準マークの各々の位置を示す座標を算出する手順と、
前記基準マークの各々の前記座標に基づいて、前記画像を、前記1列以上の第1欄にそれぞれ対応した前記第1紙面側における1以上の第1領域と、前記複数列の第2欄にそれぞれ対応した前記第2紙面側における複数の第2領域と、に分割する手順と、
前記1以上の第1領域の画像情報と前記複数の第2領域の画像情報とを互いに対応付けて、学習カード情報として記憶部に記憶する手順と、
をコンピュータに実行させることで学習ツールを生成可能に構成された学習ツール生成用帳面。
A first page having a first column of one or more rows;
A second page having a plurality of rows of second columns;
A learning tool generation book comprising:
When the learning tool generation book is spread, the first paper surface and the second paper surface are adjacent to each other, and the first paper surface among the four corners of the virtual rectangle formed by the first paper surface and the second paper surface. A plurality of fiducial marks located at one or more corners on the top and one or more corners on the second paper surface;
The learning support program according to any one of claims 1 to 11,
A procedure for acquiring an image of the learning tool generation book including the plurality of reference marks;
Identifying the plurality of reference marks in the image and calculating coordinates indicating the position of each of the plurality of reference marks;
Based on the coordinates of each of the fiducial marks, the image is placed in one or more first regions on the first paper surface side corresponding to the one or more first columns, and in the second column of the plurality of rows. A plurality of second regions on the second paper surface side corresponding to each of the second regions;
A procedure in which the image information of the one or more first areas and the image information of the plurality of second areas are associated with each other and stored as learning card information in a storage unit;
A learning tool generation book configured to generate a learning tool by running a computer.
1列以上の第1欄を有する第1紙面と、複数列の第2欄を有する第2紙面と、が見開き時に互いに隣り合うように構成された帳面を撮像した画像から学習ツールを生成する学習ツール生成方法であって、
前記帳面の見開き時において前記第1紙面及び前記第2紙面が形成する仮想矩形の4隅のうち、前記第1紙面上における1以上の隅と、前記第2紙面上における1以上の隅とに位置する複数の基準マークを含む前記画像を撮像するステップと、
前記画像中の前記複数の基準マークを識別し、前記複数の基準マークの各々の位置を示す座標を算出するステップと、
前記基準マークの各々の前記座標に基づいて、前記画像を、前記1列以上の第1欄にそれぞれ対応した前記第1紙面側における1以上の第1領域と、前記複数列の第2欄にそれぞれ対応した前記第2紙面側における複数の第2領域と、に分割するステップと、
前記1以上の第1領域の画像情報と前記複数の第2領域の画像情報とを互いに対応付けて、学習カード情報として記憶するステップと、
を備えることを特徴とする学習ツール生成方法。
Learning that generates a learning tool from an image of a book that is configured such that a first page having one or more columns of the first column and a second page having a plurality of columns of the second column are adjacent to each other when facing apart. A tool generation method,
Of the four corners of the virtual rectangle formed by the first paper surface and the second paper surface when the page is spread, one or more corners on the first paper surface and one or more corners on the second paper surface Capturing the image including a plurality of fiducial marks located;
Identifying the plurality of reference marks in the image and calculating coordinates indicating the position of each of the plurality of reference marks;
Based on the coordinates of each of the fiducial marks, the image is placed in one or more first regions on the first paper surface side corresponding to the one or more first columns, and in the second column of the plurality of rows. Dividing into a plurality of second regions on the second paper surface side corresponding respectively;
Storing the image information of the one or more first areas and the image information of the plurality of second areas as learning card information in association with each other;
A learning tool generation method comprising:
JP2016197638A 2015-11-09 2016-10-05 Learning support program, learning support device, learning tool generation notebook and learning tool generation method Active JP6759951B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015219899 2015-11-09
JP2015219899 2015-11-09

Publications (2)

Publication Number Publication Date
JP2017092947A true JP2017092947A (en) 2017-05-25
JP6759951B2 JP6759951B2 (en) 2020-09-23

Family

ID=58769026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016197638A Active JP6759951B2 (en) 2015-11-09 2016-10-05 Learning support program, learning support device, learning tool generation notebook and learning tool generation method

Country Status (1)

Country Link
JP (1) JP6759951B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038913A (en) * 2017-05-27 2017-08-11 江苏学正教育科技有限公司 A kind of autonomous operational method by the intelligent sub title collection of page
CN111489596A (en) * 2020-04-16 2020-08-04 广东小天才科技有限公司 Method and device for information feedback in live broadcast teaching process
CN111489595A (en) * 2020-04-16 2020-08-04 广东小天才科技有限公司 Method and device for feeding back test information in live broadcast teaching process
JP2021135423A (en) * 2020-02-28 2021-09-13 株式会社Kddi総合研究所 Memorization card creation device, memorization card display device, memorization card creation program, and memorization card display program
JP2022007511A (en) * 2020-06-26 2022-01-13 株式会社豊田自動織機 Recognition device, recognition method, and marker
JP2022123108A (en) * 2018-10-20 2022-08-23 インターマン株式会社 Page imaging and separating application program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051850A (en) * 2001-08-08 2003-02-21 Ykk Corp Fax mail system, fax server device, fax transmission paper, fax mail processing method, fax mail processing program, and computer-readable storage medium for storing the program
JP2007194873A (en) * 2006-01-19 2007-08-02 Kyocera Mita Corp Image formation system and image forming apparatus
JP2008131381A (en) * 2006-11-21 2008-06-05 Canon Software Inc Form generating device, form generating method, program and record medium
JP2014011696A (en) * 2012-07-01 2014-01-20 Brother Ind Ltd Image processing apparatus and computer program
JP2015027782A (en) * 2013-07-01 2015-02-12 アロックス有限会社 Formation method for memorization card paper or information card paper and memorization card or information card using formation method
WO2015040657A1 (en) * 2013-09-20 2015-03-26 富士通株式会社 Image processing device, image processing method, and image processing program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051850A (en) * 2001-08-08 2003-02-21 Ykk Corp Fax mail system, fax server device, fax transmission paper, fax mail processing method, fax mail processing program, and computer-readable storage medium for storing the program
JP2007194873A (en) * 2006-01-19 2007-08-02 Kyocera Mita Corp Image formation system and image forming apparatus
JP2008131381A (en) * 2006-11-21 2008-06-05 Canon Software Inc Form generating device, form generating method, program and record medium
JP2014011696A (en) * 2012-07-01 2014-01-20 Brother Ind Ltd Image processing apparatus and computer program
JP2015027782A (en) * 2013-07-01 2015-02-12 アロックス有限会社 Formation method for memorization card paper or information card paper and memorization card or information card using formation method
WO2015040657A1 (en) * 2013-09-20 2015-03-26 富士通株式会社 Image processing device, image processing method, and image processing program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038913A (en) * 2017-05-27 2017-08-11 江苏学正教育科技有限公司 A kind of autonomous operational method by the intelligent sub title collection of page
JP2022123108A (en) * 2018-10-20 2022-08-23 インターマン株式会社 Page imaging and separating application program
JP2021135423A (en) * 2020-02-28 2021-09-13 株式会社Kddi総合研究所 Memorization card creation device, memorization card display device, memorization card creation program, and memorization card display program
CN111489596A (en) * 2020-04-16 2020-08-04 广东小天才科技有限公司 Method and device for information feedback in live broadcast teaching process
CN111489595A (en) * 2020-04-16 2020-08-04 广东小天才科技有限公司 Method and device for feeding back test information in live broadcast teaching process
CN111489595B (en) * 2020-04-16 2022-06-24 广东小天才科技有限公司 Method and device for feeding back test information in live broadcast teaching process
JP2022007511A (en) * 2020-06-26 2022-01-13 株式会社豊田自動織機 Recognition device, recognition method, and marker
JP7351265B2 (en) 2020-06-26 2023-09-27 株式会社豊田自動織機 Recognition device and recognition method

Also Published As

Publication number Publication date
JP6759951B2 (en) 2020-09-23

Similar Documents

Publication Publication Date Title
JP2017092947A (en) Learning support program, learning support device, learning tool formation notebook, and learning tool formation method
US10713528B2 (en) System for determining alignment of a user-marked document and method thereof
EP3482291B1 (en) A device for generating computer programs and a method for generating computer programs
JP5743994B2 (en) Printed matter displaying two-dimensional code
EP3940589A1 (en) Layout analysis method, electronic device and computer program product
JP7006246B2 (en) Test paper processing equipment
JP2018098705A (en) Image processing device and control method therefor, and program
JP4655824B2 (en) Image recognition apparatus, image recognition method, and image recognition program
JP5853466B2 (en) Image processing system and image processing program
CN103250179B (en) For marking the method for pel and the method for detecting the described mark in pel
CN113487702A (en) Template generation method, image recognition method and device
JP6697726B1 (en) Image processing device, scanner, projector, image processing method, program
JP5142836B2 (en) Scanning image element alignment method
JP2007233888A (en) Image processor and image processing program
US11367296B2 (en) Layout analysis
US10102464B2 (en) Pre-printed surface for handwriting, comprising a pre-printed graphical representation of the passing of a period of time, and associated computer program
JP2013011705A (en) Information terminal, information processing method and education support system
JP5217589B2 (en) Form image display device
JP2020190816A (en) Character reading device and program for character reading device
JP4660301B2 (en) Drawing method, drawing apparatus and program thereof
US20160105579A1 (en) Scanner and scanning method
JP2006155077A (en) Mark sheet, mark sheet decryption program, mark sheet decryption system
JP2006031690A (en) Specific image area dividing device and method and program for executing specific image area sectioning processing on computer
JP6520761B2 (en) Information processing apparatus and program
JP7023619B2 (en) Structural format information reuse system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200817

R150 Certificate of patent or registration of utility model

Ref document number: 6759951

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150