JP2012064105A - System, method and program for providing summary - Google Patents

System, method and program for providing summary Download PDF

Info

Publication number
JP2012064105A
JP2012064105A JP2010209237A JP2010209237A JP2012064105A JP 2012064105 A JP2012064105 A JP 2012064105A JP 2010209237 A JP2010209237 A JP 2010209237A JP 2010209237 A JP2010209237 A JP 2010209237A JP 2012064105 A JP2012064105 A JP 2012064105A
Authority
JP
Japan
Prior art keywords
book
bookmark
identification information
pages
image size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010209237A
Other languages
Japanese (ja)
Other versions
JP5240867B2 (en
Inventor
Hisashi Orii
尚志 折井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biglobe Inc
Original Assignee
NEC Biglobe Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Biglobe Ltd filed Critical NEC Biglobe Ltd
Priority to JP2010209237A priority Critical patent/JP5240867B2/en
Publication of JP2012064105A publication Critical patent/JP2012064105A/en
Application granted granted Critical
Publication of JP5240867B2 publication Critical patent/JP5240867B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a system for providing a summary, which provides an electronic summary corresponding to a position to which a reader has read even for readers of common books.SOLUTION: A system for providing a summary comprises: a book database having a plurality of tables each having a summary corresponding to a size, a total page number and a page number of a book stored in association with book identification information of the book; a compact portable device having a camera and a display section; and a summary outputting section including: an image size extraction section for extracting the size of the book from an image of the book having a bookmark put therein, imaged by the camera; book identification information acquiring means for acquiring the book identification information of the book; and an image size analyzing section for acquiring the size and the total page number of the book from the table of the book database, corresponding to the book identification information acquired by the book identification information acquiring means, for acquiring the page number on which the bookmark is put from the size of the book acquired by the image size extraction section, and for reading out the summary corresponding to the acquired page number from the table to output the summary to the display section of the compact portable device.

Description

本発明は、書籍の要約を提供する要約提供システムに関する。   The present invention relates to a summary providing system for providing a summary of a book.

書籍やビデオゲームは、それまでのストーリーを踏まえて、読み進む、または進行させるものである。電子書籍やビデオゲームでは、読書や進行を一時中断し、再開するときに、それまでのストーリーを思い出すための装置として以下が提案されている。   Books and video games are read or advanced based on previous stories. In electronic books and video games, the followings have been proposed as devices for recalling previous stories when reading and progressing are suspended and resumed.

特許文献1(特開2000−126245号公報)には、ビデオゲーム再開時にこれまでプレイヤが実行してきた物語の内容の把握を容易にすることを目的とし、物語の進行状況の結果を示すあらすじデータを記憶する手段と、ストーリーの進行状況に対応する表示用あらすじ情報が記録される記録媒体と、あらすじデータに対応する表示用あらすじ情報による表示を行う制御系を備える装置が開示されている。   Patent Document 1 (Japanese Patent Application Laid-Open No. 2000-126245) has a summary data indicating the result of the progress of a story for the purpose of facilitating the understanding of the content of the story that has been executed by the player at the time of restarting the video game. Has been disclosed, a recording medium on which display synopsis information corresponding to the progress of a story is recorded, and a control system that performs display using display synopsis information corresponding to synopsis data.

特許文献2(特開2001−125921号公報)には、電子書籍を再読する場合、予め入力した再読箇所を示すしおりデータを選択することにより、再読箇所のしおりマーク及びこれに対応する書籍データを即時表示することを目的とし、電子書籍の書籍データを記憶する書籍データ記憶部と、書籍データを表示する表示部と、書籍データの再読箇所を示すしおりマークを少なくとも一つ以上入力するとともにその各しおりマークに付加する属性データを入力する入力部と、その入力されたしおりマーク及びその属性データを対にしてしおりデータとして記憶するしおりデータ記憶部と、入力部によって書籍データの再読箇所に対応するしおりデータが選択された際、その選択されたしおりデータに対応するしおりマーク及びこれに対応する書籍データを表示部に即時表示する表示制御部とから構成される装置が開示されている。   In Patent Document 2 (Japanese Patent Laid-Open No. 2001-125922), when re-reading an electronic book, by selecting bookmark data indicating a re-reading portion inputted in advance, a bookmark mark of the re-reading portion and book data corresponding thereto are displayed. At least one bookmark mark indicating a book data storage section for storing electronic book data, a display section for displaying book data, and a bookmark mark indicating a reread location of the book data is input for each purpose. An input unit for inputting attribute data to be added to the bookmark mark, a bookmark data storage unit for storing the input bookmark mark and the attribute data as a pair and storing the bookmark data as a pair, and an input unit corresponding to a reread position of the book data When bookmark data is selected, a bookmark mark corresponding to the selected bookmark data and the corresponding bookmark mark are displayed. Device comprising a display control unit for immediate display the book data to the display unit is disclosed.

特開2000−126245号公報JP 2000-126245 A 特開2001−125921号公報JP 2001-125921 A

上述したように、電子書籍やビデオゲームなどでは、ストーリーの進行状況や書籍データの再読箇所を示すしおりマークを記録することで、これらに対応する表示用あらすじ情報や書籍データを読み出して利用者に表示することが可能となっている。   As described above, in electronic books, video games, etc., by recording bookmark marks indicating the progress of a story and the reread location of book data, the display summary information and book data corresponding to these are read out to the user. It is possible to display.

一般的な書籍の場合には、同じ内容の電子書籍の書籍データがあったとしても、書籍に挟むなどしたしおりと、書籍データとをリンクさせる術が無く、同じ内容の電子書籍の書籍データを活用することができなかった。   In the case of a general book, even if there is book data of an electronic book with the same content, there is no way to link the book data with a bookmark sandwiched between the books, and the book data of the electronic book with the same content is stored. I could not make use of it.

本発明は、一般的な書籍の読者に対しても、読み進んだ箇所に対応する電子的な要約を提供する要約提供システムを実現するものである。   The present invention realizes a summary providing system that provides a general book reader with an electronic summary corresponding to a read portion.

本発明の要約提供システムは、書籍の書籍識別情報に関連付けられて、書籍の寸法、総頁数、頁数に対応した要約が格納されたテーブルを複数備えた書籍データベースと、
カメラと、表示部と、を備えた小型携帯機器と、
前記カメラにより撮影された、しおりが挟まれた状態の前記書籍の映像から書籍の寸法を抽出する画像寸法抽出部と、前記書籍の書籍識別情報を取得する書籍識別情報取得手段と、該書籍識別情報取得手段により得られた書籍識別情報に対応する前記書籍データベースのテーブルより前記書籍の寸法および総頁数を取得し、前記画像寸法抽出部により得られた前記書籍の寸法から前記しおりが挟まれた頁数を求め、求めたページ数に対応する要約を前記テーブルから読み出して前記小型携帯機器の表示部へ出力させる画像寸法解析部と、を備えた要約出力部と、を有する。
A summary providing system according to the present invention includes a book database including a plurality of tables that are associated with book identification information of a book and store a summary corresponding to the size of the book, the total number of pages, and the number of pages;
A small portable device including a camera and a display;
An image size extraction unit that extracts the size of a book from the video of the book in a state where a bookmark is sandwiched by the camera, a book identification information acquisition unit that acquires book identification information of the book, and the book identification The size of the book and the total number of pages are obtained from the table of the book database corresponding to the book identification information obtained by the information obtaining means, and the bookmark is sandwiched from the size of the book obtained by the image size extraction unit. A summary output unit including an image size analysis unit that obtains the number of pages obtained and reads a summary corresponding to the obtained number of pages from the table and outputs the summary to the display unit of the small portable device.

本発明の要約出力方法は、書籍の書籍識別情報に関連付けられて、書籍の寸法、総頁数、頁数に対応した要約が格納されたテーブルを複数備えた書籍データベースと、カメラおよび表示部とを備えた小型携帯機器と、ともに要約提供システムを構成する要約出力装置で行われる要約出力方法であって、
画像寸法抽出部が、前記カメラにより撮影された、しおりが挟まれた状態の前記書籍の映像から書籍の寸法を抽出するステップと、
書籍識別情報取得手段が、前記書籍の書籍識別情報を取得するステップと、
画像寸法解析部が、前記書籍識別情報取得手段により得られた書籍識別情報に対応する前記書籍データベースのテーブルより前記書籍の寸法および総頁数を取得し、前記画像寸法抽出部により得られた前記書籍の寸法から前記しおりが挟まれた頁数を求め、求めたページ数に対応する要約を前記テーブルから読み出して前記小型携帯機器の表示部へ出力させるステップと、を備えている。
A summary output method of the present invention includes a book database including a plurality of tables associated with book identification information of a book and storing a summary corresponding to the size, total number of pages, and number of pages, a camera, and a display unit. And a summary output method performed by a summary output device that together constitute a summary providing system,
An image dimension extraction unit that extracts a dimension of the book from a video of the book in a state where a bookmark is sandwiched, which is taken by the camera;
A book identification information obtaining unit obtaining book identification information of the book;
The image size analysis unit acquires the size and total number of pages of the book from the table of the book database corresponding to the book identification information obtained by the book identification information acquisition unit, and the image size extraction unit obtains the size Obtaining the number of pages in which the bookmark is sandwiched from the dimensions of the book, reading out a summary corresponding to the obtained number of pages from the table, and outputting the summary to the display unit of the small portable device.

本発明のプログラムは、上記の要約出力装置をコンピュータシステム上に構築する。   The program of the present invention constructs the above summary output device on a computer system.

上記のように構成される本発明においては、一般的な書籍の読者に対しても、読み進んだ箇所に対応する電子的な要約を提供することができる。   In the present invention configured as described above, a general book reader can be provided with an electronic summary corresponding to a read portion.

本発明による要約提供システムの一実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of the summary provision system by this invention. 携帯機器200の要部構成を示すブロック図である。3 is a block diagram illustrating a main configuration of a mobile device 200. FIG. サーバ300の要部構成を示すブロック図である。3 is a block diagram showing a main configuration of a server 300. FIG. 、図4は、書籍データベース400の要部構成を示すブロック図である。FIG. 4 is a block diagram showing the main configuration of the book database 400. 書籍101としおり102の関係を詳細に示す平面図である。It is a top view which shows the relationship between the book 101 and the bookmarks 102 in detail. 本発明の第2の実施形態で用いられる書籍101の撮影画像を示す図である。It is a figure which shows the picked-up image of the book 101 used in the 2nd Embodiment of this invention. 本発明の第3の実施形態で用いられるしおり701の構成を示す斜視図である。It is a perspective view which shows the structure of the bookmark 701 used in the 3rd Embodiment of this invention.

次に、本発明の実施形態について図面を参照して説明する。   Next, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明による要約提供システムの一実施形態の構成を示すブロック図である。   FIG. 1 is a block diagram showing a configuration of an embodiment of a summary providing system according to the present invention.

本実施形態は、書籍101に挟まれたしおり102の位置から該当する要約を利用者に提示するものであり、スマートフォン、PDA(Personal Digital Assistant)などの携帯機器200、サーバ300、書籍データベース400から構成されている。   In the present embodiment, a corresponding summary is presented to the user from the position of the bookmark 102 sandwiched between the books 101, and the mobile device 200 such as a smartphone and a PDA (Personal Digital Assistant), the server 300, and the book database 400. It is configured.

本実施形態は、予め定められた寸法の書籍101およびしおり102を使用することを前提とするシステムである。図5(a)は、書籍101を表紙側から見た平面図、図5(b)は書籍101を裏表紙側から見た平面図であり、図示されるように、表紙側にはタイトル名103が記載され、裏表紙にはバーコード104が刻印されている。   The present embodiment is a system based on the premise that a book 101 and a bookmark 102 having predetermined dimensions are used. FIG. 5A is a plan view of the book 101 viewed from the cover side, and FIG. 5B is a plan view of the book 101 viewed from the back cover side. 103 is described, and a barcode 104 is engraved on the back cover.

図2は携帯機器200の要部構成を示すブロック図、図3はサーバ300の要部構成を示すブロック図、図4は、書籍データベース400の要部構成を示すブロック図、図5は書籍101としおり102の関係を詳細に示す平面図である。   2 is a block diagram showing a main part configuration of the mobile device 200, FIG. 3 is a block diagram showing a main part configuration of the server 300, FIG. 4 is a block diagram showing a main part configuration of the book database 400, and FIG. It is a top view which shows the relationship of the bookmark 102 in detail.

図2ないし図4に示されるように、携帯機器200は、カメラ201、制御部202、表示部203を備え、サーバ300は通信制御部301を備え、書籍データベース400はテーブル401を備えている。なお、図4においては、テーブル401は1つのみ示されているが、各書籍の書籍識別情報に対応して複数設けられている。書籍識別情報とは、タイトル名またはISBN(International Standard Book Number:国際標準図書番号)、書籍JANコードなどの書籍識別子などである。   As shown in FIGS. 2 to 4, the portable device 200 includes a camera 201, a control unit 202, and a display unit 203, the server 300 includes a communication control unit 301, and the book database 400 includes a table 401. In FIG. 4, only one table 401 is shown, but a plurality of tables 401 are provided corresponding to the book identification information of each book. The book identification information is a title identifier, a book identifier such as an ISBN (International Standard Book Number), a book JAN code, or the like.

制御部202は、カメラ201の撮影画像から、タイトル名を抽出する。タイトル名は図5(a)におけるタイトル名103に示され、書籍識別情報は、図5(b)におけるバーコード104に示されるISBN、書籍JANコードなどの書籍識別子を含むものである。書籍データベース400には、書籍識別情報に関連付けられて、書籍101の幅や厚さを含む寸法、頁数に対応した要約を示すデータが格納されたテーブル401を備えている。なお、テーブル401は、タイトル名または書籍識別子のどちらかでも、タイトル名と書籍識別子の両方が記憶されていてもよい。   The control unit 202 extracts the title name from the captured image of the camera 201. The title name is shown in the title name 103 in FIG. 5A, and the book identification information includes book identifiers such as ISBN and book JAN code shown in the barcode 104 in FIG. 5B. The book database 400 includes a table 401 that stores data indicating a summary corresponding to the dimensions and the number of pages including the width and thickness of the book 101 in association with the book identification information. The table 401 may store either the title name or the book identifier, or both the title name and the book identifier.

制御部202は、文字認識機能およびバーコード変換機能を備えるもので、カメラ201で撮影された画像が図5(a)に示される書籍101の表紙側から撮影されたものである場合には文字認識を行ってタイトル名103を認識して携帯機器200へ送り、カメラ201で撮影された画像が図5(b)に示される書籍101の裏表紙側から撮影されたものである場合にはバーコード変換を行うことによりISBN、書籍JANコードなどの書籍識別子を得てサーバ300へ送る。   The control unit 202 has a character recognition function and a barcode conversion function. When the image taken by the camera 201 is taken from the cover side of the book 101 shown in FIG. If the title name 103 is recognized and sent to the portable device 200 and the image taken by the camera 201 is taken from the back cover side of the book 101 shown in FIG. By performing code conversion, a book identifier such as ISBN or book JAN code is obtained and sent to the server 300.

制御部202は、撮影画像内の書籍101の幅bとしおり102の幅aの大きさの抽出機能を備えており、上記の書籍識別情報とともに撮影画像内の書籍101の幅bとしおり102の幅aの大きさをサーバ300へ送る。   The control unit 202 has a function for extracting the width b of the book 101 in the photographed image and the width a of the book 102, and the width b of the book 101 in the photographed image together with the book identification information. The size of the width a is sent to the server 300.

サーバ300内の通信制御部301は、書籍識別情報とともに撮影画像内の書籍101の幅bとしおり102の幅aの大きさを受け付けると、書籍識別情報に示される書籍の大きさを、書籍データベース400内の書籍識別情報に該当するテーブル401より取得し、取得した内容に基づいてしおり102が書籍101のいずれの頁数に挟まれているかを求める。以下に、しおり102が挟まれている頁数の求め方について詳細に説明する。   When the communication control unit 301 in the server 300 receives the width b of the book 101 in the photographed image and the width a of the bookmark 102 together with the book identification information, the communication control unit 301 sets the size of the book indicated in the book identification information to the book database. 400 is acquired from the table 401 corresponding to the book identification information in 400, and the number of pages of the book 101 between which the bookmark 102 is sandwiched is obtained based on the acquired content. Hereinafter, a method for obtaining the number of pages in which the bookmark 102 is sandwiched will be described in detail.

しおり102の実際の長さはAであり、書籍の実際の幅はBである。カメラで撮影されたしおりの幅をaとする。幅aは、しおり102が挟まれた位置に応じて変動する。例えば、表紙側から撮影された場合には、挟まれるページ数が大きくなるにしたがって幅aは小さくなり、裏表紙側から撮影された場合には、挟まれるページ数が大きくなるにしたがって幅aは大きくなる。   The actual length of the bookmark 102 is A, and the actual width of the book is B. Let a be the width of a bookmark photographed by the camera. The width a varies depending on the position where the bookmark 102 is sandwiched. For example, when the image is taken from the front cover side, the width a decreases as the number of pages sandwiched increases, and when the image is captured from the back cover side, the width a decreases as the number of pages sandwiched increases. growing.

通信制御部301は、同時に送られてきた情報がタイトル名と書籍識別子のいずれであるかにより撮影が表紙側と裏表紙側のいずれで撮影されたものであるかを認識し、幅Bに対する幅Aの大きさと幅bに対する幅aの大きさからしおり102が挟まれている頁数を算出する。   The communication control unit 301 recognizes whether the shooting is taken on the front cover side or the back cover side depending on whether the information sent at the same time is the title name or the book identifier, and the width with respect to the width B The number of pages in which the bookmark 102 is sandwiched is calculated from the size of A and the size of the width a with respect to the width b.

通信制御部301は、書籍識別情報に該当するテーブル401から算出した頁数に対応する要約を示すデータを取得する。この取得においては、算出した頁数よりも少ない直近の頁、例えば算出した頁数が27頁であった場合には、20頁に対応して格納されている要約を示すデータを取得して、携帯機器200へ送信する。   The communication control unit 301 acquires data indicating a summary corresponding to the number of pages calculated from the table 401 corresponding to the book identification information. In this acquisition, when the latest page less than the calculated number of pages, for example, when the calculated number of pages is 27, data indicating a summary stored corresponding to 20 pages is acquired, Transmit to mobile device 200.

携帯機器200の制御部202は、送られてきた要約データにより要約を表示部203に表示させる。   The control unit 202 of the portable device 200 displays the summary on the display unit 203 based on the received summary data.

上記のような構成を持つ本実施形態の利用者(読者)の利用について説明する。   The use of the user (reader) of the present embodiment having the above configuration will be described.

書籍101の読者が読書を中断して書籍101にしおり102を挟む。その後、読書を再開する際に、読者は、携帯機器200に要約を取得する旨の入力を入力手段(不図示)に行い、設けられたカメラ201により、しおり102を挟んだ状態の書籍101を撮影する。この後、表示部203に表示された要約を読んで、それまでのあらすじを確認し、読書を再開する。   The reader of the book 101 interrupts reading and puts the bookmark 102 on the book 101. Thereafter, when resuming reading, the reader inputs to the input means (not shown) that the mobile device 200 acquires the summary, and the book 101 with the bookmark 102 sandwiched by the provided camera 201. Take a picture. Thereafter, the summary displayed on the display unit 203 is read to confirm the outline so far, and reading is resumed.

次に、本発明の第2の実施形態について説明する。   Next, a second embodiment of the present invention will be described.

本実施形態は、しおり102が挟まれた頁数の算出方法が第1の実施形態と異なるものであり、携帯機器200内の制御部202およびサーバ300内の通信制御部301の動作が異なるだけで、その他の構成は第1の実施形態と同じとなっている。図6は本実施形態で用いられる書籍101の撮影画像を示す図である。   This embodiment differs from the first embodiment in the method of calculating the number of pages between which the bookmark 102 is sandwiched, and only the operations of the control unit 202 in the portable device 200 and the communication control unit 301 in the server 300 are different. The other configuration is the same as that of the first embodiment. FIG. 6 is a view showing a captured image of the book 101 used in the present embodiment.

本実施形態においては、しおり102を挟んだ書籍102を天側もしくは地側から表紙を上方として撮影する。また、利用者により、書籍識別情報が入力手段へ入力される。   In the present embodiment, the book 102 sandwiching the bookmark 102 is photographed from the top side or the ground side with the cover facing upward. Also, the book identification information is input to the input means by the user.

制御部202は、撮影画像から、図6に示される、書籍101の全体の厚さDと表紙からしおり102までの長さdを抽出して書籍識別情報とともにサーバ300へ送る。   The control unit 202 extracts the entire thickness D of the book 101 and the length d from the cover to the bookmark 102 shown in FIG. 6 from the photographed image, and sends them to the server 300 together with the book identification information.

サーバ300内の通信制御部301は、書籍識別情報とともに書籍101の全体の厚さDと表紙からしおり102までの長さdを受け付けると、書籍識別情報に示される書籍の総頁数を、書籍データベース400内のタイトル名に該当するテーブル401より取得し、書籍101の全体の厚さDに対する表紙からしおり102までの長さdの割合と、書籍101の総頁数により、しおり102が書籍101のいずれの頁に挟まれているかを求める。   When the communication control unit 301 in the server 300 receives the total thickness D of the book 101 and the length d from the cover to the bookmark 102 together with the book identification information, the communication control unit 301 calculates the total number of pages of the book indicated in the book identification information as the book. The book 102 is acquired from the table 401 corresponding to the title name in the database 400, and the bookmark 102 is determined by the ratio of the length d from the cover to the bookmark 102 with respect to the total thickness D of the book 101 and the total number of pages of the book 101. To which page is sandwiched.

その後、第1の実施形態と同様に要約の取得が行われ、表示部203への要約の表示が行われる。   Thereafter, the summary is acquired in the same manner as in the first embodiment, and the summary is displayed on the display unit 203.

図7は本発明の第3の実施形態で用いられるしおり701の構成を示す斜視図である。   FIG. 7 is a perspective view showing the configuration of a bookmark 701 used in the third embodiment of the present invention.

本実施形態は、第2の実施形態で行われる、天側もしくは地側から表紙を上方として撮影することを前提とする実施形態である。   The present embodiment is an embodiment based on the premise that the cover is taken from the top side or the ground side as the upper side, which is performed in the second embodiment.

しおり701は、端部が折り曲げられたL字型の断面形状とされている。端部には、挟まれた際に表紙側を向く方向を示すマーク704、書籍識別情報を示すバーコード703が設けられている。また、折り曲げられた稜線部には、しおりの位置を強調するためのライン703が設けられている。   The bookmark 701 has an L-shaped cross-sectional shape whose end is bent. At the end, a mark 704 indicating the direction facing the cover when sandwiched and a barcode 703 indicating book identification information are provided. Further, a line 703 for emphasizing the position of the bookmark is provided in the bent ridge line portion.

本実施形態においては、しおり102を挟んだ書籍102を天側もしくは地側から表紙を上方として撮影する。   In the present embodiment, the book 102 sandwiching the bookmark 102 is photographed from the top side or the ground side with the cover facing upward.

制御部202は、撮影画像から書籍101の全体の厚さDと表紙からしおり701までの長さdを抽出し、また、バーコード703から書籍識別情報を抽出して書籍識別情報をサーバ300へ送る。   The control unit 202 extracts the total thickness D of the book 101 from the photographed image and the length d from the cover to the bookmark 701, and extracts the book identification information from the barcode 703 to send the book identification information to the server 300. send.

サーバ300内の通信制御部301は、書籍識別情報とともに書籍101の全体の厚さDと表紙からしおり701までの長さdを受け付けると、書籍識別情報に示される書籍の総頁数を、書籍データベース400内の書籍識別情報に該当するテーブル401より取得し、書籍101の全体の厚さDに対する表紙からしおり701までの長さdの割合と、書籍101の総頁数により、しおり701が書籍101のいずれの頁に挟まれているかを求める。   When the communication control unit 301 in the server 300 receives the total thickness D of the book 101 and the length d from the cover to the bookmark 701 together with the book identification information, the communication control unit 301 determines the total number of pages of the book indicated in the book identification information as the book. The bookmark 701 is acquired from the table 401 corresponding to the book identification information in the database 400, and the bookmark 701 is based on the ratio of the length d from the cover to the bookmark 701 with respect to the total thickness D of the book 101 and the total number of pages of the book 101. Which page 101 is sandwiched between is determined.

その後、第1の実施形態と同様に要約の取得が行われ、表示部203への要約の表示が行われる。   Thereafter, the summary is acquired in the same manner as in the first embodiment, and the summary is displayed on the display unit 203.

なお、以上説明した第1の実施形態においては、制御部202が、文字認識機能、バーコード変換機能、および、撮影画像内の書籍101の幅bとしおり102の幅aの大きさを抽出する機能(画像寸法抽出)を備え、通信制御部301が、書籍識別情報に示される書籍の大きさを、書籍データベース400内の書籍識別情報に該当するテーブル401より取得し、幅Bに対する幅Aの大きさと幅bに対する幅aの大きさからしおり102が挟まれている頁数を算出する(画像寸法解析)ものとして説明した。   In the first embodiment described above, the control unit 202 extracts the character recognition function, the barcode conversion function, and the width b of the book 102 and the width a of the bookmark 102 in the photographed image. Provided with a function (image size extraction), the communication control unit 301 acquires the size of the book indicated in the book identification information from the table 401 corresponding to the book identification information in the book database 400, and the width A with respect to the width B In the above description, the number of pages in which the bookmark 102 is sandwiched is calculated from the size and the width a with respect to the width b (image size analysis).

また、第2の実施形態においては、制御部202が、書籍101の全体の厚さDと表紙からしおり102までの長さdを抽出し(画像寸法抽出)、通信制御部301が、書籍101の全体の厚さDに対する表紙からしおり102までの長さdの割合と、書籍101の総頁数により、しおり102が書籍101のいずれの頁に挟まれているかを求める(画像寸法解析)ものとして説明した。   In the second embodiment, the control unit 202 extracts the total thickness D of the book 101 and the length d from the cover to the bookmark 102 (image size extraction), and the communication control unit 301 reads the book 101. To determine which page of the book 101 is sandwiched by the ratio of the length d from the cover to the bookmark 102 and the total number of pages of the book 101 (image size analysis) As explained.

また、第3の実施形態においては、制御部202が、バーコード変換機能、および、書籍101の全体の厚さDと表紙からしおり102までの長さdを抽出する機能(画像寸法抽出)を備え、通信制御部301が、書籍101の全体の厚さDに対する表紙からしおり102までの長さdの割合と、書籍101の総頁数により、しおり102が書籍101のいずれの頁に挟まれているかを求める(画像寸法解析)ものとして説明した。   In the third embodiment, the control unit 202 has a barcode conversion function and a function (image size extraction) of extracting the entire thickness D of the book 101 and the length d from the cover to the bookmark 102. The communication control unit 301 includes the bookmark 102 between any pages of the book 101 based on the ratio of the length d from the cover to the bookmark 102 with respect to the total thickness D of the book 101 and the total number of pages of the book 101. It was described as what is required (image size analysis).

画像寸法解析を含む通信制御部301で行われる作業は、制御部202で行われることとしてもよい。このような構成とした場合には、サーバ300が不要となり、携帯機器200と書籍データベース400により構成されるシステムとなる。   The work performed by the communication control unit 301 including image dimension analysis may be performed by the control unit 202. In such a configuration, the server 300 is not necessary, and the system is configured by the mobile device 200 and the book database 400.

また、画像寸法抽出を含む制御部202で行われる作業は通信制御部301で行われることとしてもよい。   In addition, the work performed by the control unit 202 including image dimension extraction may be performed by the communication control unit 301.

制御部202および通信制御部301で実現される上記の画像寸法抽出や画像寸法解析は、一般的なコンピュータシステム上にプログラムにより実現されるものであり、タイトル名の取得を画像解析または入力手段への入力解析を含めたこれらの機能を携帯機器、サーバのいずれで行うかは本発明において本質的な問題ではない。上述した各機能を備えた要約出力部または要約出力装置とした場合、その構成要素は、制御部202および通信制御部301のいずれかに設けられればよく、本発明にはこれらの様々な形態を含むものである。また、本発明は、要約出力部または要約出力装置の構成要素を一般的なコンピュータシステム上に構築するためのプログラムをも含む。   The above-described image size extraction and image size analysis realized by the control unit 202 and the communication control unit 301 are realized by a program on a general computer system, and the title name is acquired to the image analysis or input means. It is not an essential problem in the present invention whether these functions including input analysis are performed by the portable device or the server. In the case of the summary output unit or the summary output device having the above-described functions, the constituent elements may be provided in either the control unit 202 or the communication control unit 301, and the present invention has these various forms. Is included. The present invention also includes a program for constructing the components of the summary output unit or the summary output device on a general computer system.

101 書籍
102 しおり
103 タイトル名
104 バーコード
200 携帯機器
201 カメラ
202 制御部
203 表示部
300 サーバ
301 通信制御部
400 書籍データベース
401 テーブル
701 しおり
702 ライン
703 バーコード
704 マーク
101 Book 102 Bookmark 103 Title Name 104 Bar Code 200 Portable Device 201 Camera 202 Control Unit 203 Display Unit 300 Server 301 Communication Control Unit 400 Book Database 401 Table 701 Bookmark 702 Line 703 Bar Code 704 Mark

本発明の要約提供方法は、書籍の書籍識別情報に関連付けられて、書籍の寸法、総頁数、頁数に対応した要約が格納されたテーブルを複数備えた書籍データベースと、カメラおよび表示部とを備えた小型携帯機器と、ともに要約提供システムを構成する要約出力装置で行われる要約提供方法であって、
画像寸法抽出部が、前記カメラにより撮影された、しおりが挟まれた状態の前記書籍の映像から書籍の寸法を抽出するステップと、
書籍識別情報取得手段が、前記書籍の書籍識別情報を取得するステップと、
画像寸法解析部が、前記書籍識別情報取得手段により得られた書籍識別情報に対応する前記書籍データベースのテーブルより前記書籍の寸法および総頁数を取得し、前記画像寸法抽出部により得られた前記書籍の寸法から前記しおりが挟まれた頁数を求め、求めたページ数に対応する要約を前記テーブルから読み出して前記小型携帯機器の表示部へ出力させるステップと、を備えている。
A summary providing method of the present invention includes a book database including a plurality of tables associated with book identification information of a book and storing a summary corresponding to the size, total number of pages, and number of pages, a camera, and a display unit. a small portable device equipped with, and were both summary provides a method performed by the summary output device constituting a summary providing system,
An image dimension extraction unit that extracts a dimension of the book from a video of the book in a state where a bookmark is sandwiched, which is taken by the camera;
A book identification information obtaining unit obtaining book identification information of the book;
The image size analysis unit acquires the size and total number of pages of the book from the table of the book database corresponding to the book identification information obtained by the book identification information acquisition unit, and the image size extraction unit obtains the size Obtaining the number of pages in which the bookmark is sandwiched from the dimensions of the book, reading out a summary corresponding to the obtained number of pages from the table, and outputting the summary to the display unit of the small portable device.

Claims (11)

書籍の書籍識別情報に関連付けられて、書籍の寸法、総頁数、頁数に対応した要約が格納されたテーブルを複数備えた書籍データベースと、
カメラと、表示部と、を備えた小型携帯機器と、
前記カメラにより撮影された、しおりが挟まれた状態の前記書籍の映像から書籍の寸法を抽出する画像寸法抽出部と、前記書籍の書籍識別情報を取得する書籍識別情報取得手段と、該書籍識別情報取得手段により得られた書籍識別情報に対応する前記書籍データベースのテーブルより前記書籍の寸法および総頁数を取得し、前記画像寸法抽出部により得られた前記書籍の寸法から前記しおりが挟まれた頁数を求め、求めたページ数に対応する要約を前記テーブルから読み出して前記小型携帯機器の表示部へ出力させる画像寸法解析部と、を備えた要約出力部と、を有する要約提供システム。
A book database comprising a plurality of tables associated with book identification information of a book and storing a summary corresponding to the size, total number of pages, and number of pages of the book;
A small portable device including a camera and a display;
An image size extraction unit that extracts the size of a book from the video of the book in a state where a bookmark is sandwiched by the camera, a book identification information acquisition unit that acquires book identification information of the book, and the book identification The size of the book and the total number of pages are obtained from the table of the book database corresponding to the book identification information obtained by the information obtaining means, and the bookmark is sandwiched from the size of the book obtained by the image size extraction unit. A summary providing system comprising: an image size analyzing unit that obtains the number of pages obtained, reads an abstract corresponding to the obtained number of pages from the table, and outputs the summary to the display unit of the small portable device.
請求項1記載の要約提供システムにおいて、
前記しおりはその幅が既知のものが使用され、前記書籍は、表紙部にはタイトル名が記載され、裏表紙には書籍識別子を示すバーコードが刻印されており、
前記画像寸法抽出部は、表紙側もしくは裏表紙側から撮影された前記書籍および前記しおりの幅をそれぞれ抽出し、
前記書籍識別情報取得手段は、前記書籍が表紙側から撮影されている場合には画像認識により前記タイトル名を取得し、前記書籍が裏表紙側から撮影されている場合にはバーコード変換により前記バーコードに示される書籍識別子を取得し、
前記画像寸法解析部は、前記書籍識別情報取得手段が取得した書籍識別情報がタイトル名または書籍識別子のいずれであるかにより、前記書籍の撮影が表紙側もしくは裏表紙側から撮影されたもののいずれであるかを認識し、前記テーブルから読み出したしおりおよび書籍の実際の寸法と前記画像寸法抽出部により抽出されたしおりおよび書籍の撮影された寸法から前記しおりが挟まれた頁数を求めることを特徴とする要約提供システム。
The summary providing system according to claim 1,
The bookmark has a known width, and the book has a title on the cover and a barcode indicating the book identifier on the back cover.
The image size extraction unit extracts the width of the book and the bookmark taken from the front cover side or the back cover side,
The book identification information acquisition means acquires the title name by image recognition when the book is photographed from the cover side, and converts the barcode by barcode conversion when the book is photographed from the back cover side. Get the book identifier shown in the barcode,
The image size analysis unit may be one in which the book is photographed from the front cover side or the back cover side depending on whether the book identification information acquired by the book identification information acquisition means is a title name or a book identifier. The number of pages in which the bookmark is sandwiched is obtained from the actual dimension of the bookmark read from the table and the actual dimension of the book, the bookmark extracted by the image dimension extraction unit, and the photographed dimension of the book. A summary providing system.
請求項1記載の要約提供システムにおいて、
前記画像寸法抽出部は、表紙側を上とした天側もしくは地側から撮影された前記書籍の厚さと、前記表紙から前記しおりまで距離をそれぞれ抽出し、
前記書籍識別情報取得手段は、入力部を備え、利用者による前記入力部への入力により前記書籍識別情報を取得し、
前記画像寸法解析部は、前記テーブルから読み出した書籍の総頁数と前記画像寸法抽出部により抽出されたしおりおよび書籍の撮影された寸法と、から前記しおりが挟まれた頁数を求めることを特徴とする要約提供システム。
The summary providing system according to claim 1,
The image size extraction unit extracts the thickness of the book taken from the top side or the ground side with the cover side up, and the distance from the cover to the bookmark, respectively.
The book identification information acquisition means includes an input unit, acquires the book identification information by an input to the input unit by a user,
The image size analysis unit obtains the number of pages in which the bookmark is sandwiched from the total number of pages of the book read from the table, the bookmark extracted by the image size extraction unit, and the photographed size of the book. A system for providing summaries.
請求項1記載の要約提供システムにおいて、
前記しおりは前記書籍の書籍識別情報を示すバーコードが刻印されており、
前記画像寸法抽出部は、表紙側を上とした天側もしくは地側から撮影された前記書籍の厚さと、前記表紙から前記しおりまで距離をそれぞれ抽出し、
前記書籍識別情報取得手段は、バーコード変換により前記バーコードに示される書籍識別情報を取得し、
前記画像寸法解析部は、前記テーブルから読み出した書籍の総頁数と前記画像寸法抽出部により抽出されたしおりおよび書籍の撮影された寸法と、から前記しおりが挟まれた頁数を求めることを特徴とする要約提供システム。
The summary providing system according to claim 1,
The bookmark is engraved with a barcode indicating the book identification information of the book,
The image size extraction unit extracts the thickness of the book taken from the top side or the ground side with the cover side up, and the distance from the cover to the bookmark, respectively.
The book identification information acquisition means acquires the book identification information indicated in the barcode by barcode conversion,
The image size analysis unit obtains the number of pages in which the bookmark is sandwiched from the total number of pages of the book read from the table, the bookmark extracted by the image size extraction unit, and the photographed size of the book. A system for providing summaries.
請求項1ないし請求項4のいずれかに記載の要約提供システムにおいて、
前記画像寸法抽出部および書籍識別情報取得手段は、前記小型携帯機器に設けられ、前記画像寸法解析部は、サーバ内に設けられることを特徴とする要約提供システム。
The summary providing system according to any one of claims 1 to 4,
The summary providing system, wherein the image size extraction unit and the book identification information acquisition unit are provided in the small portable device, and the image size analysis unit is provided in a server.
請求項1ないし請求項4のいずれかに記載の要約提供システムにおいて、
前記要約表示部は、前記小型携帯機器に設けられることを特徴とする要約提供システム。
The summary providing system according to any one of claims 1 to 4,
The summary display system, wherein the summary display unit is provided in the small portable device.
書籍の書籍識別情報に関連付けられて、書籍の寸法、総頁数、頁数に対応した要約が格納されたテーブルを複数備えた書籍データベースと、カメラおよび表示部とを備えた小型携帯機器と、ともに要約提供システムを構成する要約出力装置で行われる要約出力方法であって、
画像寸法抽出部が、前記カメラにより撮影された、しおりが挟まれた状態の前記書籍の映像から書籍の寸法を抽出するステップと、
書籍識別情報取得手段が、前記書籍の書籍識別情報を取得するステップと、
画像寸法解析部が、前記書籍識別情報取得手段により得られた書籍識別情報に対応する前記書籍データベースのテーブルより前記書籍の寸法および総頁数を取得し、前記画像寸法抽出部により得られた前記書籍の寸法から前記しおりが挟まれた頁数を求め、求めたページ数に対応する要約を前記テーブルから読み出して前記小型携帯機器の表示部へ出力させるステップと、を備えた要約出力方法。
A book database comprising a plurality of tables associated with book identification information of a book and storing a summary corresponding to the book's dimensions, total number of pages, and number of pages; a small portable device comprising a camera and a display; A summary output method performed by a summary output device that constitutes a summary providing system,
An image dimension extraction unit that extracts a dimension of the book from a video of the book in a state where a bookmark is sandwiched, which is taken by the camera;
A book identification information obtaining unit obtaining book identification information of the book;
The image size analysis unit acquires the size and total number of pages of the book from the table of the book database corresponding to the book identification information obtained by the book identification information acquisition unit, and the image size extraction unit obtains the size A summary output method comprising: obtaining the number of pages in which the bookmark is sandwiched from the dimensions of the book, reading out the summary corresponding to the obtained number of pages from the table, and outputting the summary to the display unit of the small portable device.
請求項7記載の要約提供方法において、
前記しおりはその幅が既知のものが使用され、前記書籍は、表紙部にはタイトル名が記載され、裏表紙には書籍識別子を示すバーコードが刻印されており、
前記画像寸法抽出部は、表紙側もしくは裏表紙側から撮影された前記書籍および前記しおりの幅をそれぞれ抽出し、
前記書籍識別情報取得手段は、前記書籍が表紙側から撮影されている場合には画像認識により前記タイトル名を取得し、前記書籍が裏表紙側から撮影されている場合にはバーコード変換により前記バーコードに示される書籍識別子を取得し、
前記画像寸法解析部は、前記書籍識別情報取得手段が取得した書籍識別情報がタイトル名または書籍識別子のいずれであるかにより、前記書籍の撮影が表紙側もしくは裏表紙側から撮影されたもののいずれであるかを認識し、前記テーブルから読み出したしおりおよび書籍の実際の寸法と前記画像寸法抽出部により抽出されたしおりおよび書籍の撮影された寸法から前記しおりが挟まれた頁数を求めることを特徴とする要約提供方法。
The summary providing method according to claim 7,
The bookmark has a known width, and the book has a title on the cover and a barcode indicating the book identifier on the back cover.
The image size extraction unit extracts the width of the book and the bookmark taken from the front cover side or the back cover side,
The book identification information acquisition means acquires the title name by image recognition when the book is photographed from the cover side, and converts the barcode by barcode conversion when the book is photographed from the back cover side. Get the book identifier shown in the barcode,
The image size analysis unit may be one in which the book is photographed from the front cover side or the back cover side depending on whether the book identification information acquired by the book identification information acquisition means is a title name or a book identifier. The number of pages in which the bookmark is sandwiched is obtained from the actual dimension of the bookmark read from the table and the actual dimension of the book, the bookmark extracted by the image dimension extraction unit, and the photographed dimension of the book. A summary providing method.
請求項7記載の要約提供方法において、
前記画像寸法抽出部は、表紙側を上とした天側もしくは地側から撮影された前記書籍の厚さと、前記表紙から前記しおりまで距離をそれぞれ抽出し、
前記書籍識別情報取得手段は、入力部を備え、利用者による前記入力部への入力により前記書籍識別情報を取得し、
前記画像寸法解析部は、前記テーブルから読み出した書籍の総頁数と前記画像寸法抽出部により抽出されたしおりおよび書籍の撮影された寸法と、から前記しおりが挟まれた頁数を求めることを特徴とする要約提供方法。
The summary providing method according to claim 7,
The image size extraction unit extracts the thickness of the book taken from the top side or the ground side with the cover side up, and the distance from the cover to the bookmark, respectively.
The book identification information acquisition means includes an input unit, acquires the book identification information by an input to the input unit by a user,
The image size analysis unit obtains the number of pages in which the bookmark is sandwiched from the total number of pages of the book read from the table, the bookmark extracted by the image size extraction unit, and the photographed size of the book. A feature summarization method.
請求項1記載の要約提供システムにおいて、
前記しおりは前記書籍の書籍識別情報を示すバーコードが刻印されており、
前記画像寸法抽出部は、表紙側を上とした天側もしくは地側から撮影された前記書籍の厚さと、前記表紙から前記しおりまで距離をそれぞれ抽出し、
前記書籍識別情報取得手段は、バーコード変換により前記バーコードに示される書籍識別情報を取得し、
前記画像寸法解析部は、前記テーブルから読み出した書籍の総頁数と前記画像寸法抽出部により抽出されたしおりおよび書籍の撮影された寸法と、から前記しおりが挟まれた頁数を求めることを特徴とする要約提供方法。
The summary providing system according to claim 1,
The bookmark is engraved with a barcode indicating the book identification information of the book,
The image size extraction unit extracts the thickness of the book taken from the top side or the ground side with the cover side up, and the distance from the cover to the bookmark, respectively.
The book identification information acquisition means acquires the book identification information indicated in the barcode by barcode conversion,
The image size analysis unit obtains the number of pages in which the bookmark is sandwiched from the total number of pages of the book read from the table, the bookmark extracted by the image size extraction unit, and the photographed size of the book. A feature summarization method.
請求項7ないし請求項11のいずれかに記載の要約出力装置をコンピュータシステム上に構築するプログラム。 The program which builds the summary output device in any one of Claim 7 thru | or 11 on a computer system.
JP2010209237A 2010-09-17 2010-09-17 Summary providing system, summary providing method, and program Expired - Fee Related JP5240867B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010209237A JP5240867B2 (en) 2010-09-17 2010-09-17 Summary providing system, summary providing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010209237A JP5240867B2 (en) 2010-09-17 2010-09-17 Summary providing system, summary providing method, and program

Publications (2)

Publication Number Publication Date
JP2012064105A true JP2012064105A (en) 2012-03-29
JP5240867B2 JP5240867B2 (en) 2013-07-17

Family

ID=46059725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010209237A Expired - Fee Related JP5240867B2 (en) 2010-09-17 2010-09-17 Summary providing system, summary providing method, and program

Country Status (1)

Country Link
JP (1) JP5240867B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6179850A (en) * 1984-09-25 1986-04-23 Mitsubishi Electric Corp Stirling engine
JP2014232947A (en) * 2013-05-28 2014-12-11 ブラザー工業株式会社 Image information processing device and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096965A (en) * 1995-06-23 1997-01-10 Kawatetsu Joho Syst Kk Method for detecting end position of book image and device for reading thereof
JP2004062257A (en) * 2002-07-25 2004-02-26 Hitachi Ltd Book-read support device
JP2005135175A (en) * 2003-10-30 2005-05-26 Nippon Telegr & Teleph Corp <Ntt> Book sales system
JP2005189051A (en) * 2003-12-25 2005-07-14 Casio Comput Co Ltd Size measurement device and program
JP2006053739A (en) * 2004-08-11 2006-02-23 Alpine Electronics Inc Electronic book read-out device
JP2006155125A (en) * 2004-11-29 2006-06-15 Oki Electric Ind Co Ltd System for browsing book summary information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096965A (en) * 1995-06-23 1997-01-10 Kawatetsu Joho Syst Kk Method for detecting end position of book image and device for reading thereof
JP2004062257A (en) * 2002-07-25 2004-02-26 Hitachi Ltd Book-read support device
JP2005135175A (en) * 2003-10-30 2005-05-26 Nippon Telegr & Teleph Corp <Ntt> Book sales system
JP2005189051A (en) * 2003-12-25 2005-07-14 Casio Comput Co Ltd Size measurement device and program
JP2006053739A (en) * 2004-08-11 2006-02-23 Alpine Electronics Inc Electronic book read-out device
JP2006155125A (en) * 2004-11-29 2006-06-15 Oki Electric Ind Co Ltd System for browsing book summary information

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6179850A (en) * 1984-09-25 1986-04-23 Mitsubishi Electric Corp Stirling engine
JP2014232947A (en) * 2013-05-28 2014-12-11 ブラザー工業株式会社 Image information processing device and program

Also Published As

Publication number Publication date
JP5240867B2 (en) 2013-07-17

Similar Documents

Publication Publication Date Title
US20130120548A1 (en) Electronic device and text reading guide method thereof
US9208379B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium storing program
US20110157215A1 (en) Image output device, image output system and image output method
KR101716807B1 (en) Device and method for representing html elements having 3-dimension information on web
JP2015146173A (en) Annotation system, method, program, and recording medium
JP2012014545A (en) Content deliverly system, method and program
JP2012208591A (en) Book inventory confirmation system
JP2018097581A (en) Information processing device and program
JP5240867B2 (en) Summary providing system, summary providing method, and program
WO2008059563A1 (en) Information providing apparatus, information providing system, and information providing method
JP6230878B2 (en) Form reading device, program, and form reading system
CN103902795B (en) A kind of electronic equipment control method, system and electronic equipment
CN103455479A (en) Method and terminal for creating contacts
JP2012252453A (en) Reading system, terminal device, cooperation method and program
CN112822394A (en) Display control method and device, electronic equipment and readable storage medium
KR101523349B1 (en) Social Network Service System Based Upon Visual Information of Subjects
US20150039643A1 (en) System for storing and searching image files, and cloud server
US9141850B2 (en) Electronic device and photo management method thereof
JP4474231B2 (en) Document link information acquisition system
JP2006053622A5 (en)
JP2012226085A (en) Electronic apparatus, control method and control program
JP3210555U (en) Annotation system
JP2014063457A (en) Annotation management system, and program for making computer execute the same
KR101262839B1 (en) Method and apparatus for providing memo using rfid information in portable terminal
JP4557671B2 (en) Content transfer system and method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130328

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5240867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees