JP2000082108A - Two-dimensional code recognition processing method, device therefor and medium - Google Patents

Two-dimensional code recognition processing method, device therefor and medium

Info

Publication number
JP2000082108A
JP2000082108A JP11186276A JP18627699A JP2000082108A JP 2000082108 A JP2000082108 A JP 2000082108A JP 11186276 A JP11186276 A JP 11186276A JP 18627699 A JP18627699 A JP 18627699A JP 2000082108 A JP2000082108 A JP 2000082108A
Authority
JP
Japan
Prior art keywords
dimensional code
code
processing step
data
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11186276A
Other languages
Japanese (ja)
Other versions
JP3794463B2 (en
Inventor
Keigo Ihara
圭吾 井原
Jiyunichi Rekimoto
純一 暦本
Shinji Nakajima
信二 中嶋
Takahiko Sueyoshi
隆彦 末吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP18627699A priority Critical patent/JP3794463B2/en
Publication of JP2000082108A publication Critical patent/JP2000082108A/en
Application granted granted Critical
Publication of JP3794463B2 publication Critical patent/JP3794463B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To make it possible to efficiently and precisely recognize code data from picture data of a two-dimensional code. SOLUTION: In this recognition processing method the picture data of a two-dimensional code picked up by a CCD video camera binarization processed at a step S2 and, next, has a black pixel coupling area decided at a step S3. Then, a logo mark cell part responsible for presentation of a reference of recognition processing and readable information at the same time is detected at a step S10. Corner cells within a specified search range with a logo mark cell part as a reference are detected at a step S12 and code data of the two-dimensional code existing in an area of a code part surrounded by the corner cells is detected. At a step S14, the code data of the detected code data are verified.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、2次元コード認識
処理方法、2次元コード認識処理装置、および2次元コ
ード認識処理プログラムをコンピュータに実行させる媒
体に関し、特に、撮像された2次元コードの画像データ
から、効率よくかつ正確にコードデータを認識すること
ができるようにした2次元コード認識処理方法、2次元
コード認識処理装置、および2次元コード認識処理プロ
グラムをコンピュータに実行させる媒体に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a two-dimensional code recognition processing method, a two-dimensional code recognition processing device, and a medium for causing a computer to execute a two-dimensional code recognition processing program. The present invention relates to a two-dimensional code recognition processing method, a two-dimensional code recognition processing device, and a medium for causing a computer to execute a two-dimensional code recognition processing program that enables efficient and accurate recognition of code data from data.

【0002】[0002]

【従来の技術】従来から、物品の種類や状態などを示す
英数文字をバーコード化し、例えば、物品に貼付してお
き、その貼付されたバーコードを読み取って、物品の種
類や状態などの情報を取得するバーコードシステムが、
多くの産業分野に普及している。
2. Description of the Related Art Conventionally, alphanumeric characters indicating the type and condition of an article are converted into a bar code, for example, attached to an article, and the attached bar code is read to read the type and condition of the article. A barcode system that acquires information
Widely used in many industrial fields.

【0003】この種のバーコードにおいて、特に1次元
バーコードと呼ばれるものの一例を示せば、図20の通
りである。この図において、1次元バーコード500
は、太さの異なるバー(黒色の棒状部分)と、スペース
(空白部分)の組み合わせからなるコード部501と、
このコード部501にコード化されているコードを示す
ID(識別番号)部502とから構成されている。そして、
ID部502には、コード部501にコード化されている
英数文字が可読情報として表示されている。このような
1次元バーコード500が、バーコードスキャナと呼ば
れる光学的認識装置によって読み取られるようになって
いる。
FIG. 20 shows an example of a barcode of this type, which is particularly called a one-dimensional barcode. In this figure, a one-dimensional barcode 500
Is a code portion 501 composed of a combination of bars (black bar portions) having different thicknesses and spaces (blank portions).
Indicates the code coded in the code part 501
An ID (identification number) section 502 is provided. And
In the ID section 502, alphanumeric characters coded in the code section 501 are displayed as readable information. Such a one-dimensional barcode 500 is read by an optical recognition device called a barcode scanner.

【0004】[0004]

【発明が解決しようとする課題】ところで、上述した1
次元バーコード500を読み取る1つの方法として、CC
Dビデオカメラにより読み取る方法が挙げられるが、例
えば、コード化される情報量の増大に伴って、バーの配
列が長くなると、CCDビデオカメラによる1次元バー
コード500の読み取りが困難になる。
By the way, the above-mentioned 1
One way to read the dimensional barcode 500 is to use CC
There is a method of reading with a D video camera. For example, if the bar arrangement becomes long with the increase in the amount of information to be coded, it becomes difficult to read the one-dimensional barcode 500 with a CCD video camera.

【0005】そこで、コード化される情報が多くなった
場合においても、ビデオカメラによる読み取りを可能に
するために、1次元バーコード500のバーに代えて、
図21に示すような複数の黒色の方形セルが所定の配列
規則に従って2次元配置されたコード部601と、コー
ド部601にコード化されているコードを示すID部60
2とから構成される2次元コード600が種々提案され
ている。
Therefore, even if the information to be coded becomes large, in order to enable reading by a video camera, the bar of the one-dimensional bar code 500 is used instead.
A code section 601 in which a plurality of black square cells are two-dimensionally arranged according to a predetermined arrangement rule as shown in FIG. 21, and an ID section 60 indicating a code coded in the code section 601
2 has been proposed.

【0006】これによれば、情報が2次元的にコード化
されることより、より多くの情報量をコード化すること
ができ、1次元バーコード500に比べ、より多くの情
報がコード化されていても、ビデオカメラによる読み取
りが可能となる。
[0006] According to this, since the information is coded two-dimensionally, a larger amount of information can be coded, and more information can be coded than the one-dimensional barcode 500. Even if it is, it can be read by a video camera.

【0007】しかしながら、2次元コード600は、ビ
デオカメラによって撮像された画像データから2次元コ
ード600を認識する際に、ゴミ、汚れ、その他の2次
元コード600以外の画像との識別が困難となり、正確
にコードデータを認識することができないという課題が
あった。
However, when recognizing the two-dimensional code 600 from image data captured by a video camera, the two-dimensional code 600 is difficult to distinguish from dust, dirt, and other images other than the two-dimensional code 600. There is a problem that code data cannot be recognized accurately.

【0008】また、上述した2次元コード600におい
ては、1次元バーコード500と同様に、そのID部60
2に、コード化されたコードが人間によって判読可能な
英数字等によって表示されてはいるものの、その2次元
コード600が、一体何を示すコードなのか、さらに
は、一体どのようなコード体系で、どのような配列規則
に従って方形セルが2次元配置されているのかについ
て、識別することができなかった。
In the two-dimensional code 600 described above, similarly to the one-dimensional bar code 500, the ID part 60
2, although the coded code is displayed by human-readable alphanumeric characters and the like, the two-dimensional code 600 is a code indicating what, and further, what kind of code system is used. It was not possible to identify what kind of arrangement rule the square cells are two-dimensionally arranged.

【0009】本発明はこのような状況に鑑みてなされた
ものであり、2次元コードの画像データから、コードデ
ータを効率よくかつ正確に認識することができるように
するものである。
The present invention has been made in view of such a situation, and is intended to enable efficient and accurate recognition of code data from two-dimensional code image data.

【0010】[0010]

【課題を解決するための手段】請求項1に記載の2次元
コード認識処理方法は、複数の方形セルが所定の配列規
則に従って2次元配置された2次元コードを認識する2
次元コード認識処理方法において、外部から取り込んだ
画像情報から、所定の閾値に基づいて2値化データを生
成する2値化処理ステップと、前記2値化処理ステップ
で生成された2値化データに基づいて、前記2次元コー
ドを認識する上で基準となる基準セルを検出する基準セ
ル検出処理ステップと、前記2値化処理ステップで生成
された2値化データに基づいて、前記基準セル検出処理
ステップで検出された基準セルを基準として、所定の探
索範囲内に存在するコーナーセルを検出するコーナーセ
ル検出処理ステップと、前記2値化処理ステップで生成
された2値化データに基づいて、前記基準セルと前記コ
ーナーセルとによって囲まれるコード部の領域内に存在
する前記2次元コードに割り当てられたコードデータを
検出するコードデータ検出処理ステップとを含むことを
特徴とする。
According to a first aspect of the present invention, there is provided a two-dimensional code recognition processing method for recognizing a two-dimensional code in which a plurality of rectangular cells are two-dimensionally arranged according to a predetermined arrangement rule.
In the dimension code recognition processing method, a binarization processing step of generating binarized data based on a predetermined threshold value from image information fetched from outside, and a binarization data generated in the binarization processing step. A reference cell detection processing step of detecting a reference cell serving as a reference for recognizing the two-dimensional code based on the reference cell detection processing based on the binarized data generated in the binarization processing step. A corner cell detection processing step of detecting a corner cell existing within a predetermined search range with reference to the reference cell detected in the step, and the binarization data generated in the binarization processing step, Code data for detecting code data assigned to the two-dimensional code existing in the area of the code part surrounded by the reference cell and the corner cell Characterized in that it comprises a data detection processing step.

【0011】請求項13に記載の2次元コード認識処理
装置は、複数の方形セルが所定の配列規則に従って2次
元配置された2次元コードを認識する2次元コード認識
処理装置において、外部から取り込んだ画像情報から、
所定の閾値に基づいて2値化データを生成する2値化手
段と、前記2値化手段で生成された2値化データに基づ
いて、前記2次元コードを認識する上で基準となる基準
セルを検出する基準セル検出手段と、前記2値化手段で
生成された2値化データに基づいて、前記基準セル検出
手段で検出された基準セルを基準として、所定の探索範
囲内に存在するコーナーセルを検出するコーナーセル検
出手段と、前記2値化手段で生成された2値化データに
基づいて、前記基準セルと前記コーナーセルとによって
囲まれるコード部の領域内に存在する前記2次元コード
に割り当てられたコードデータを検出するコードデータ
検出手段とを備えることを特徴とする。
According to a thirteenth aspect of the present invention, there is provided a two-dimensional code recognition processing apparatus for recognizing a two-dimensional code in which a plurality of rectangular cells are two-dimensionally arranged according to a predetermined arrangement rule. From the image information,
A binarizing unit for generating binarized data based on a predetermined threshold, and a reference cell serving as a reference for recognizing the two-dimensional code based on the binarized data generated by the binarizing unit Based on the binarized data generated by the binarizing means, and a corner existing within a predetermined search range based on the reference cell detected by the reference cell detecting means. A corner cell detecting means for detecting a cell, and the two-dimensional code existing in an area of a code part surrounded by the reference cells and the corner cells based on the binarized data generated by the binarizing means. And code data detecting means for detecting the code data assigned to.

【0012】請求項18に記載の2次元コード認識処理
プログラムをコンピュータに実行させる媒体は、複数の
方形セルが所定の配列規則に従って2次元配置された2
次元コードを認識する2次元コード認識処理プログラム
において、外部から取り込んだ画像情報から、所定の閾
値に基づいて2値化データを生成する2値化処理ステッ
プと、前記2値化処理ステップで生成された2値化デー
タに基づいて、前記2次元コードを認識する上で基準と
なる基準セルを検出する基準セル検出処理ステップと、
前記2値化処理ステップで生成された2値化データに基
づいて、前記基準セル検出処理ステップで検出された基
準セルを基準として、所定の探索範囲内に存在するコー
ナーセルを検出するコーナーセル検出処理ステップと、
前記2値化処理ステップで生成された2値化データに基
づいて、前記基準セルと前記コーナーセルとによって囲
まれるコード部の領域内に存在する前記2次元コードに
割り当てられたコードデータを検出するコードデータ検
出処理ステップとを含むことを特徴とする。
A medium for causing a computer to execute the two-dimensional code recognition processing program according to claim 18 is a medium in which a plurality of rectangular cells are two-dimensionally arranged according to a predetermined arrangement rule.
In a two-dimensional code recognition processing program for recognizing a two-dimensional code, a binarization processing step of generating binarized data based on a predetermined threshold value from image information fetched from outside, and a binarization processing step generated in the binarization processing step A reference cell detection processing step of detecting a reference cell serving as a reference for recognizing the two-dimensional code based on the binarized data;
Corner cell detection for detecting a corner cell existing within a predetermined search range based on the binarized data generated in the binarization processing step with reference to the reference cell detected in the reference cell detection processing step Processing steps;
Based on the binarized data generated in the binarization processing step, code data assigned to the two-dimensional code existing in a region of a code part surrounded by the reference cell and the corner cell is detected. And a code data detection processing step.

【0013】請求項1に記載の2次元コード認識処理方
法、請求項13に記載の2次元コード認識処理装置、お
よび請求項18に記載の2次元コード認識処理プログラ
ムをコンピュータに実行させる媒体においては、外部か
ら取り込まれた画像情報から、所定の閾値に基づいて2
値化データが生成され、この2値化データに基づいて、
2次元コードを認識する上で基準となる基準セルが検出
され、さらに基準セルを基準として、所定の探索範囲内
に存在するコーナーセルが検出され、これら基準セルと
コーナーセルとによって囲まれるコード部の領域内に存
在する2次元コードに割り当てられたコードデータが検
出される。
A two-dimensional code recognition processing method according to claim 1, a two-dimensional code recognition processing device according to claim 13, and a medium that causes a computer to execute the two-dimensional code recognition processing program according to claim 18, , Based on image information taken in from outside, based on a predetermined threshold,
The binarized data is generated, and based on the binarized data,
A reference cell serving as a reference in recognizing the two-dimensional code is detected. Further, a corner cell existing within a predetermined search range is detected with reference to the reference cell, and a code section surrounded by the reference cell and the corner cell is detected. The code data allocated to the two-dimensional code existing in the area of is detected.

【0014】[0014]

【発明の実施の形態】以下に本発明の実施の形態を説明
する。
Embodiments of the present invention will be described below.

【0015】図1は、本発明を適用したパーソナルコン
ピュータ1の使用例を表している。オブジェクト100
は、例えば、名刺状のカードで、2次元コード101が
貼付(印刷を含む)されている。
FIG. 1 shows an example of use of a personal computer 1 to which the present invention is applied. Object 100
Is, for example, a business card-shaped card on which a two-dimensional code 101 is attached (including printing).

【0016】2次元コード101は、図2に示すよう
に、複数の正方形状のセル(黒色の部分)が所定の配列
規則に従って2次元的に配置されており、このセルの配
列パターンにより、所定の英数文字、例えば、この例の
場合、数字200がコード化されている。
As shown in FIG. 2, in the two-dimensional code 101, a plurality of square cells (black portions) are two-dimensionally arranged in accordance with a predetermined arrangement rule. For example, in this example, the numeral 200 is coded.

【0017】以下に、2次元コード101の詳細を説明
する。2次元コード101は、ロゴマーク部201とコ
ード部202から構成されており、これらロゴマーク部
201とコード部202の全体は、1個の正方形状のセ
ルの矩形領域を1ブロックと表現すると、7ブロック分
の長さのX軸方向の辺と、9.5ブロック分の長さのY
軸方向の辺で形成される領域(以下、このような領域を
7×9.5ブロック領域と記述する。他の場合において
も同様である)内に配置されている。
The details of the two-dimensional code 101 will be described below. The two-dimensional code 101 is composed of a logo mark portion 201 and a code portion 202. When the logo mark portion 201 and the code portion 202 as a whole represent a rectangular area of one square cell as one block, A side in the X-axis direction with a length of 7 blocks and a Y with a length of 9.5 blocks
It is arranged in a region formed by the sides in the axial direction (hereinafter, such a region is referred to as a 7 × 9.5 block region. The same applies to other cases).

【0018】ロゴマーク部201は、図3に示すよう
に、ロゴマークセル部301およびノンセル部302か
ら構成されている。そして、7×1.5ブロック領域の
長方形状のセルであるロゴマークセル部301には、ロ
ゴマーク、文字、または数字など、2次元コードに関連
する白抜きの可読文字情報が印刷により表示されてい
る。ここで、例えば、ロゴマークとしては、2次元コー
ド101のコード体系に付された「CyberCod
e」など、2次元コード101が何を意味するコードな
のかを、人間が判読可能なマークとして、白抜き文字で
表示される。
The logo mark section 201 includes a logo mark cell section 301 and a non-cell section 302 as shown in FIG. In a logo mark cell section 301 which is a rectangular cell of a 7 × 1.5 block area, white readable character information related to a two-dimensional code such as a logo mark, a character, or a number is displayed by printing. ing. Here, for example, as the logo mark, “CyberCod” attached to the code system of the two-dimensional code 101 is used.
For example, what the two-dimensional code 101 means, such as "e", is displayed in white characters as a human-readable mark.

【0019】また、ロゴマークに限らず、2次元コード
101のコード体系を開発した本出願人の会社名を表示
したり、2次元コード101のコード体系に関連する情
報資源の格納場所を示すURL(Uniform Resource Loc
ator)などを表示するようにしても構わない。なお、UR
Lとは、インターネット上に分散しているファイルなど
の情報資源の格納場所を一意に指定するための表記方法
である。
In addition to the logo mark, the name of the company of the applicant who developed the code system of the two-dimensional code 101 is displayed, and the URL indicating the storage location of information resources related to the code system of the two-dimensional code 101 is displayed. (Uniform Resource Loc
ator) may be displayed. UR
L is a notation method for uniquely specifying a storage location of an information resource such as a file distributed on the Internet.

【0020】以上のように、長方形状のロゴマークセル
部301に、その2次元コード101が何を示すコード
なのかをロゴマーク等で表示することにより、そのロゴ
マーク等に関する情報が掲載されているインターネット
上のホームページなどを参照することで、その2次元コ
ード101に関する情報を取得し、理解することができ
る。例えば、本願出願時点において、本出願人が提供し
ている下記のURLでアクセス可能なホームページには、
以下のような説明文が掲載されている。 http://www.sony.co.jp/sd/ProductsPark/Consumer/PCO
M/PCG-C1CAT/cybercode.html 「「サイバーコード」は、ソニー独自の2次元バーコー
ドで、約1,677万通り(24ビット)のパターンが存在しま
す。このうち約100万通り(20ビット)を、任意のプログ
ラム起動用として自由に登録することが可能。残りのコ
ード分は、将来のサービス拡張用として予約されていま
す。「サイバーコード」は、それが貼られたものから、
対応するコンピューター上の情報を引き出すためのイン
デックスの役割をし、CyberCode Finderのファインダー
を通して、プログラムが起動されることにより、あたか
も「サイバーコード」が貼られたものから、対応する情
報がコンピューター上に飛び出してくるという新しいイ
ンターフェースを提供します。」
As described above, by displaying the two-dimensional code 101 with a logo mark or the like in the rectangular logo mark cell section 301, information on the logo mark or the like is posted. By referring to a homepage on the Internet or the like, information on the two-dimensional code 101 can be acquired and understood. For example, at the time of filing of the present application, the homepage accessible by the following URL provided by the applicant,
The following explanation is posted. http://www.sony.co.jp/sd/ProductsPark/Consumer/PCO
M / PCG-C1CAT / cybercode.html "" Cybercode "is Sony's unique two-dimensional barcode, with approximately 16.77 million (24-bit) patterns. About 1 million (20 bits) of these can be freely registered for starting arbitrary programs. The remaining code is reserved for future service expansion. "Cyber code" starts from the one with it
Acts as an index for extracting information on the corresponding computer, and when the program is started through the finder of CyberCode Finder, the corresponding information jumps out of the computer as if the "cyber code" was pasted To provide a new interface. "

【0021】次に、図3に示すように、ロゴマークセル
部301の、コード部202側の7×1ブロック領域に
は、セルが存在しないノンセル部302が存在する。な
お、ロゴマークセル部301の長軸(図2のX軸方向の
軸)を辺A、および短軸(図2のY軸方向の軸)を辺B
とする。
Next, as shown in FIG. 3, in the 7 × 1 block area on the code section 202 side of the logo mark cell section 301, there is a non-cell section 302 having no cell. The long axis (the axis in the X-axis direction in FIG. 2) of the logo mark cell portion 301 is the side A, and the short axis (the axis in the Y-axis direction in FIG. 2) is the side B.
And

【0022】コード部202には、図4に示すように、
ロゴマークセル部301を下方向に位置させたとき、ロ
ゴマークセル部301の左端から7ブロック分上方向に
位置する左上コーナーセル、およびロゴマークセル部3
01の右端から7ブロック分上方向に位置する右上コー
ナーセルが存在する。また、ロゴマークセル部301の
左端から1ブロック分上方向に位置する左下コーナーセ
ル、およびロゴマークセル部301の右端から1ブロッ
ク分上方向に位置する右下コーナーセルが存在する。な
お、左上コーナーセル、右上コーナーセル、左下コーナ
ーセル、および右下コーナーセルを特に区別する必要が
ない場合、これらをまとめてコーナーセルと称する。
In the code section 202, as shown in FIG.
When the logo mark cell section 301 is positioned downward, the upper left corner cell and the logo mark cell section 3 located 7 blocks upward from the left end of the logo mark cell section 301.
There is an upper right corner cell located 7 blocks upward from the right end of 01. Further, there are a lower left corner cell located one block upward from the left end of the logo mark cell part 301 and a lower right corner cell located one block upward from the right end of the logo mark cell part 301. When it is not necessary to particularly distinguish the upper left corner cell, the upper right corner cell, the lower left corner cell, and the lower right corner cell, these are collectively referred to as corner cells.

【0023】コーナーセルの周囲の隣接する3ブロック
分の領域には、セルが存在しない。つまり、ロゴマーク
セル部301に対して、上述したような位置に存在し、
周り3ブロック領域にセルが存在しないようなセルはコ
ーナーセルとされる。
There are no cells in three adjacent blocks around the corner cell. That is, it exists at the position as described above with respect to the logo mark cell portion 301,
A cell whose cell does not exist in the surrounding three block areas is a corner cell.

【0024】コード部202は、実際は、1ブロックを
1ビットとすると、49ビット(7ブロック×7ブロッ
ク=49ブロック)分の情報をコード化することができ
るが、上述したように、コーナーセル(1ブロック)お
よびコーナーセルの周り3ブロックは、データを構成し
ない。すなわち、合計16ブロックは、データを構成し
ない。また、残り33ブロック(33ビット)中、9ブ
ロック(9ビット)は、コードデータが、正しいコード
データであることを確かめるためのチェックデータを構
成する。従って、コード部202には、24ビット分の
情報がコード化されている。
The code section 202 can actually code information of 49 bits (7 blocks × 7 blocks = 49 blocks) assuming that one block is 1 bit. One block) and three blocks around the corner cell do not constitute data. That is, a total of 16 blocks do not constitute data. Of the remaining 33 blocks (33 bits), 9 blocks (9 bits) constitute check data for confirming that the code data is correct code data. Therefore, information of 24 bits is coded in the code section 202.

【0025】図5は、上述した2次元コード101の具
体例を表している。図5(A)の2次元コード101の
コード部202には、識別番号200、201、20
2、203、1500、1501、1502、そして1
503がコード化されたコードパターンが印刷されてい
る。また、ロゴマークセル部301の下方の、ID部20
3には、コード化された識別番号に対応する数字が印刷
されている。
FIG. 5 shows a specific example of the two-dimensional code 101 described above. In the code part 202 of the two-dimensional code 101 in FIG.
2, 203, 1500, 1501, 1502, and 1
A code pattern in which 503 is coded is printed. The ID section 20 below the logo mark cell section 301
3 is printed with a number corresponding to the encoded identification number.

【0026】また、図5(B)に示す具体例では、2次
元コード101のロゴマークセル部301に、ロゴマー
クが白抜き文字で印刷されている。また、図5(C)に
示す具体例では、2次元コード101のID部203の識
別番号に対応する数字が省略されている。さらに、図5
(D)に示す具体例では、ロゴマークセル部301に識
別番号に対応する数字が白抜き文字で印刷されており、
ID部203にロゴマークが黒文字で印刷されている。こ
れら図5(A)乃至図5(D)に表されている2次元コ
ード101のコード部202は、全て同一の仕様により
作成されている。
In the specific example shown in FIG. 5B, a logo mark is printed in the logo mark cell portion 301 of the two-dimensional code 101 in white characters. Further, in the specific example shown in FIG. 5C, the number corresponding to the identification number of the ID section 203 of the two-dimensional code 101 is omitted. Further, FIG.
In the specific example shown in (D), a number corresponding to the identification number is printed in white letters on the logo mark cell portion 301,
A logo is printed in black on the ID section 203. The code portions 202 of the two-dimensional code 101 shown in FIGS. 5A to 5D are all created according to the same specifications.

【0027】ここで、上述したロゴマークセル部301
は、所定の縦横比の矩形状の領域によって構成され、後
述するように、複数の黒色画素が連結してなる黒色画素
連結領域を含んで構成されている。さらに、ロゴマーク
セル部301内には、2次元コード101に関連する白
抜きの可読情報を含んで構成されている。そして、2次
元コード1101の認識処理を開始する初期段階で、予
め規定された所定の縦横比の矩形状のロゴマークセル部
301を検出することで、このロゴマークセル部301
を基準として、所定の探索範囲内に存在するその他のセ
ルの検出処理へと認識処理を進めることが可能となる。
したがって、上述したロゴマークセル部301は、単
に、2次元コード101の意味合いを可読なロゴマーク
という形態で表示するという目的のためだけに設けてい
るのではなく、2次元コード101の認識処理を進める
上での基準を示す機能も兼ね備えている。
Here, the above-mentioned logo mark cell portion 301
Is formed by a rectangular area having a predetermined aspect ratio, and includes a black pixel connection area formed by connecting a plurality of black pixels as described later. Further, the logo mark cell unit 301 includes white readable information related to the two-dimensional code 101. Then, in the initial stage of starting the recognition processing of the two-dimensional code 1101, by detecting a rectangular logo mark cell portion 301 having a predetermined aspect ratio, the logo mark cell portion 301 is detected.
, The recognition process can proceed to the process of detecting other cells existing within the predetermined search range.
Therefore, the above-described logo mark cell unit 301 is provided not only for the purpose of displaying the meaning of the two-dimensional code 101 in the form of a readable logo mark, but also for performing recognition processing of the two-dimensional code 101. It also has the function of indicating the standard for proceeding.

【0028】このように、ロゴマークセル部301に
は、基準を示す機能に加えて、図5(B)乃至図5
(D)に示すように、ロゴマークや文字などを表示する
機能を付与しているので、最小限の占有面積で、認識処
理の基準に必要な情報と、可読情報とを同時に提示する
ことが可能となっている。
As described above, in addition to the function of indicating the reference, the logo mark cell section 301 has the functions shown in FIGS.
As shown in (D), a function to display logos and characters is provided, so that the information necessary for the recognition processing standard and the readable information can be presented simultaneously with a minimum occupation area. It is possible.

【0029】図1に戻り、パーソナルコンピュータ1
は、例えば、オブジェクト100と2次元コード101
を、CCDビデオカメラ23により撮像することがで
き、また、その結果得られた2次元コード101のコー
ドデータを認識するようになされている。
Returning to FIG. 1, the personal computer 1
Is, for example, an object 100 and a two-dimensional code 101
Can be captured by the CCD video camera 23, and the code data of the two-dimensional code 101 obtained as a result is recognized.

【0030】図6乃至図11は、本発明を適用した携帯
型パーソナルコンピュータの構成例を表している。この
パーソナルコンピュータ1は、ミニノート型のパーソナ
ルコンピュータとされ、基本的に、本体2と、本体2に
対して開閉自在とされている表示部3により構成されて
いる。図6は、表示部3を本体2に対して開いた状態を
示す外観斜視図、図7は、図6の平面図、図8は、表示
部3を本体2に対して閉塞した状態を示す左側側面図、
図9は、表示部3を本体2に対して180度開いた状態
を示す右側側面図、図10は、図8の正面図、図11
は、図9の底面図である。
6 to 11 show examples of the configuration of a portable personal computer to which the present invention is applied. The personal computer 1 is a mini-notebook type personal computer, and basically includes a main body 2 and a display unit 3 which can be opened and closed with respect to the main body 2. 6 is an external perspective view showing a state where the display unit 3 is opened with respect to the main body 2, FIG. 7 is a plan view of FIG. 6, and FIG. 8 shows a state where the display unit 3 is closed with respect to the main body 2. Left side view,
9 is a right side view showing the display unit 3 opened 180 degrees with respect to the main body 2, FIG. 10 is a front view of FIG.
FIG. 10 is a bottom view of FIG. 9.

【0031】本体2には、各種の文字や記号などを入力
するとき操作されるキーボード4、マウスカーソルを移
動させるときなどに操作されるスティック式ポインティ
ングデバイス5が、その上面に設けられている。また、
本体2の上面には、音を出力するスピーカ8と、表示部
3に設けられているCCDビデオカメラ23で撮像すると
き操作されるシャッタボタン10がさらに設けられてい
る。
The main body 2 is provided with a keyboard 4 operated for inputting various characters and symbols and a stick type pointing device 5 operated for moving a mouse cursor on its upper surface. Also,
On the upper surface of the main body 2, there are further provided a speaker 8 for outputting sound and a shutter button 10 operated when capturing an image with the CCD video camera 23 provided on the display unit 3.

【0032】表示部3の上端部には、ツメ13が設けら
れており、図8に示すように、表示部3を本体2に対し
て閉塞した状態において、ツメ13に対向する位置にお
ける本体2には、ツメ13が嵌合する孔部6が設けられ
ている。本体2の前面には、スライドレバー7が前面に
平行に移動可能に設けられており、スライドレバー7は
孔部6に嵌合したツメ13と係合してロックし、またロ
ック解除することができるようになっている。ロックを
解除することにより、表示部3を本体2に対して回動す
ることができる。ツメ13の隣りには、マイクロホン2
4が取り付けられている。このマイクロホン24は、図
11にも示すように、背面からの音も収音できるように
なされている。
A claw 13 is provided at an upper end portion of the display unit 3. As shown in FIG. 8, when the display unit 3 is closed with respect to the main body 2, Is provided with a hole 6 into which the claw 13 is fitted. A slide lever 7 is provided on the front face of the main body 2 so as to be movable in parallel with the front face. I can do it. By releasing the lock, the display unit 3 can be rotated with respect to the main body 2. Microphone 2 next to claw 13
4 is attached. As shown in FIG. 11, the microphone 24 can also collect sound from the back.

【0033】本体2の正面にはまた、プログラマブルパ
ワーキー(PPK)9が設けられている。本体2の右側面
には、図9に示すように、排気孔11が設けられてお
り、本体2の前面下部には、図10に示すように、吸気
孔14が設けられている。さらに、排気孔11の右側に
は、PCMCIA(Personal Computer Memory Card Internat
ional Association)カード(PCカード)を挿入する
ためのスロット12が設けられている。
A programmable power key (PPK) 9 is also provided on the front of the main body 2. As shown in FIG. 9, an exhaust hole 11 is provided on the right side surface of the main body 2, and an intake hole 14 is provided at a lower front portion of the main body 2 as shown in FIG. 10. Further, a PCMCIA (Personal Computer Memory Card Internat) is provided on the right side of the exhaust hole 11.
A slot 12 for inserting an ional association) card (PC card) is provided.

【0034】表示部3の正面には、画像を表示するLCD
(Liquid Crystal Display)21が設けられており、そ
の上端部には、撮像部22が、表示部3に対して回動自
在に設けられている。すなわち、この撮像部22は、LC
D21と同一の方向と、その逆の方向(背面の方向)と
の間の180度の範囲の任意の位置に回動することがで
きるようになされている。撮像部22には、CCDビデオ
カメラ23が取り付けられている。
An LCD for displaying an image is provided on the front of the display unit 3.
(Liquid Crystal Display) 21 is provided, and an imaging unit 22 is provided at the upper end thereof so as to be rotatable with respect to the display unit 3. That is, this imaging unit 22
It can rotate to any position within a range of 180 degrees between the same direction as D21 and the opposite direction (backward direction). A CCD video camera 23 is attached to the imaging unit 22.

【0035】表示部3の下側の本体側には、電源ランプ
PL、電池ランプBL、メッセージランプML、その他のLED
よりなるランプが設けられている。なお、図8に示す符
号40は、本体2の左側面に設けられた電源スイッチで
あり、図10に示す符号25は、CCDビデオカメラ23
のフォーカスを調整する調整リングである。さらに、図
11に示す符号26は、本体2内に増設メモリを取り付
けるための開口部を被覆する蓋であり、符号41は、蓋
26のロックツメを外すためのピンを挿入する小孔であ
る。
A power lamp is provided on the lower body side of the display unit 3.
PL, battery lamp BL, message lamp ML, other LEDs
Is provided. Reference numeral 40 shown in FIG. 8 is a power switch provided on the left side surface of the main body 2, and reference numeral 25 shown in FIG.
This is an adjustment ring for adjusting the focus. Further, reference numeral 26 shown in FIG. 11 is a lid for covering an opening for mounting an additional memory in the main body 2, and reference numeral 41 is a small hole for inserting a pin for releasing the lock nail of the lid 26.

【0036】図12は、パーソナルコンピュータ1の内
部の構成例を表している。内部バス51には、CPU(Cen
tral Processing Unit)52、必要に応じて挿入される
PCカード53、RAM(Random Access Memory)54、お
よびグラフィックチップ81が接続されている。この内
部バス51は、外部バス55に接続されており、外部バ
ス55には、ハードディスクドライブ(HDD)56、I/O
(入出力)コントローラ57、キーボードコントローラ
58、スティック式ポインティングデバイスコントロー
ラ59、サウンドチップ60、LCDコントローラ83、
モデム50等が接続されている。
FIG. 12 shows an example of the internal configuration of the personal computer 1. The internal bus 51 includes a CPU (Cen
tral Processing Unit) 52, inserted as needed
A PC card 53, a RAM (Random Access Memory) 54, and a graphic chip 81 are connected. The internal bus 51 is connected to an external bus 55. The external bus 55 has a hard disk drive (HDD) 56, an I / O
(Input / output) controller 57, keyboard controller 58, stick type pointing device controller 59, sound chip 60, LCD controller 83,
A modem 50 and the like are connected.

【0037】CPU52は、各機能を統括するコントロー
ラであり、PCカード53は、オプションの機能を付加す
るとき適宜装着される。
The CPU 52 is a controller that controls each function, and the PC card 53 is appropriately mounted when an optional function is added.

【0038】グラフィックチップ81には、CCDビデオ
カメラ23で取り込んだ画像データが、処理部82で処
理された後、入力されるようになされている。グラフィ
ックチップ81は、処理部82を介してCCDビデオカメ
ラ23より入力されたビデオデータを、内蔵するVRAM8
1Aに記憶し、適宜、これを読み出して、LCDコントロ
ーラ83に出力する。LCDコントローラ83は、グラフ
ィックチップ81より供給された画像データをLCD21
に出力し、表示させる。バックライト84は、LCD21
を後方から照明するようになされている。
Image data captured by the CCD video camera 23 is input to the graphic chip 81 after being processed by the processing section 82. The graphic chip 81 stores video data input from the CCD video camera 23 via the processing unit 82 into the built-in VRAM 8.
1A, read it out as appropriate, and output it to the LCD controller 83. The LCD controller 83 converts the image data supplied from the graphic chip 81 into the LCD 21
And display it. The backlight 84 is connected to the LCD 21
To be illuminated from behind.

【0039】RAM54の中には、起動が完了した時点に
おいて、電子メールプログラム(アプリケーションプロ
グラム)54A、オートパイロットプログラム(アプリ
ケーションプログラム)54B、そしてOS(基本プログ
ラム)54CがHDD56から転送され、記憶される。
In the RAM 54, when the activation is completed, an e-mail program (application program) 54A, an auto-pilot program (application program) 54B, and an OS (basic program) 54C are transferred from the HDD 56 and stored. .

【0040】電子メールプログラム54Aは、電話回線
のような通信回線等からネットワーク経由で通信文を授
受するプログラムである。電子メールプログラム54A
は、特定機能としての着信メール取得機能を有してい
る。この着信メール取得機能は、メールサーバ93に対
してそのメールボックス93A内に自分(利用者)宛の
メールが着信しているかどうかを確認して、自分宛のメ
ールがあれば取得する処理を実行する。
The e-mail program 54A is a program for exchanging messages via a network from a communication line such as a telephone line. E-mail program 54A
Has an incoming mail acquisition function as a specific function. This incoming mail acquisition function executes processing for checking with the mail server 93 whether mail addressed to the user (user) has arrived in the mailbox 93A, and acquiring mail if there is any mail addressed to the user. I do.

【0041】オートパイロットプログラム54Bは、予
め設定された複数の処理(またはプログラム)等を、予
め設定された順序で順次起動して、処理するプログラム
である。
The autopilot program 54B is a program for sequentially starting and processing a plurality of preset processes (or programs) in a preset order.

【0042】OS(基本プログラムソフトウェア)54C
は、Windows95やWindows98(商標)に代表される、コン
ピュータの基本的な動作を制御するものである。
OS (basic program software) 54C
Controls the basic operations of a computer, such as Windows95 and Windows98 (trademark).

【0043】一方、外部バス55側のハードディスクド
ライブ(HDD)56には、電子メールプログラム56
A、オートパイロットプログラム56B、OS(基本プロ
グラムソフトウェア)56C、および2次元コード認識
プログラム56Dが記憶されている。
On the other hand, a hard disk drive (HDD) 56 on the external bus 55 side has an electronic mail program 56
A, an autopilot program 56B, an OS (basic program software) 56C, and a two-dimensional code recognition program 56D are stored.

【0044】2次元コード認識プログラムは、グラフィ
ックチップ81のVRAM81Aに記憶される画像データか
ら、2次元コードのロゴマーク部201のロゴマークセ
ル部301およびコード部202を検出し、そしてコー
ド部202のコードデータを認識することで、コード化
された所定の情報を読み取るプログラムである。
The two-dimensional code recognition program detects the logo mark cell part 301 and the code part 202 of the two-dimensional code logo mark part 201 from the image data stored in the VRAM 81A of the graphic chip 81, It is a program that reads coded predetermined information by recognizing code data.

【0045】I/Oコントローラ57は、マイクロコント
ローラ61を有し、このマイクロコントローラ61には
I/Oインタフェース62が設けられている。このマイク
ロコントローラ61はI/Oインタフェース62、CPU6
3、RAM64、ROM69が相互に接続されて構成されてい
る。このRAM64は、キー入力ステイタスレジスタ6
5、LED(発光ダイオード)制御レジスタ66、設定時
刻レジスタ67、レジスタ68を有している。設定時刻
レジスタ67は、ユーザが予め設定した時刻(起動条
件)になると起動シーケンス制御部76の動作を開始さ
せる際に利用される。レジスタ68は、予め設定された
操作キーの組み合わせ(起動条件)と、起動すべきアプ
リケーションプログラムの対応を記憶するもので、その
記憶された操作キーの組み合わせがユーザにより入力さ
れると、その記憶されたアプリケーションプログラム
(例えば電子メール)が起動されることになる。
The I / O controller 57 has a microcontroller 61, and the microcontroller 61
An I / O interface 62 is provided. This microcontroller 61 includes an I / O interface 62, a CPU 6
3, a RAM 64 and a ROM 69 are connected to each other. The RAM 64 stores the key input status register 6
5. It has an LED (light emitting diode) control register 66, a set time register 67, and a register 68. The set time register 67 is used to start the operation of the start-up sequence control unit 76 at a time (start-up condition) set by the user in advance. The register 68 stores a correspondence between a preset operation key combination (start condition) and an application program to be started. When the stored operation key combination is input by the user, the register 68 stores the correspondence. The activated application program (for example, e-mail) is activated.

【0046】キー入力ステイタスレジスタ65は、ワン
タッチ操作用のプログラマブルパワーキー(PPK)9が
押されると、操作キーフラグが格納されるようになって
いる。LED制御レジスタ66は、レジスタ68に記憶さ
れたアプリケーションプログラム(電子メール)の立上
げ状態を表示するメッセージランプMLの点灯を制御する
ものである。設定時刻レジスタ67は、所定の時刻を任
意に設定することができるものである。
The key input status register 65 stores an operation key flag when the programmable power key (PPK) 9 for one-touch operation is pressed. The LED control register 66 controls the lighting of a message lamp ML that indicates the start-up state of the application program (e-mail) stored in the register 68. The set time register 67 can arbitrarily set a predetermined time.

【0047】なお、このマイクロコントローラ61には
バックアップ用のバッテリ74が接続されており、各レ
ジスタ65,66,67の値は、本体2の電源がオフと
されている状態においても保持されるようになってい
る。
A backup battery 74 is connected to the microcontroller 61, and the values of the registers 65, 66, and 67 are retained even when the power of the main body 2 is turned off. It has become.

【0048】マイクロコントローラ61内のROM69の
中には、ウェイクアッププログラム70、キー入力監視
プログラム71、LED制御プログラム72が予め格納さ
れている。このROM69は、例えばEEPROM(electricall
y erasable and programmable read only memory)で構
成されている。このEEPROMはフラッシュメモリとも呼ば
れている。さらにマイクロコントローラ61には、常時
現在時刻をカウントするRTC(Real-Time Clock)75が
接続されている。
The ROM 69 in the microcontroller 61 stores a wake-up program 70, a key input monitoring program 71, and an LED control program 72 in advance. The ROM 69 is, for example, an EEPROM (electricall
y erasable and programmable read only memory). This EEPROM is also called a flash memory. Further, an RTC (Real-Time Clock) 75 that constantly counts the current time is connected to the microcontroller 61.

【0049】ROM69の中のウェイクアッププログラム
70は、RTC75から供給される現在時刻データに基づ
いて、設定時刻レジスタ67に予め設定された時刻にな
ったかどうかをチェックして、設定された時刻になる
と、所定の処理(またはプログラム)等の起動をするプ
ログラムである。キー入力監視プログラム71は、PPK
9が利用者により押されたかどうかを常時監視するプロ
グラムである。LED制御プログラム72は、メッセージ
ランプMLの点灯を制御するプログラムである。
The wake-up program 70 in the ROM 69 checks based on the current time data supplied from the RTC 75 whether or not the time set in the set time register 67 has been reached. , A program for starting a predetermined process (or program) or the like. The key input monitoring program 71
9 is a program for constantly monitoring whether or not 9 has been pressed by the user. The LED control program 72 is a program for controlling lighting of the message lamp ML.

【0050】ROM69には、さらにBIOS(Basic Input/O
utput System)73が書き込まれている。このBIOSと
は、基本入出力システムのことをいい、OSやアプリケー
ションソフトウェアと周辺機器(ディスプレイ、キーボ
ード、ハードディスクドライブ等)の間でのデータの受
け渡し(入出力)を制御するソフトウェアプログラムで
ある。
The ROM 69 further includes a BIOS (Basic Input / O
utput System) 73 is written. The BIOS refers to a basic input / output system, and is a software program that controls data transfer (input / output) between an OS or application software and peripheral devices (display, keyboard, hard disk drive, etc.).

【0051】外部バス55に接続されているキーボード
コントローラ58は、キーボード4からの入力をコント
ロールする。スティック式ポインティングデバイスコン
トローラ59はスティック式ポインティングデバイス5
の入力を制御する。
The keyboard controller 58 connected to the external bus 55 controls input from the keyboard 4. The stick type pointing device controller 59 is used for the stick type pointing device 5.
Control input.

【0052】サウンドチップ60は、マイクロホン24
からの入力を取り込み、あるいは内蔵スピーカ8に対し
て音声信号を供給する。
The sound chip 60 includes the microphone 24
Or an audio signal is supplied to the built-in speaker 8.

【0053】モデム50は、公衆電話回線90、インタ
ーネットサービスプロバイダ91を介して、インターネ
ット等の通信ネットワーク92やメールサーバ93等に
接続することができる。
The modem 50 can be connected to a communication network 92 such as the Internet, a mail server 93, and the like via a public telephone line 90 and an Internet service provider 91.

【0054】電源スイッチ40は、電源をオンまたはオ
フするとき操作される。半押しスイッチ85は、シャッ
タボタン10が半押し状態にされたときオンされ、全押
しスイッチ86は、シャッタボタン10が全押し状態に
されたときオンされる。反転スイッチ87は、撮像部2
2が180度回転されたとき(CCDビデオカメラ23がL
CD21の反対側を撮像する方向に回転されたとき)、オ
ンされるようになされている。
The power switch 40 is operated when the power is turned on or off. The half-press switch 85 is turned on when the shutter button 10 is half-pressed, and the full-press switch 86 is turned on when the shutter button 10 is fully pressed. The reversing switch 87 is connected to the imaging unit 2
2 is rotated 180 degrees (CCD video camera 23
It is turned on when it is rotated in the direction of imaging the opposite side of the CD 21).

【0055】次に、2次元コード認識処理の処理手順
を、図13のフローチャートを参照して説明する。
Next, the processing procedure of the two-dimensional code recognition processing will be described with reference to the flowchart of FIG.

【0056】2次元コード101がCCDビデオカメラ
23により撮像され、その結果得られた1フレーム分の
画像データが、処理部82により処理され、グラフィッ
クチップ81のVRAM81Aに記憶されている状態におい
て、HDD56に記憶されている2次元コード認識プロ
グラム56Dが起動されると、ステップS1において、
CPU52は、所定の輝度値を示す閾値の設定をカウント
するカウンタiの値に1を初期設定する。この例の場
合、図14に示すように、閾値が、5段階に設定されて
いる。設定番号1に示される閾値Aの値が、最も大きい
値に設定され、設定番号5に示される閾値Eに向かっ
て、段階的に値が小さくなるように設定されている。
The two-dimensional code 101 is imaged by the CCD video camera 23, and the resulting image data for one frame is processed by the processing unit 82 and stored in the VRAM 81 A of the graphic chip 81. When the two-dimensional code recognition program 56D stored in the program is activated, in step S1,
The CPU 52 initializes 1 to a value of a counter i that counts the setting of a threshold value indicating a predetermined luminance value. In this example, as shown in FIG. 14, the threshold value is set in five levels. The value of the threshold value A indicated by the setting number 1 is set to the largest value, and the value is set so as to gradually decrease toward the threshold value E indicated by the setting number 5.

【0057】ステップS2において、CPU52は、カウ
ンタiの値に対応する設定番号の閾値に基づいて、VRAM
81Aに記憶されている画像データに対して2値化処理
を行う。ここで、閾値より大きい輝度を保持する画素の
画素値は、”0”に符号化され、表示上、その画素は白
色とされる。以下においては、このように、画素値が”
0”に符号化された画素を、白色画素と称する。
In step S2, the CPU 52 sets the VRAM based on the threshold of the set number corresponding to the value of the counter i.
A binarization process is performed on the image data stored in 81A. Here, the pixel value of the pixel holding the luminance larger than the threshold value is coded to “0”, and the pixel is set to white on display. In the following, the pixel value is
Pixels coded to 0 "are referred to as white pixels.

【0058】一方、閾値以下の輝度値を保持する画素の
画素値は、”1”に符号化され、表示上、その画素は黒
色とされる。以下においては、このように、画素値が”
1”に符号化された画素を、黒色画素と称する。
On the other hand, the pixel value of a pixel holding a luminance value equal to or less than the threshold value is coded as "1", and the pixel is set to black on display. In the following, the pixel value is
Pixels encoded as 1 "are referred to as black pixels.

【0059】次に、ステップS3において、CPU52
は、図15に示すように、黒色画素が連結する領域を1
つの領域として、左上から右下に向かって番号を設定
(ラベリング)する。
Next, in step S3, the CPU 52
Indicates that the region where the black pixels are connected is 1 as shown in FIG.
Numbers are set (labeled) from upper left to lower right as two areas.

【0060】ステップS4において、CPU52は、ステ
ップS3でラベリングした黒色画素連結領域の総数Mを
求め、求めた黒色画素連結領域の総数Mが257個以上
であるか否かを判定し、総数Mが257個以上であると
判定した場合、すなわち、現在、VRAM81Aに記憶され
ている画像フレームが、以降の処理を実行するのに適さ
ない画像であると判定した場合、ステップS5に進む。
ここで、以降の処理を実行するのに適さない画像とは、
いわゆるディザ状の画像と呼ばれる砂粒のような点を多
量に含む画像であり、このようなディザ状の画像に対し
て無理に認識処理を進めようとすると、演算処理に要す
るCPUの負荷が大となってしまう。そこで、このような
ディザ状の画像の場合は、そのまま認識処理を進めず
に、ステップS5へ進むようにしてある。
In step S4, the CPU 52 obtains the total number M of the black pixel connected regions labeled in step S3, and determines whether or not the calculated total number M of the black pixel connected regions is 257 or more. If it is determined that the number is 257 or more, that is, if it is determined that the image frame currently stored in the VRAM 81A is not suitable for performing the subsequent processing, the process proceeds to step S5.
Here, the image that is not suitable for performing the subsequent processing is
This is an image containing a large amount of sand-like points, which is a so-called dithered image.If the recognition process is forcibly advanced on such a dithered image, the CPU load required for arithmetic processing is large. turn into. Therefore, in the case of such a dithered image, the process proceeds to step S5 without directly proceeding with the recognition process.

【0061】ステップS5において、CPU52は、カウ
ンタiの値が、閾値の設定数N(=5)と等しい(i=
5)か否かを判定し、i=5ではないと判定した場合、
ステップS6において、カウンタiの値を1だけ増加し
た後、ステップS2に戻る。ステップS2において、CP
U52は、1つだけ増加されたカウンタiの値に対応す
る設定番号の閾値に基づいて、VRAM81Aに記憶されて
いる画像データに対して、再度、2値化処理を実行す
る。
In step S5, the CPU 52 determines that the value of the counter i is equal to the set number N (= 5) of thresholds (i = 5).
5) It is determined whether or not i is not equal to 5,
In step S6, after the value of the counter i is increased by 1, the process returns to step S2. In step S2, the CP
The U52 executes the binarization process again on the image data stored in the VRAM 81A based on the threshold of the setting number corresponding to the value of the counter i incremented by one.

【0062】上述したように、設定番号1で示される閾
値Aは、最も値が大きい閾値であり、すなわち、この最
も大きい値が2値化処理の閾値とされると、画像データ
の多くの画素の輝度が、閾値Aよりも相対的に小さい値
となり、その結果多くの画素が黒色画素と認識され、こ
れにより、黒色画素連結領域の総数Mも多くなる。そこ
で、ステップS5で、カウンタiの値が1つ増加され、
1段階小さい値の閾値が、次の2値化処理の閾値とされ
ると、黒色画素として認識される画素が少なくなる。
As described above, the threshold value A indicated by the setting number 1 is the threshold value having the largest value. That is, if the largest value is set as the threshold value for the binarization processing, many pixels of the image data Has a relatively smaller value than the threshold value A. As a result, many pixels are recognized as black pixels, thereby increasing the total number M of the black pixel connected regions. Therefore, in step S5, the value of the counter i is increased by one,
If the threshold value that is smaller by one level is set as the threshold value for the next binarization process, the number of pixels recognized as black pixels decreases.

【0063】このように、最初に、より大きい閾値で、
大きい輝度値を基準として2値化処理を行うことより、
フレーム全体が比較的明るい画像に適する2値化処理を
実行することができ、さらに、閾値を段階的に小さく
し、より小さい輝度値を基準として2値化処理を行うこ
とにより、フレーム全体が比較的暗い画像に適する2値
化処理を実行することができる。このように、閾値を5
段階に分け、この閾値を段階的に変更することによっ
て、画像フレーム全体に明るさの変動があった場合であ
っても、常に精度の高い2値化データを生成することが
できるようになっている。
Thus, first, at a larger threshold,
By performing a binarization process based on a large luminance value,
A binarization process suitable for an image in which the entire frame is relatively bright can be executed. Further, the threshold value is reduced stepwise, and the binarization process is performed based on a smaller luminance value. A binarization process suitable for a dark image can be executed. Thus, a threshold of 5
By dividing the threshold into stages and changing this threshold in stages, even when the brightness of the entire image frame fluctuates, it is possible to always generate highly accurate binary data. I have.

【0064】ステップS5において、CPU52は、i=
5であると判定した場合、すなわち、閾値A乃至Eのい
ずれの閾値によっても、適当な総数Mの黒色画素連結領
域が生成されない場合、この1フレーム分の画素データ
には、2次元コード101が存在しないものと判定した
場合、処理が終了される。
In step S5, the CPU 52 sets i =
When the pixel data is determined to be 5, that is, when an appropriate total number M of black pixel connected areas is not generated by any of the thresholds A to E, the two-dimensional code 101 is included in the pixel data for one frame. If it is determined that the file does not exist, the process ends.

【0065】ステップS4において、CPU52は、黒色
画素連結領域の総数Mが257個より少ないと判定した
場合、ステップS7に進む。
In step S4, when the CPU 52 determines that the total number M of the black pixel connected regions is smaller than 257, the process proceeds to step S7.

【0066】ステップS7において、CPU52は、以前
に実行された2次元コード認識処理により認識された2
次元コード101のLCD21の表示上の位置、例えば、
ロゴマークセル部301の中央点が、RAM54などに記
憶されているか否かを判定し、それが記憶されている場
合、ステップS8に進み、記憶されている点をロゴマー
クセル部検出処理の開始点に設定する。ステップS7
で、2次元コード101の位置が記憶されていないと判
定した場合、ステップS9に進み、CPU52は、320
×240画素のLCD21の表示上の中心点(例えば、X
軸方向に160番目であり、Y軸方向に120番目の画
素)を開始点に設定する。このようにすることより、ロ
ゴマークセル部301を効率的に検出することができ
る。
In step S7, the CPU 52 determines whether the two-dimensional code recognized by the two-dimensional code
Position of the dimension code 101 on the display of the LCD 21, for example,
It is determined whether or not the center point of the logo mark cell portion 301 is stored in the RAM 54 or the like. If it is stored, the process proceeds to step S8, and the stored point is determined to start the logo mark cell portion detection processing. Set to a point. Step S7
If it is determined that the position of the two-dimensional code 101 is not stored, the process proceeds to step S9, where the CPU 52
A center point (for example, X
The 160th pixel in the axial direction and the 120th pixel in the Y-axis direction) are set as the starting points. By doing so, the logo mark cell portion 301 can be efficiently detected.

【0067】次に、ステップS10において、ロゴマー
クセル部検出処理が実行される。ステップS10におけ
るロゴマークセル部検出処理の詳細を、図16のフロー
チャートを参照して説明する。
Next, in step S10, a logo mark cell part detecting process is executed. Details of the logo mark cell part detection processing in step S10 will be described with reference to the flowchart in FIG.

【0068】はじめに、ステップS21において、CPU
52は、黒色画素連結領域の総数Mをカウントするカウ
ンタjの値を1に初期設定し、次に、ステップS22に
おいて、図13のステップS8およびステップS9で設
定された開始点から、LCD21の画面上を左回りの渦巻
の軌跡に沿って、黒色画素連結領域を探索し、始めに検
出した黒色画素連結領域をロゴマークセル部候補領域と
して選択する。
First, in step S21, the CPU
52 initializes the value of a counter j for counting the total number M of the black pixel connected areas to 1 and then, in step S22, starts from the start point set in steps S8 and S9 in FIG. A black pixel connection area is searched for along the leftward spiral trajectory above, and the first detected black pixel connection area is selected as a logo mark cell part candidate area.

【0069】次に、ステップS23において、CPU52
は、ステップS22で選択したロゴマークセル部候補領
域の、図3に示したようなロゴマークセル部301の辺
Aおよび辺Bに対応する辺ATおよび辺BTを決定する。
辺ATは、図17に示すように、黒色画素連結領域がLCD
21の画像上のX軸上に投影されて形成される線(X軸
投影線)と、Y軸上に投影されて形成される線(Y軸投
影線)のうち、長い方の線とする。辺BTは、他方の短
い方の線とする。
Next, in step S23, the CPU 52
Determines sides AT and BT corresponding to sides A and B of the logo mark cell section 301 as shown in FIG. 3 in the logo mark cell section candidate area selected in step S22.
As shown in FIG. 17, the side AT has a black pixel connection region of an LCD.
The longer one of the line projected on the X-axis (X-axis projection line) and the line projected on the Y-axis (Y-axis projection line) on the image 21 . The side BT is the other shorter line.

【0070】次に、ステップS24において、CPU52
は、短軸に対応する辺BTが20画素より少ない画素で
構成されているか否かを判定する。例えば、短軸(辺
B)が20画素より少ない画素で構成されている黒色画
素連結領域がロゴマークセル部301であるとすると、
図2に示したように、1ブロックの一辺の長さは、辺B
の長さとの比が1対1.5であるため、さらに少ない数
の画素から構成されるようになり、この場合、最小セル
(1×1ブロック領域のセル)が小さくなり、LCD21
に適切に表示されなくなる。このことより、ステップS
24において、辺BTが20画素より少ない画素で構成
されていると判定された場合、今回ステップS22で選
択された黒色画素連結領域は、ロゴマークセル部301
ではないとされ、ステップS25に進み、CPU52は、
カウンタjの値が、黒色画素連結領域の総数Mと等しい
(j=M)か否かを判定し、j=Mではないと判定した
場合、ステップS26に進み、カウンタjの値を1だけ
増加した後、ステップS22に戻る。そして、CPU52
は、次の黒色画素連結領域を、次のロゴマークセル部候
補領域として、同様の処理を行う。
Next, at step S24, the CPU 52
Determines whether the side BT corresponding to the short axis is composed of less than 20 pixels. For example, assuming that a black pixel connection region in which the short axis (side B) is composed of less than 20 pixels is the logo mark cell portion 301,
As shown in FIG. 2, the length of one side of one block is the side B
Since the ratio to the length is 1: 1.5, the pixel is composed of a smaller number of pixels. In this case, the minimum cell (cell in the 1 × 1 block area) becomes smaller, and
Will not be displayed properly. From this, step S
In 24, if it is determined that the side BT is composed of less than 20 pixels, the black pixel connected area selected in step S22 is the logo mark cell unit 301
Is not determined, the process proceeds to step S25, and the CPU 52
It is determined whether or not the value of the counter j is equal to the total number M of the black pixel connected regions (j = M). If it is not determined that j = M, the process proceeds to step S26, and the value of the counter j is increased by one. After that, the process returns to step S22. And the CPU 52
Performs the same processing with the next black pixel connection area as the next logo mark cell part candidate area.

【0071】ステップS24において、ステップS22
で選択されたロゴマークセル部候補領域の辺BTが20
画素と等しいか、またはそれより多い画素で構成されて
いると判定された場合、ステップS27に進み、CPU5
2は、ロゴマークセル部候補領域の辺ATが300画素
より多い画素で構成されているか否かを判定する。例え
ば、長軸(辺A)が300画素より多い画素で構成され
ている黒色画素連結領域がロゴマークセル部301であ
るとすると、図2に示したように、辺Aの長さが7に対
して1の割合で求められる1ブロックの一辺の長さが大
きくなり、図4に示したように、ロゴマークセル部30
1から、7ブロック分離れて位置する左上コーナーセル
および右上コーナーセルが、LCD21上に表示されなく
なる。このことより、ステップS27において、辺AT
が300画素より多い画素で構成されていると判定され
た場合、今回ステップS22で選択された黒色画素連結
領域は、ロゴマークセル部301ではないとされ、ステ
ップS25に進み、それ以降の処理が行われる。
In step S24, step S22
The side BT of the logo mark cell part candidate area selected in step is 20
If it is determined that the pixel is composed of pixels equal to or more than the pixel, the process proceeds to step S27 and the CPU 5
No. 2 determines whether the side AT of the logo mark cell part candidate area is composed of more than 300 pixels. For example, assuming that the black pixel connection area in which the long axis (side A) is composed of more than 300 pixels is the logo mark cell portion 301, the length of the side A becomes 7 as shown in FIG. On the other hand, the length of one side of one block obtained at a ratio of 1 is increased, and as shown in FIG.
The upper left corner cell and the upper right corner cell located 7 blocks apart from 1 are not displayed on the LCD 21. Accordingly, in step S27, the side AT
Is determined to be composed of more than 300 pixels, it is determined that the black pixel connected region selected this time in step S22 is not the logo mark cell unit 301, and the process proceeds to step S25. Done.

【0072】ステップS27において、ステップS22
で選択されたロゴマークセル部候補領域の辺ATが30
0画素より多い画素で構成されていない(300画素以
下の画素で構成されている)と判定された場合、ステッ
プS28に進み、CPU52は、ロゴマークセル部候補領
域の黒色画素の総数が、20画素以上かつ1500画素
未満であるか否かを判定し、20画素以上かつ1500
画素未満であると判断した場合、ステップS29に進
む。
In step S27, in step S22
The side AT of the logo mark cell part candidate area selected in step is 30
If it is determined that the pixel is not composed of more than 0 pixels (composed of pixels of 300 pixels or less), the process proceeds to step S28, and the CPU 52 determines that the total number of black pixels in the logo mark cell candidate area is 20 It is determined whether the number of pixels is equal to or more than 1500 pixels and less than 1500 pixels.
If it is determined that the number is less than the pixel, the process proceeds to step S29.

【0073】一方、ステップS28において、ロゴマー
クセル部候補領域の黒色画素の総数が20画素未満、ま
たは1500画素以上であると判定された場合、ステッ
プS25に進む。なお、黒色画素の総数が、20画素未
満の場合、ステップS24において辺BTが20画素よ
り少ない画素で構成された場合と同様の問題が発生し、
また、1500画素以上である場合、ステップS27に
おいて辺ATが300画素より多い画素で構成された場
合と同様の問題が発生し、いずれの場合も、ロゴマーク
セル部301である可能性が小さくなる。
On the other hand, if it is determined in step S28 that the total number of black pixels in the logo mark cell candidate region is less than 20, or greater than 1500, the process proceeds to step S25. If the total number of black pixels is less than 20 pixels, the same problem as in the case where the side BT is composed of less than 20 pixels occurs in step S24,
If the number of pixels is 1500 or more, the same problem as in the case where the side AT is composed of more than 300 pixels in step S27 occurs, and in any case, the possibility of being the logo mark cell portion 301 is reduced. .

【0074】次に、ステップS29において、CPU52
は、ステップS22で選択したロゴマークセル部候補領
域の方形らしさ(fitness)を判定し、方形であ
ると判定した場合、ステップS30に進む。この例の場
合、式(1)に基づいて算出されるfitnessが、
0.2以上である場合、ロゴマークセル部候補領域は方
形であると判定される。
Next, in step S29, the CPU 52
Determines the squareness (fitness) of the logo mark cell part candidate area selected in step S22, and if it is determined that the area is a square, the process proceeds to step S30. In the case of this example, the fitness calculated based on the equation (1) is
If it is 0.2 or more, the logo mark cell part candidate area is determined to be rectangular.

【0075】[0075]

【数1】 (Equation 1)

【0076】式(1)の定数aは、式(2)に基づい
て、定数cは、式(3)に基づいて、そして定数b/2
は、式(4)に基づいて求められる、いわゆる、モーメ
ント特徴のうちの2次元モーメントである。
The constant a in the equation (1) is based on the equation (2), the constant c is based on the equation (3), and the constant b / 2
Is a two-dimensional moment of the so-called moment feature obtained based on the equation (4).

【0077】[0077]

【数2】 (Equation 2)

【0078】[0078]

【数3】 (Equation 3)

【0079】[0079]

【数4】 (Equation 4)

【0080】式(2)乃至式(4)のf(i,j)は、
LCD21の表示上の画素のX座標iと、Y座標jにより
特定される画素が黒色の場合、1となり、また、特定さ
れる画素が白色の場合、0となる関数である。
F (i, j) in equations (2) to (4) is
This function is 1 when the pixel specified by the X coordinate i and the Y coordinate j of the pixel on the LCD 21 is black, and becomes 0 when the specified pixel is white.

【0081】ステップS30において、CPU52は、ス
テップS29で方形とされたロゴマークセル部候補領域
の長軸と短軸の比を、式(5)に基づいて算出し、算出
結果が2.0以上かつ25以下であるか否かを判定す
る。
In step S30, the CPU 52 calculates the ratio between the major axis and the minor axis of the logo mark cell part candidate area squared in step S29 based on the equation (5). And it is determined whether it is 25 or less.

【0082】[0082]

【数5】 (Equation 5)

【0083】算出結果が2.0以上かつ25以下である
と判定された場合、ステップS31に進み、CPU52
は、ステップS22で選択したロゴマークセル部候補領
域をロゴマークセル部301として設定(仮定)し、例
えば、ロゴマークセル部候補領域とされた黒色画素連結
領域の番号を、RAM54に記憶させる。このようにし
て、ロゴマークセル部301は検出され、処理は終了さ
れる。
If it is determined that the calculation result is not less than 2.0 and not more than 25, the process proceeds to step S31, and the CPU 52
Sets (assumes) the logo mark cell part candidate area selected in step S22 as the logo mark cell part 301, and causes the RAM 54 to store, for example, the number of the black pixel connected area that is the logo mark cell part candidate area. In this way, the logo mark cell section 301 is detected, and the processing ends.

【0084】ステップS28において、黒色画素の総数
が20画素未満、または1500画素以上であると判定
された場合、ステップS29において、ロゴマークセル
部候補領域が方形ではないと判定された場合、またはス
テップS30において、辺ATと辺BTの比が2.0未満
または25より大きいと判定された場合、今回ステップ
S22で選択されたロゴマークセル部候補領域は、ロゴ
マークセル部301ではないとされ、ステップS25に
進み、次に検出された黒色画素連結領域が次のロゴマー
クセル部候補領域とされ、以降の処理が行われる。
If it is determined in step S28 that the total number of black pixels is less than 20 pixels or 1500 pixels or more, if it is determined in step S29 that the logo mark cell part candidate area is not rectangular, or In S30, when it is determined that the ratio of the side AT to the side BT is less than 2.0 or greater than 25, the logo mark cell part candidate area selected this time in step S22 is determined not to be the logo mark cell part 301, Proceeding to step S25, the next detected black pixel connected area is set as the next logo mark cell part candidate area, and the subsequent processing is performed.

【0085】ステップS25において、カウンタjの値
が黒色画素連結領域の総数Mと等しい(j=M)と判定
された場合、ステップS31でロゴマークセル部301
が設定されず、処理は終了される。すなわち、今回2次
元コード認識処理の対象とされた画像データ(1フレー
ム)には、ロゴマークセル部301が存在しないものと
される。
If it is determined in step S25 that the value of the counter j is equal to the total number M of the black pixel connected areas (j = M), the logo mark cell unit 301 is determined in step S31.
Is not set, and the process ends. That is, the image data (one frame) subjected to the two-dimensional code recognition process this time does not include the logo mark cell unit 301.

【0086】以上のようにして、ロゴマークセル部検出
処理が完了したとき、次に、図13のステップS11に
進む。
As described above, when the logo mark cell portion detection processing is completed, the process proceeds to step S11 in FIG.

【0087】ステップS11において、ステップS10
でロゴマークセル部301が検出されたか否かが判定さ
れ、検出されたと判定された場合、ステップS12に進
み、コード部検出処理が実行される。ステップS12に
おけるコード部検出処理の詳細を、図18のフローチャ
ートを参照して説明する。
In step S11, step S10
It is determined whether or not the logo mark cell portion 301 has been detected, and if it is determined that the logo mark cell portion 301 has been detected, the process proceeds to step S12, and a code portion detection process is executed. The details of the code part detection processing in step S12 will be described with reference to the flowchart in FIG.

【0088】はじめに、ステップS41において、CPU
52は、図13のステップS3で検出した黒色画素連結
領域の総数Mをカウントするカウンタjの値を1に初期
設定し、ステップS42において、その値に対応する番
号の黒色画素連結領域を検出し、それを左上コーナーセ
ル候補領域として選択する。
First, in step S41, the CPU
52 initializes the value of a counter j for counting the total number M of the black pixel connected areas detected in step S3 of FIG. 13 to 1, and detects a black pixel connected area of a number corresponding to the value in step S42. , And select it as the upper left corner cell candidate area.

【0089】次に、ステップS43において、CPU52
は、ステップS42で選択した左上コーナーセル候補領
域の、図17に示したようにして決定した辺ATおよび
辺BTの長さの比が3倍以下であるか否かを判定し、そ
の比が3倍以下であると判定した場合、ステップS44
に進む。
Next, in step S43, the CPU 52
Determines whether the ratio of the lengths of the side AT and the side BT determined as shown in FIG. 17 of the upper left corner cell candidate area selected in step S42 is 3 times or less, and If it is determined that it is three times or less, step S44
Proceed to.

【0090】ステップS44において、CPU52は、ス
テップS42で選択した左上コーナーセル候補領域が、
図13のステップS10で検出したロゴマークセル部3
01に対して予め設定された探索範囲内に存在するか否
かを判定し、探索範囲内に存在すると判定した場合、ス
テップS45に進み、それを左上コーナーセルとして設
定(仮定)する。
In step S44, the CPU 52 determines that the upper left corner cell candidate area selected in step S42 is
Logo mark cell part 3 detected in step S10 in FIG.
It is determined whether or not it is within a search range set in advance for 01, and if it is determined that it is within the search range, the process proceeds to step S45, where it is set (assumed) as an upper left corner cell.

【0091】ステップS43において、辺ATの長さに
対する辺BTの長さの比が3倍より大きいと判定された
場合、または、ステップS44において、探索範囲内に
存在しないと判定された場合、ステップS42で選択さ
れた黒色画素連結領域は、左上コーナーセルではないと
判定され、ステップS46に進み、カウンタjの値が黒
色画素連結領域の総数Mに等しい(j=M)か否かが判
定され、j=Mではないと判定された場合、ステップS
47に進み、カウンタjの値が1だけ増加され、ステッ
プS42に戻る。そして、次の番号の黒色画素連結領域
が、次の左上コーナーセル候補領域とされ、同様の処理
が行われる。
If it is determined in step S43 that the ratio of the length of the side BT to the length of the side AT is greater than three times, or if it is determined in step S44 that it is not within the search range, the process proceeds to step S44. It is determined that the black pixel connected area selected in S42 is not the upper left corner cell, and the process proceeds to step S46, where it is determined whether the value of the counter j is equal to the total number M of the black pixel connected areas (j = M). , J = M, it is determined in step S
Proceeding to 47, the value of the counter j is increased by 1 and the process returns to step S42. Then, the black pixel connected area of the next number is set as the next upper left corner cell candidate area, and the same processing is performed.

【0092】ステップS45において、左上コーナーセ
ルが設定されると、ステップS48に進み、CPU52
は、黒色画素連結領域の番号をカウントする他のカウン
タkに2を初期設定し、次に、ステップS49におい
て、カウンタkの値に対応する番号の黒色画素連結領域
を検出し、それを右上コーナーセル候補領域として選択
する。
When the upper left corner cell is set in step S45, the process proceeds to step S48, where the CPU 52
Initializes 2 to another counter k for counting the number of the black pixel connected area, and then detects a black pixel connected area having a number corresponding to the value of the counter k in step S49, and places it in the upper right corner. Select as a cell candidate area.

【0093】次に、ステップS50において、CPU52
は、ステップS45で設定した左上コーナーセルの画素
数(面積)と、ステップS49で選択した右上コーナー
セル候補領域の画素数(面積)の比を算出し、その比
(面積比)が6倍以下であるか否かを判定し、6倍以下
であると判定した場合、ステップS51に進む。
Next, in step S50, the CPU 52
Calculates the ratio of the number of pixels (area) of the upper left corner cell set in step S45 to the number of pixels (area) of the upper right corner cell candidate area selected in step S49, and the ratio (area ratio) is 6 times or less. Is determined, and when it is determined that it is six times or less, the process proceeds to step S51.

【0094】ステップS51において、CPU52は、ス
テップS45で設定した左上コーナーセルの面積(画素
数)(S1)、ステップS49で選択した右上コーナー
セル候補領域の面積(画素数)(S2)、およびその左
上コーナーセルの中心点とその右上コーナーセル候補領
域の中心点との距離(D)を算出し、式(6)および式
(7)が成立するか否かを判定する。
In step S51, the CPU 52 sets the area (number of pixels) of the upper left corner cell set in step S45 (number of pixels) (S1), the area (number of pixels) of the upper right corner cell candidate area selected in step S49 (number of pixels) (S2), and The distance (D) between the center point of the upper left corner cell and the center point of the upper right corner cell candidate area is calculated, and it is determined whether Expressions (6) and (7) hold.

【0095】(S1/D2)<=900 ・・・(6) (S2/D2)<=900 ・・・(7) ステップS51において、式(6)および式(7)が成
立すると判定された場合、ステップS52に進み、CPU
52は、ステップS49で選択した右上コーナーセル候
補領域を右上コーナーセルとして設定(仮定)する。
(S1 / D2) <= 900 (6) (S2 / D2) <= 900 (7) In step S51, it is determined that the equations (6) and (7) hold. In this case, the process proceeds to step S52 and the CPU
52 sets (assumes) the upper right corner cell candidate area selected in step S49 as the upper right corner cell.

【0096】ステップS52において、右上コーナーセ
ルが設定(仮定)されると、ステップS55において、
CPU52は、ステップS45で設定した左上コーナーセ
ル、ステップS52で設定した右上コーナーセル、およ
び図13のステップS10で設定されたロゴマークセル
部301により形成される領域を、LCD21の画面上の
X軸方向に7ブロック分の長さ、そしてY軸方向に9.
5ブロック分の領域になるようにアフィン変換する。な
お、1ブロックの一辺の長さは、ステップS10で設定
されたロゴマークセル部301の辺ATまたは辺BTに基
づいて算出される。
When the upper right corner cell is set (assumed) in step S52, in step S55
The CPU 52 converts the area formed by the upper left corner cell set in step S45, the upper right corner cell set in step S52, and the logo mark cell part 301 set in step S10 in FIG. 8. A length of 7 blocks in the direction, and 9.
Affine transformation is performed so that the area becomes 5 blocks. Note that the length of one side of one block is calculated based on the side AT or the side BT of the logo mark cell portion 301 set in step S10.

【0097】次に、ステップS56において、CPU52
は、ステップS55で変換した画像から、図13のステ
ップS10で設定したロゴマークセル部分301とそれ
に対応して存在するノンセル部302に相当する領域
(7×2.5ブロック領域)を削除し、その結果得られ
た7×7ブロック領域の範囲に、黒色画素連結領域をセ
ルとしてマッピングし、コードマップを生成する。
Next, in step S56, the CPU 52
Deletes the area (7 × 2.5 block area) corresponding to the logo mark cell portion 301 set in step S10 of FIG. 13 and the corresponding non-cell portion 302 from the image converted in step S55, The black pixel connection region is mapped as a cell in the range of the obtained 7 × 7 block region, and a code map is generated.

【0098】ステップS57において、CPU52は、ス
テップS56で生成したコードマップのセルのうち、4
角のセルを検出し、その周りの3ブロック領域が、白色
画素とされているか否かを判定し、白色画素とされてい
ると判定した場合、ステップS58に進み、ステップS
56で生成したコードマップを2次元コード101のコ
ード部202と設定(仮定)する。このようにして、コ
ード部202が検出されると、処理は終了される。
In step S57, the CPU 52 selects 4 of the cells of the code map generated in step S56.
The corner cell is detected, and it is determined whether or not the three block areas around the corner cell are white pixels. If it is determined that the three pixels are white pixels, the process proceeds to step S58 and proceeds to step S58.
The code map generated in 56 is set (assumed) as the code part 202 of the two-dimensional code 101. When the code section 202 is detected in this way, the processing is terminated.

【0099】ステップS50において、面積比が6倍よ
り大きいと判定された場合、ステップS51において、
式(6)および式(7)が成立しないと判定された場
合、またはステップS57において、4角のセルの周り
の3ブロック領域が白色画素ではないと判定された場
合、ステップS53に進み、カウンタkの値が黒色画素
連結領域の総数Mに等しい(k=M)か否かが判定さ
れ、k=Mではないと判定された場合、ステップS54
に進み、カウンタkの値が1だけ増加され、ステップS
49に戻る。そして次の番号の黒色画素連結領域が、次
の右上コーナーセル候補領域とされ、同様の処理が行わ
れる。
If it is determined in step S50 that the area ratio is larger than six times, in step S51,
If it is determined that Expressions (6) and (7) do not hold, or if it is determined in Step S57 that the three block areas around the square cell are not white pixels, the process proceeds to Step S53, and the counter proceeds to Step S53. It is determined whether or not the value of k is equal to the total number M of the black pixel connected regions (k = M). If it is determined that k is not M, step S54 is performed.
And the value of the counter k is incremented by 1, and the
Return to 49. Then, the black pixel connected area of the next number is set as the next upper right corner cell candidate area, and the same processing is performed.

【0100】ステップS53において、カウンタkの値
が黒色画素連結領域の総数Mと等しいと判定された場
合、ステップS46に戻り、ステップS46の処理にお
いて、j=Mでないと判定された場合、ステップS47
に進み、カウンタjの値が1だけ増加され、ステップS
42に戻り、次の番号の黒色画素連結領域が、次の左上
コーナーセル候補領域として選択され、それ以降の処理
が行われる。
If it is determined in step S53 that the value of the counter k is equal to the total number M of the black pixel connected regions, the process returns to step S46. If it is determined in step S46 that j is not equal to M, the process proceeds to step S47.
And the value of the counter j is incremented by 1, and the
Returning to 42, the next numbered black pixel connected area is selected as the next upper left corner cell candidate area, and the subsequent processing is performed.

【0101】ステップS46において、j=Mと判定さ
れた場合、今回2次元コード認識処理の対象となってい
る画像には、2次元コード101が存在しないものとさ
れ、処理は終了される。
If it is determined in step S46 that j = M, it is determined that the two-dimensional code 101 does not exist in the image currently subjected to the two-dimensional code recognition processing, and the processing ends.

【0102】以上のようにして、コード部検出処理が完
了すると、図13のステップS13に進む。ステップS
13において、ステップS12でコード部202が検出
されたか否かが判定され、検出されたと判定された場
合、ステップS14に進み、コードデータ検証処理が実
行される。ステップS14のコードデータ検証処理の詳
細を、図19のフローチャートを参照して説明する。
When the code part detecting process is completed as described above, the process proceeds to step S13 in FIG. Step S
In step 13, it is determined whether or not the code section 202 has been detected in step S12. If it is determined that the code section 202 has been detected, the process proceeds to step S14, where code data verification processing is executed. Details of the code data verification processing in step S14 will be described with reference to the flowchart in FIG.

【0103】はじめに、ステップS61において、CPU
52は、後述するステップS63およびステップS65
で算出される基準値を、1ビット右方向にシフトする回
数をカウントするカウンタpの値を1に初期設定する。
First, in step S61, the CPU
52 corresponds to step S63 and step S65 described later.
Initializes the value of a counter p that counts the number of times the reference value calculated by 1 is shifted rightward by one to 1.

【0104】次に、ステップS62において、CPU52
は、図13のステップS12で検出されたコード部20
2のコードマップから、コードデータおよびチェックデ
ータの値を算出する。
Next, in step S62, the CPU 52
Is the code part 20 detected in step S12 of FIG.
The values of the code data and the check data are calculated from the code map of No. 2.

【0105】ステップS63において、CPU52は、ス
テップS62で算出したコードデータの値(ビットスト
リーム)と、0xFFFFFFとの排他的論理和演算を
行い、その結果得られた値(ビットストリーム)を基準
値(基準ビットストリーム)とする。ステップS64に
おいて、CPU52は、基準ビットストリームのLSB(Least
Significant Bit)に”1”が立っているか否かを判定
し、”1”が立っていないと判定した場合、ステップS
65に進む。
In step S63, the CPU 52 performs an exclusive OR operation on the code data value (bit stream) calculated in step S62 and 0xFFFFFF, and uses the resulting value (bit stream) as a reference value (bit stream). Reference bit stream). In step S64, the CPU 52 determines the LSB (Least
It is determined whether or not “1” is set in the Significant Bit). If it is determined that “1” is not set, step S
Proceed to 65.

【0106】ステップS65において、CPU52は、ス
テップS63で算出した基準値(基準ビットストリー
ム)と、0x8408との排他的論理和演算を行い、そ
の結果得られた値(ビットストリーム)を新たな基準値
(基準ビットストリーム)とし、ステップS66に進
む。
In step S65, the CPU 52 performs an exclusive OR operation on the reference value (reference bit stream) calculated in step S63 and 0x8408, and obtains the resulting value (bit stream) as a new reference value. (Reference bit stream), and the process proceeds to step S66.

【0107】ステップS64において、CPU52は、ス
テップS63で算出した基準値(基準ビットストリー
ム)のLSBに”1”が立っていると判定した場合、ス
テップS65の処理をスキップし、ステップS66に進
む。
In step S64, if the CPU 52 determines that “1” is set in the LSB of the reference value (reference bit stream) calculated in step S63, it skips the processing in step S65 and proceeds to step S66.

【0108】ステップS66において、CPU52は、ス
テップS63またはステップS65において算出した基
準値(基準ビットストリーム)を1ビットだけ右にシフ
トさせ、ステップS67に進み、カウンタpの値が、2
4(予め決められたシフトの回数)に等しい(p=2
4)か否かを判定し、p=24ではないと判定した場
合、ステップS68に進み、カウンタpの値を1だけ増
加した後、ステップS64に戻る。以下、同様の処理
が、ステップS67においてp=24であると判定され
るまで、繰り返し実行させる。
In step S66, the CPU 52 shifts the reference value (reference bit stream) calculated in step S63 or S65 rightward by one bit, and proceeds to step S67, where the value of the counter p is set to 2
4 (predetermined number of shifts) (p = 2
4) It is determined whether or not p is not 24, and the process proceeds to step S68, where the value of the counter p is increased by 1 and then returns to step S64. Hereinafter, the same process is repeatedly executed until it is determined in step S67 that p = 24.

【0109】ステップS67において、CPU52は、p
=24であると判定した場合、ステップS69に進み、
ステップS64乃至S68の処理により算出されたビッ
トストリームと、0x1FFとの論理積演算を行う。次
に、ステップ70において、CPU52は、ステップS6
9における論理積演算より得られ値が、ステップS62
で算出したチェックデータの値と等しいか否かを判定
し、等しいと判定した場合、図13のステップS13で
検出されたコード部202は、2次元コード101とし
て適正なパターンであるとし、ステップS71におい
て、2次元コード101のコード部202を確定する。
その後、処理は終了される。
In step S67, the CPU 52 sets p
= 24, the process proceeds to step S69,
The logical product of the bit stream calculated by the processing of steps S64 to S68 and 0x1FF is performed. Next, in step 70, the CPU 52 determines in step S6
9, the value obtained from the logical product operation is calculated in step S62.
It is determined whether or not the value is equal to the value of the check data calculated in the step. If it is determined that the value is equal to the value, the code unit 202 detected in step S13 in FIG. , The code part 202 of the two-dimensional code 101 is determined.
Thereafter, the processing is terminated.

【0110】ステップS70において、ステップS69
で算出された値と、ステップS62で算出されたチェッ
クデータの値とが等しくないと判定された場合、ステッ
プS71の処理がスキップされ、処理は終了される。
In step S70, step S69
When it is determined that the value calculated in step S62 is not equal to the value of the check data calculated in step S62, the process of step S71 is skipped, and the process ends.

【0111】以上のようにして、コードデータ検証処理
が完了されると、図13のステップS15に進み、図1
9のステップS71でコード部202が確定されたか否
かが判定され、確定されていると判定された場合、ステ
ップS16に進み、CPU52は、図19のステップS6
2で算出したコードデータの値、すなわち、2次元コー
ド101の値を、例えば、RAM54に記憶させ、保持す
る。その後、処理は終了される。
As described above, when the code data verification processing is completed, the process proceeds to step S15 in FIG.
It is determined in step S71 of step 9 whether or not the code section 202 has been determined. If it is determined that the code section 202 has been determined, the process proceeds to step S16, and the CPU 52 proceeds to step S6 of FIG.
The value of the code data calculated in step 2, ie, the value of the two-dimensional code 101, is stored and held in the RAM 54, for example. Thereafter, the processing is terminated.

【0112】ステップS11において、ロゴマークセル
部301が検出されていないと判定された場合、ステッ
プS13において、コード部202が検出されていない
と判定された場合、またはステップS15において、コ
ード部202が確定されていないと判定された場合、今
回2次元コード認識処理の対象とされた画像データに
は、2次元コード101が存在しないものとされ、処理
は終了される。
In step S11, when it is determined that the logo mark cell portion 301 has not been detected, in step S13, it is determined that the code portion 202 has not been detected, or in step S15, the code portion 202 has been detected. If it is determined that the two-dimensional code has not been determined, it is determined that the two-dimensional code 101 does not exist in the image data targeted for the two-dimensional code recognition process this time, and the process ends.

【0113】このように、例えば、ロゴマークなどの2
次元コード101の属性等を表示するロゴマークセル部
301を認識処理の基準として利用し、コード部202
を検出するようにしたので、2次元コード101の占有
面積を最小限に抑えることができる。すなわち、ロゴマ
ークセル部301には、基準を示す機能に加えて、ロゴ
マークや文字などを表示する機能を付与しているので、
最小限の占有面積で、認識処理の基準に必要な情報と、
可読情報とを同時に提示することが可能である。
As described above, for example, a logo mark or the like
A logo mark cell unit 301 for displaying the attribute of the dimensional code 101 is used as a reference for recognition processing, and a code unit 202 is used.
Is detected, the area occupied by the two-dimensional code 101 can be minimized. That is, the logo mark cell unit 301 is provided with a function of displaying a logo mark, a character, and the like in addition to the function of indicating the reference.
With the minimum occupied area, the information required for recognition processing standards,
It is possible to simultaneously present the readable information.

【0114】なお、上述した一連の処理を実行するプロ
グラムをコンピュータにインストールし、コンピュータ
によって実行可能な状態とするために用いられる媒体と
しては、例えば、フロッピーディスク、CD-ROM、DVDな
どのパッケージメディアのみならず、プログラムが一時
的もしくは永続的に格納される半導体メモリや磁気ディ
スクなどで実現してもよく、さらには、ローカルエリア
ネットワークやインターネット、デジタル衛星放送など
の有線および無線通信媒体、およびこれらの通信媒体を
介して提供されるプログラムを転送もしくは受信するル
ーターやモデム等の各種通信インターフェイスで実現し
てもよく、本願明細書における媒体とは、これら全ての
媒体を含む広義の概念を意味するものである。
A medium used to install a program for executing the above-described series of processes in a computer and to make the computer executable can be, for example, a package medium such as a floppy disk, a CD-ROM, or a DVD. Not only that, the program may be realized by a semiconductor memory or a magnetic disk in which the program is temporarily or permanently stored, and furthermore, a wired and wireless communication medium such as a local area network, the Internet, and digital satellite broadcasting, and the like. May be realized by various communication interfaces such as a router or a modem that transfers or receives a program provided via the communication medium of the present invention, and the medium in the present specification means a broad concept including all these media. Things.

【0115】[0115]

【発明の効果】請求項1に記載の2次元コード認識処理
方法、請求項13に記載の2次元コード認識処理装置、
および請求項18に記載の2次元コード認識処理プログ
ラムをコンピュータに実行させる媒体によれば、外部か
ら取り込まれた画像情報から、所定の閾値に基づいて2
値化データが生成され、この2値化データに基づいて、
2次元コードを認識する上で基準となる基準セルが検出
され、さらに基準セルを基準として、所定の探索範囲内
に存在するコーナーセルが検出され、これら基準セルと
コーナーセルとによって囲まれるコード部の領域内に存
在する2次元コードに割り当てられたコードデータが検
出されるようにしたので、2次元コードの画像データか
らコードデータを、効率よくかつ正確に認識することが
できる。さらに、この基準セルに、ロゴマークなどの2
次元コードの属性等を表示する機能を付与することで、
最小限の占有面積で、認識処理の基準に必要な情報と、
可読情報とを同時に提示することが可能となる。
The two-dimensional code recognition processing method according to claim 1, the two-dimensional code recognition processing device according to claim 13,
According to the medium for causing a computer to execute the two-dimensional code recognition processing program according to claim 18, the two-dimensional code recognition processing is performed based on a predetermined threshold from image information taken in from the outside.
The binarized data is generated, and based on the binarized data,
A reference cell serving as a reference for recognizing the two-dimensional code is detected. Further, a corner cell existing within a predetermined search range is detected with reference to the reference cell, and a code section surrounded by the reference cell and the corner cell Since the code data assigned to the two-dimensional code existing in the area is detected, the code data can be efficiently and accurately recognized from the image data of the two-dimensional code. In addition, this reference cell contains two
By adding the function to display the attribute of dimension code, etc.,
With the minimum occupied area, the information required for the recognition processing standard,
It becomes possible to present the readable information at the same time.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明を適用したパーソナルコンピュータ1の
使用例を表している。
FIG. 1 shows a usage example of a personal computer 1 to which the present invention is applied.

【図2】2次元コードの仕様について説明する図であ
る。
FIG. 2 is a diagram illustrating specifications of a two-dimensional code.

【図3】2次元コードの仕様について説明する他の図で
ある。
FIG. 3 is another diagram illustrating specifications of a two-dimensional code.

【図4】2次元コードの仕様について説明する他の図で
ある。
FIG. 4 is another diagram illustrating the specification of a two-dimensional code.

【図5】2次元コードの例を示す図である。FIG. 5 is a diagram showing an example of a two-dimensional code.

【図6】本発明を適用した携帯型パーソナルコンピュー
タの構成例の表示部を本体に対して開いた状態を示す外
観斜視図である。
FIG. 6 is an external perspective view showing a state in which a display unit of a configuration example of a portable personal computer to which the present invention is applied is opened with respect to a main body.

【図7】図6の平面図である。FIG. 7 is a plan view of FIG. 6;

【図8】図6の表示部を本体に対して閉塞した状態を示
す左側側面図である。
FIG. 8 is a left side view showing a state where the display unit of FIG. 6 is closed with respect to the main body.

【図9】図6の表示部を本体に対して180度開いた状
態を示す右側側面図である。
9 is a right side view showing a state where the display unit of FIG. 6 is opened 180 degrees with respect to the main body.

【図10】図8の正面図である。FIG. 10 is a front view of FIG. 8;

【図11】図9の底面図である。FIG. 11 is a bottom view of FIG. 9;

【図12】図6の電気回路の構成例を示すブロック図で
ある。
FIG. 12 is a block diagram illustrating a configuration example of an electric circuit in FIG. 6;

【図13】2次元コード認識処理を説明するフローチャ
ートである。
FIG. 13 is a flowchart illustrating a two-dimensional code recognition process.

【図14】閾値の設定を説明する図である。FIG. 14 is a diagram illustrating setting of a threshold.

【図15】黒色画素連結領域のラベリングを説明する図
である。
FIG. 15 is a diagram illustrating labeling of a black pixel connection region.

【図16】ロゴマークセル部検出処理を説明するフロー
チャートである。
FIG. 16 is a flowchart illustrating a logo mark cell part detection process.

【図17】辺ATおよび辺BTの求め方を説明する図であ
る。
FIG. 17 is a diagram for explaining how to obtain sides AT and BT.

【図18】コード部検出処理を説明する図である。FIG. 18 is a diagram illustrating a code part detection process.

【図19】コードデータ検証処理を説明するフローチャ
ートである。
FIG. 19 is a flowchart illustrating a code data verification process.

【図20】従来の1次元バーコードの例を示す図であ
る。
FIG. 20 is a diagram showing an example of a conventional one-dimensional barcode.

【図21】従来の2次元コードの例を示す図である。FIG. 21 is a diagram showing an example of a conventional two-dimensional code.

【符号の説明】[Explanation of symbols]

1 パーソナルコンピュータ, 3 表示部, 21
LCD, 23 CCDビデオカメラ, 52 CPU, 5
6 HDD, 81 グラフィックチップ, 83LCDコン
トローラ, 100 オブジェクト, 101 2次
元コード,202 コード部, 301 ロゴマークセ
ル部
DESCRIPTION OF SYMBOLS 1 personal computer, 3 display part, 21
LCD, 23 CCD video camera, 52 CPU, 5
6 HDD, 81 graphic chip, 83 LCD controller, 100 objects, 101 two-dimensional code, 202 code part, 301 logo mark cell part

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中嶋 信二 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 末吉 隆彦 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 ──────────────────────────────────────────────────続 き Continued on the front page (72) Shinji Nakajima, 6-7-35 Kita-Shinagawa, Shinagawa-ku, Tokyo Inside Sony Corporation (72) Inventor Takahiko Sueyoshi 6-35, Kita-Shinagawa, Shinagawa-ku, Tokyo Sony Corporation

Claims (22)

【特許請求の範囲】[Claims] 【請求項1】 複数の方形セルが所定の配列規則に従っ
て2次元配置された2次元コードを認識する2次元コー
ド認識処理方法において、 外部から取り込んだ画像情報から、所定の閾値に基づい
て2値化データを生成する2値化処理ステップと、 前記2値化処理ステップで生成された前記2値化データ
に基づいて、前記2次元コードを認識する上で基準とな
る基準セルを検出する基準セル検出処理ステップと、 前記2値化処理ステップで生成された前記2値化データ
に基づいて、前記基準セル検出処理ステップで検出され
た前記基準セルを基準として、所定の探索範囲内に存在
するコーナーセルを検出するコーナーセル検出処理ステ
ップと、 前記2値化処理ステップで生成された前記2値化データ
に基づいて、前記基準セルと前記コーナーセルとによっ
て囲まれるコード部の領域内に存在する前記2次元コー
ドに割り当てられたコードデータを検出するコードデー
タ検出処理ステップとを含むことを特徴とする2次元コ
ード認識処理方法。
1. A two-dimensional code recognition processing method for recognizing a two-dimensional code in which a plurality of square cells are two-dimensionally arranged according to a predetermined arrangement rule, comprising the steps of: Binarization processing step of generating binarized data; and a reference cell detecting a reference cell serving as a reference in recognizing the two-dimensional code based on the binarized data generated in the binarization processing step A detection processing step, and a corner existing within a predetermined search range based on the binarized data generated in the binarization processing step, based on the reference cell detected in the reference cell detection processing step. A corner cell detection processing step of detecting a cell; and the reference cell and the corner based on the binarized data generated in the binarization processing step. 2-dimensional code recognition processing method characterized by including the code data detecting process step for detecting code data assigned to the two-dimensional code existing in the region of the coding portion surrounded by the Le.
【請求項2】 前記基準セルは、所定の縦横比の矩形状
の黒色画素連結領域内に前記2次元コードに関連する白
抜きの可読情報を含んで構成され、 前記基準セル検出処理ステップは、前記可読情報を含む
所定の縦横比の矩形状の前記基準セルを検出することを
特徴とする請求項1に記載の2次元コード認識処理方
法。
2. The reference cell is configured to include white readable information related to the two-dimensional code in a rectangular black pixel connection area having a predetermined aspect ratio. 2. The two-dimensional code recognition processing method according to claim 1, wherein the rectangular reference cell having a predetermined aspect ratio including the readable information is detected.
【請求項3】 前記可読情報は、前記2次元コードのコ
ード体系に付されたロゴマークであることを特徴とする
請求項2に記載の2次元コード認識処理方法。
3. The two-dimensional code recognition processing method according to claim 2, wherein the readable information is a logo mark attached to a code system of the two-dimensional code.
【請求項4】 前記可読情報は、前記2次元コードのコ
ード体系に関連する会社名であることを特徴とする請求
項2に記載の2次元コード認識処理方法。
4. The two-dimensional code recognition processing method according to claim 2, wherein the readable information is a company name related to a code system of the two-dimensional code.
【請求項5】 前記可読情報は、前記2次元コードのコ
ード体系に関連するURLであることを特徴とする請求
項2に記載の2次元コード認識処理方法。
5. The two-dimensional code recognition processing method according to claim 2, wherein the readable information is a URL related to a code system of the two-dimensional code.
【請求項6】 前記基準セル検出処理ステップは、任意
に設定可能な検出開始点から、前記2値化処理ステップ
で生成された前記2値化データに基づいて、前記2次元
コードを認識する上で基準となる所定の縦横比の矩形状
の基準セルを検出することを特徴とする請求項1に記載
の2次元コード認識処理方法。
6. The reference cell detection processing step includes recognizing the two-dimensional code from a detection start point that can be set arbitrarily based on the binarized data generated in the binarization processing step. 2. The two-dimensional code recognition processing method according to claim 1, wherein a rectangular reference cell having a predetermined aspect ratio is detected as a reference.
【請求項7】 前記基準セル検出処理ステップは、前記
検出開始点として、直前に検出した基準セルの開始点を
設定することを特徴とする請求項6に記載の2次元コー
ド認識処理方法。
7. The two-dimensional code recognition processing method according to claim 6, wherein in the reference cell detection processing step, a start point of a reference cell detected immediately before is set as the detection start point.
【請求項8】 前記基準セル検出処理ステップは、直前
に検出した前記基準セルの前記開始点が存在しない場
合、前記検出開始点として、外部から取り込んだ画像情
報の中心点を設定することを特徴とする請求項6に記載
の2次元コード認識処理方法。
8. The reference cell detection processing step, when the start point of the reference cell detected immediately before does not exist, sets a center point of image information fetched from outside as the detection start point. The two-dimensional code recognition processing method according to claim 6, wherein
【請求項9】 前記2値化処理ステップで生成された前
記2値化データに基づいて、黒色画素が連結された黒色
画素連結領域の総数を計数し、前記総数が所定個数未満
となるまで、前記2値化処理ステップにおける所定の閾
値を段階的に設定変更する閾値変更処理ステップをさら
に備えることを特徴とする請求項1に記載の2次元コー
ド認識処理方法。
9. A method for counting the total number of black pixel connected regions in which black pixels are connected based on the binarized data generated in the binarization processing step, and until the total becomes less than a predetermined number. 2. The two-dimensional code recognition processing method according to claim 1, further comprising a threshold changing step of changing a predetermined threshold value in the binarizing step in a stepwise manner.
【請求項10】 前記閾値変更処理ステップで、前記閾
値が段階的に設定変更され、全ての前記閾値が設定変更
された段階において、前記黒色画素連結領域の総数が前
記所定個数以上であった場合、一連の認識処理を一旦終
了し、外部から取り込んだ新たな画像情報に基づく一連
の認識処理を開始することを特徴とする請求項9に記載
の2次元コード認識処理方法。
10. A case where the threshold value is changed step by step in the threshold value changing step, and the total number of the black pixel connected regions is equal to or larger than the predetermined number at the stage when all the threshold values are changed. 10. The two-dimensional code recognition processing method according to claim 9, wherein a series of recognition processing is temporarily terminated, and a series of recognition processing based on new image information fetched from outside is started.
【請求項11】 前記コードデータ検出処理ステップ
は、前記2値化処理ステップで生成された前記2値化デ
ータに基づいて、前記基準セルと前記コーナーセルとに
よって囲まれる前記コード部の領域内に存在する前記2
次元コードからコードデータを算出するコードデータ算
出処理ステップと、 前記コード部の領域内に存在する前記2次元コードから
チェックデータを算出するチェックデータ算出処理ステ
ップと、 前記チェックデータ算出処理ステップによって算出され
た前記チェックデータに基づいて、前記コードデータ算
出処理ステップによって算出された前記コードデータを
検証する検証処理ステップとからなることを特徴とする
請求項1に記載の2次元コード認識処理方法。
11. The code data detection processing step includes, based on the binarized data generated in the binarization processing step, within a region of the code portion surrounded by the reference cell and the corner cell. Said 2 which exists
A code data calculation processing step of calculating code data from a dimensional code; a check data calculation processing step of calculating check data from the two-dimensional code existing in the area of the code part; and a check data calculation processing step. 2. The two-dimensional code recognition processing method according to claim 1, further comprising a verification processing step of verifying the code data calculated in the code data calculation processing step based on the check data.
【請求項12】 前記2値化処理ステップは、外部の撮
像手段によって撮像された前記画像情報を取り込み、取
り込んだ前記画像情報から、前記所定の閾値に基づいて
前記2値化データを生成することを特徴とする請求項1
に記載の2次元コード認識処理方法。
12. The binarization processing step includes: capturing the image information captured by an external imaging unit, and generating the binary data from the captured image information based on the predetermined threshold. Claim 1 characterized by the following:
2. A two-dimensional code recognition processing method according to claim 1.
【請求項13】 複数の方形セルが所定の配列規則に従
って2次元配置された2次元コードを認識する2次元コ
ード認識処理装置において、 外部から取り込んだ画像情報から、所定の閾値に基づい
て2値化データを生成する2値化手段と、 前記2値化手段で生成された前記2値化データに基づい
て、前記2次元コードを認識する上で基準となる基準セ
ルを検出する基準セル検出手段と、 前記2値化手段で生成された前記2値化データに基づい
て、前記基準セル検出手段で検出された前記基準セルを
基準として、所定の探索範囲内に存在するコーナーセル
を検出するコーナーセル検出手段と、 前記2値化手段で生成された前記2値化データに基づい
て、前記基準セルと前記コーナーセルとによって囲まれ
るコード部の領域内に存在する前記2次元コードに割り
当てられたコードデータを検出するコードデータ検出手
段とを備えることを特徴とする2次元コード認識処理装
置。
13. A two-dimensional code recognition processing device for recognizing a two-dimensional code in which a plurality of square cells are two-dimensionally arranged according to a predetermined arrangement rule, comprising the steps of: Binarizing means for generating digitized data; and reference cell detecting means for detecting a reference cell serving as a reference in recognizing the two-dimensional code based on the binarized data generated by the binarizing means. Based on the binarized data generated by the binarization unit, a corner for detecting a corner cell existing within a predetermined search range with reference to the reference cell detected by the reference cell detection unit. A cell detecting unit, based on the binarized data generated by the binarizing unit, the two-dimensional data existing in an area of a code part surrounded by the reference cell and the corner cell; 2-dimensional code recognition processing apparatus characterized by comprising a code data detecting means for detecting code data assigned to the original code.
【請求項14】 前記基準セル検出手段は、任意に設定
可能な検出開始点から、前記2値化手段で生成された前
記2値化データに基づいて、前記2次元コードを認識す
る上で基準となる所定の縦横比の矩形状の基準セルを検
出することを特徴とする請求項13に記載の2次元コー
ド認識処理装置。
14. The reference cell detecting means, based on the binarized data generated by the binarizing means from a detection start point which can be arbitrarily set, recognizes the two-dimensional code as a reference. 14. The two-dimensional code recognition processing device according to claim 13, wherein a rectangular reference cell having a predetermined aspect ratio is detected.
【請求項15】 前記2値化手段で生成された前記2値
化データに基づいて、黒色画素が連結された黒色画素連
結領域の総数を計数し、前記総数が所定個数未満となる
まで、前記2値化手段における所定の閾値を段階的に設
定変更する閾値変更手段をさらに備えることを特徴とす
る請求項13に記載の2次元コード認識処理装置。
15. Based on the binarized data generated by the binarization means, count the total number of black pixel connected regions where black pixels are connected, and calculate the total number of black pixel connected regions until the total becomes less than a predetermined number. 14. The two-dimensional code recognition processing device according to claim 13, further comprising a threshold changing unit that changes a predetermined threshold in the binarizing unit in a stepwise manner.
【請求項16】 前記コードデータ検出手段は、前記2
値化手段で生成された前記2値化データに基づいて、前
記基準セルと前記コーナーセルとによって囲まれる前記
コード部の領域内に存在する前記2次元コードからコー
ドデータを算出するコードデータ算出手段と、 前記コード部の領域内に存在する2次元コードからチェ
ックデータを算出するチェックデータ算出手段と、 前記チェックデータ算出手段によって算出された前記チ
ェックデータに基づいて、前記コードデータ算出手段に
よって算出された前記コードデータを検証する検証手段
とからなることを特徴とする請求項13に記載の2次元
コード認識処理装置。
16. The code data detecting means according to claim 2, wherein:
Code data calculating means for calculating code data from the two-dimensional code existing in the area of the code portion surrounded by the reference cell and the corner cell based on the binary data generated by the value converting means Check data calculation means for calculating check data from a two-dimensional code existing in the area of the code part; and check code calculation means for calculating check data based on the check data calculated by the check data calculation means. 14. The two-dimensional code recognition processing device according to claim 13, comprising verification means for verifying said code data.
【請求項17】 前記2値化手段は、外部の撮像手段に
よって撮像された前記画像情報を取り込み、取り込んだ
前記画像情報から、前記所定の閾値に基づいて2値化デ
ータを生成することを特徴とする請求項13に記載の2
次元コード認識処理装置。
17. The image processing apparatus according to claim 1, wherein the binarization unit captures the image information captured by an external imaging unit, and generates binary data based on the predetermined threshold value from the captured image information. 14. The method according to claim 13, wherein
Dimension code recognition processing device.
【請求項18】 複数の方形セルが所定の配列規則に従
って2次元配置された2次元コードを認識する2次元コ
ード認識処理プログラムにおいて、 外部から取り込んだ画像情報から、所定の閾値に基づい
て2値化データを生成する2値化処理ステップと、 前記2値化処理ステップで生成された前記2値化データ
に基づいて、前記2次元コードを認識する上で基準とな
る基準セルを検出する基準セル検出処理ステップと、 前記2値化処理ステップで生成された前記2値化データ
に基づいて、前記基準セル検出処理ステップで検出され
た前記基準セルを基準として、所定の探索範囲内に存在
するコーナーセルを検出するコーナーセル検出処理ステ
ップと、 前記2値化処理ステップで生成された前記2値化データ
に基づいて、前記基準セルと前記コーナーセルとによっ
て囲まれるコード部の領域内に存在する前記2次元コー
ドに割り当てられたコードデータを検出するコードデー
タ検出処理ステップとを含むことを特徴とする2次元コ
ード認識処理プログラムをコンピュータに実行させる媒
体。
18. A two-dimensional code recognizing program for recognizing a two-dimensional code in which a plurality of rectangular cells are two-dimensionally arranged according to a predetermined arrangement rule, comprising the steps of: Binarization processing step of generating binarized data; and a reference cell detecting a reference cell serving as a reference in recognizing the two-dimensional code based on the binarized data generated in the binarization processing step A detection processing step, and a corner existing within a predetermined search range based on the binarized data generated in the binarization processing step, based on the reference cell detected in the reference cell detection processing step. A corner cell detection processing step of detecting a cell; and the reference cell and the base cell based on the binarized data generated in the binarization processing step. A code data detection processing step of detecting code data assigned to the two-dimensional code existing in the area of the code part surrounded by the inner cell. Medium.
【請求項19】 前記基準セル検出処理ステップは、任
意に設定可能な検出開始点から、前記2値化処理ステッ
プで生成された前記2値化データに基づいて、前記2次
元コードを認識する上で基準となる所定の縦横比の矩形
状の基準セルを検出することを特徴とする請求項18に
記載の2次元コード認識処理プログラムをコンピュータ
に実行させる媒体。
19. The reference cell detection processing step includes recognizing the two-dimensional code from a detection start point that can be set arbitrarily based on the binarized data generated in the binarization processing step. 19. The medium for causing a computer to execute a two-dimensional code recognition processing program according to claim 18, wherein a rectangular reference cell having a predetermined aspect ratio is detected as a reference.
【請求項20】 前記2値化処理ステップで生成された
前記2値化データに基づいて、黒色画素が連結された黒
色画素連結領域の総数を計数し、前記総数が所定個数未
満となるまで、前記2値化処理ステップにおける所定の
閾値を段階的に設定変更する閾値変更処理ステップをさ
らに備えることを特徴とする請求項18に記載の2次元
コード認識処理プログラムをコンピュータに実行させる
媒体。
20. Based on the binarized data generated in the binarization processing step, count the total number of black pixel connected regions where black pixels are connected, and calculate the total number of black pixel connected regions until the total becomes less than a predetermined number. 19. The medium for causing a computer to execute a two-dimensional code recognition processing program according to claim 18, further comprising a threshold change processing step of stepwise changing a predetermined threshold value in the binarization processing step.
【請求項21】 前記コードデータ検出処理ステップ
は、前記2値化処理ステップで生成された前記2値化デ
ータに基づいて、前記基準セルと前記コーナーセルとに
よって囲まれる前記コード部の領域内に存在する前記2
次元コードからコードデータを算出するコードデータ算
出処理ステップと、 前記コード部の領域内に存在する前記2次元コードから
チェックデータを算出するチェックデータ算出処理ステ
ップと、 前記チェックデータ算出処理ステップによって算出され
た前記チェックデータに基づいて、前記コードデータ算
出処理ステップによって算出された前記コードデータを
検証する検証処理ステップとからなることを特徴とする
請求項18に記載の2次元コード認識処理プログラムを
コンピュータに実行させる媒体。
21. The code data detection processing step includes, based on the binarized data generated in the binarization processing step, within a region of the code portion surrounded by the reference cell and the corner cell. Said 2 which exists
A code data calculation processing step of calculating code data from a dimensional code; a check data calculation processing step of calculating check data from the two-dimensional code existing in the area of the code part; and a check data calculation processing step. 19. The two-dimensional code recognition processing program according to claim 18, further comprising a verification processing step of verifying the code data calculated in the code data calculation processing step based on the check data. The medium to be executed.
【請求項22】 前記2値処理ステップは、外部の撮像
手段によって撮像された画像情報を取り込み、取り込ん
だ前記画像情報から、前記所定の閾値に基づいて2値化
データを生成することを特徴とする請求項18に記載の
2次元コード認識処理プログラムをコンピュータに実行
させる媒体。
22. The binary processing step, wherein image information captured by an external image capturing unit is captured, and binarized data is generated from the captured image information based on the predetermined threshold. A medium for causing a computer to execute the two-dimensional code recognition processing program according to claim 18.
JP18627699A 1998-06-30 1999-06-30 Multidimensional code recognition processing method, multidimensional code recognition processing apparatus, and multidimensional code recognition processing program Expired - Lifetime JP3794463B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18627699A JP3794463B2 (en) 1998-06-30 1999-06-30 Multidimensional code recognition processing method, multidimensional code recognition processing apparatus, and multidimensional code recognition processing program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP18435098 1998-06-30
JP10-184350 1998-06-30
JP18627699A JP3794463B2 (en) 1998-06-30 1999-06-30 Multidimensional code recognition processing method, multidimensional code recognition processing apparatus, and multidimensional code recognition processing program

Publications (2)

Publication Number Publication Date
JP2000082108A true JP2000082108A (en) 2000-03-21
JP3794463B2 JP3794463B2 (en) 2006-07-05

Family

ID=26502449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18627699A Expired - Lifetime JP3794463B2 (en) 1998-06-30 1999-06-30 Multidimensional code recognition processing method, multidimensional code recognition processing apparatus, and multidimensional code recognition processing program

Country Status (1)

Country Link
JP (1) JP3794463B2 (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004358851A (en) * 2003-06-05 2004-12-24 Ntt Docomo Inc Image output device, program, and printed matter
WO2005077478A1 (en) * 2004-02-18 2005-08-25 Sony Computer Entertainment Inc. Image display system, information processing system, image processing system, and video game system
WO2005077479A1 (en) * 2004-02-18 2005-08-25 Sony Computer Entertainment Inc. Image display system, image processing system, and a video game system
US7228108B2 (en) 2001-05-15 2007-06-05 Sony Corporation Connection system between computer body and wireless peripheral equipment, computer, and wireless peripheral equipment
WO2007105356A1 (en) 2006-03-14 2007-09-20 Sony Computer Entertainment Inc. Entertainment system
WO2007116578A1 (en) 2006-04-11 2007-10-18 Sony Computer Entertainment Inc. Entertainment system and processor
JP2008272509A (en) * 2008-07-11 2008-11-13 Sony Computer Entertainment Inc Image display system, image processing system, record medium, and program
JP2008279268A (en) * 2008-07-11 2008-11-20 Sony Computer Entertainment Inc Image processing system
US7692630B2 (en) 2004-12-14 2010-04-06 Sony Corporation Information processing apparatus and method, input device and method, program, and information processing system
JP2010122260A (en) * 2008-11-17 2010-06-03 Seiko Epson Corp Projection system, screen, and projector
US7841013B2 (en) 2006-02-07 2010-11-23 Murata Kikai Kabushiki Kaisha Image forming device, computer program, and data file
US7847844B2 (en) 2005-12-15 2010-12-07 Canon Kabushiki Kaisha Information processing apparatus and method for determining whether a detected index is an index included in sensed image data
EP2330536A2 (en) 2004-10-15 2011-06-08 Sony Computer Entertainment Inc. Object, image data, image data transmission method, card, game mat, card game system, image analysis apparatus and image analysis method
EP2334095A2 (en) 2001-08-02 2011-06-15 Sony Corporation Remote control system and remote control method, device for performing remote control operation and control method therefor, device operable by remote control operation and control method thereof, and storage medium
US8170339B2 (en) 2007-11-16 2012-05-01 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2015015765A1 (en) 2013-08-01 2015-02-05 Sony Corporation Control apparatus, control method, transmission terminal, transmission method, reception terminal, reception method, and control system
JPWO2013018614A1 (en) * 2011-07-29 2015-03-05 日本電気株式会社 Collation / search system, collation / search server, image feature extraction device, collation / search method and program
JPWO2013018615A1 (en) * 2011-07-29 2015-03-05 日本電気株式会社 Collation / search system, collation / search server, image feature extraction device, collation / search method and program
CN105138946A (en) * 2015-10-09 2015-12-09 巴罗克(济南)生物技术有限公司 Datamatrix two-dimensional code identification method by means of intelligent mobile phone
JP2017078877A (en) * 2015-10-19 2017-04-27 セイコーエプソン株式会社 Image processing device, robot, and robot system
JP2017229093A (en) * 2017-09-01 2017-12-28 日本電気株式会社 Portable terminal, imaging method and program

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7228108B2 (en) 2001-05-15 2007-06-05 Sony Corporation Connection system between computer body and wireless peripheral equipment, computer, and wireless peripheral equipment
EP2189878A1 (en) 2001-05-15 2010-05-26 Sony Corporation Connection system between computer body and wireless peripheral equipment, computer, and wireless peripheral equipment
EP2334095A2 (en) 2001-08-02 2011-06-15 Sony Corporation Remote control system and remote control method, device for performing remote control operation and control method therefor, device operable by remote control operation and control method thereof, and storage medium
JP2004358851A (en) * 2003-06-05 2004-12-24 Ntt Docomo Inc Image output device, program, and printed matter
JP4598373B2 (en) * 2003-06-05 2010-12-15 株式会社エヌ・ティ・ティ・ドコモ Image output device, program and printed matter
US7690975B2 (en) 2004-02-18 2010-04-06 Sony Computer Entertainment Inc. Image display system, image processing system, and video game system
JP2005230139A (en) * 2004-02-18 2005-09-02 Sony Computer Entertainment Inc Image display system, information processing system, image processing system, and video game system
US8152637B2 (en) 2004-02-18 2012-04-10 Sony Computer Entertainment Inc. Image display system, information processing system, image processing system, and video game system
WO2005077478A1 (en) * 2004-02-18 2005-08-25 Sony Computer Entertainment Inc. Image display system, information processing system, image processing system, and video game system
WO2005077479A1 (en) * 2004-02-18 2005-08-25 Sony Computer Entertainment Inc. Image display system, image processing system, and a video game system
JP2005230156A (en) * 2004-02-18 2005-09-02 Sony Computer Entertainment Inc Image display system, image processing system, and video game system
EP2330536A2 (en) 2004-10-15 2011-06-08 Sony Computer Entertainment Inc. Object, image data, image data transmission method, card, game mat, card game system, image analysis apparatus and image analysis method
US7692630B2 (en) 2004-12-14 2010-04-06 Sony Corporation Information processing apparatus and method, input device and method, program, and information processing system
US7847844B2 (en) 2005-12-15 2010-12-07 Canon Kabushiki Kaisha Information processing apparatus and method for determining whether a detected index is an index included in sensed image data
US7841013B2 (en) 2006-02-07 2010-11-23 Murata Kikai Kabushiki Kaisha Image forming device, computer program, and data file
US8292737B2 (en) 2006-03-14 2012-10-23 Sony Computer Entertainment Inc. Entertainment system
US9566507B2 (en) 2006-03-14 2017-02-14 Sony Corporation Game controller using a plurality of light-emitting elements
WO2007105356A1 (en) 2006-03-14 2007-09-20 Sony Computer Entertainment Inc. Entertainment system
US8613665B2 (en) 2006-03-14 2013-12-24 Sony Corporation Game controller
JP2007244534A (en) * 2006-03-14 2007-09-27 Sony Computer Entertainment Inc Entertainment system and game controller
US9084934B2 (en) 2006-03-14 2015-07-21 Sony Corporation Game controller with pulse width modulation position detection
US8350805B2 (en) 2006-04-11 2013-01-08 Sony Computer Entertainment Inc. Entertainment system and processing apparatus
WO2007116578A1 (en) 2006-04-11 2007-10-18 Sony Computer Entertainment Inc. Entertainment system and processor
US8170339B2 (en) 2007-11-16 2012-05-01 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2008272509A (en) * 2008-07-11 2008-11-13 Sony Computer Entertainment Inc Image display system, image processing system, record medium, and program
JP2008279268A (en) * 2008-07-11 2008-11-20 Sony Computer Entertainment Inc Image processing system
JP4687773B2 (en) * 2008-11-17 2011-05-25 セイコーエプソン株式会社 Projection system
JP2010122260A (en) * 2008-11-17 2010-06-03 Seiko Epson Corp Projection system, screen, and projector
JPWO2013018614A1 (en) * 2011-07-29 2015-03-05 日本電気株式会社 Collation / search system, collation / search server, image feature extraction device, collation / search method and program
JPWO2013018615A1 (en) * 2011-07-29 2015-03-05 日本電気株式会社 Collation / search system, collation / search server, image feature extraction device, collation / search method and program
US10460216B2 (en) 2011-07-29 2019-10-29 Nec Corporation Collation/retrieval system, collation/retrieval server, image feature extraction apparatus, collation/retrieval method, and program
US10853705B2 (en) 2011-07-29 2020-12-01 Nec Corporation Collation/retrieval system, collation/retrieval server, image feature extraction apparatus, collation/retrieval method, and program
WO2015015765A1 (en) 2013-08-01 2015-02-05 Sony Corporation Control apparatus, control method, transmission terminal, transmission method, reception terminal, reception method, and control system
CN105138946A (en) * 2015-10-09 2015-12-09 巴罗克(济南)生物技术有限公司 Datamatrix two-dimensional code identification method by means of intelligent mobile phone
JP2017078877A (en) * 2015-10-19 2017-04-27 セイコーエプソン株式会社 Image processing device, robot, and robot system
JP2017229093A (en) * 2017-09-01 2017-12-28 日本電気株式会社 Portable terminal, imaging method and program

Also Published As

Publication number Publication date
JP3794463B2 (en) 2006-07-05

Similar Documents

Publication Publication Date Title
KR100769836B1 (en) Two-dimensional code recognition processing method, two-dimensional code recognition processing apparatus, and storage medium
JP2000082108A (en) Two-dimensional code recognition processing method, device therefor and medium
JP3786166B2 (en) Image processing apparatus, image processing method, and image processing program
EP2568412B1 (en) Apparatus for recognizing character and barcode simultaneously and method for controlling the same
JP2000148904A (en) Two-dimensional code recognition processing method, two- dimensional code recognition processor and two- dimensional code recognition processing program storage medium
US7111787B2 (en) Multimode image capturing and decoding optical reader
WO2017193886A1 (en) Method and apparatus for generating two-dimensional code picture having dynamic effect
US6325287B1 (en) Two-dimensional code recognition processing method, two-dimensional code recognition processing apparatus, and two-dimensional code recognition processing program storage medium
JP4674644B2 (en) Image processing apparatus, image processing method, and image processing program medium
US20090078772A1 (en) Techniques for decoding images of barcodes
US20020170970A1 (en) Optical reader having decoding and image capturing functionality
KR101554518B1 (en) Information obtaining method and apparatus
CN100353370C (en) Method and system for decoding bar code image
JP2007034625A (en) Information display device
JP4337597B2 (en) Code symbol reader and program
JP4352287B2 (en) Image processing apparatus, image processing method, and image processing program medium
JP2000207338A (en) Device and method for processing information and distribution medium
US9836799B2 (en) Service provision program
JP2000148797A (en) Image processor and method for image processing and image processing program storage medium
KR100784200B1 (en) Method and Device for decoding the code having code information according to image
JP2000047967A (en) Device, method and system for processing information, and provision medium
JP5314521B2 (en) Image processing system and image processing method
JP7422342B1 (en) Character recognition device, character recognition system and character recognition method
CN116205250A (en) Verification method and verification system for unique mark of two-dimensional code
JP2002216073A (en) Device for reading readable character or the like and method for the same

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060405

R151 Written notification of patent or utility model registration

Ref document number: 3794463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090421

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100421

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100421

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110421

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110421

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120421

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120421

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130421

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130421

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140421

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term