JP2010157097A - Device and method for generation information - Google Patents
Device and method for generation information Download PDFInfo
- Publication number
- JP2010157097A JP2010157097A JP2008335023A JP2008335023A JP2010157097A JP 2010157097 A JP2010157097 A JP 2010157097A JP 2008335023 A JP2008335023 A JP 2008335023A JP 2008335023 A JP2008335023 A JP 2008335023A JP 2010157097 A JP2010157097 A JP 2010157097A
- Authority
- JP
- Japan
- Prior art keywords
- information
- person
- suspicious person
- wanted
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、物体の動作状態を表す情報から、指名手配された人物を示す情報または不審者を示す情報を生成する情報生成装置および情報生成方法に関するものである。 The present invention relates to an information generation apparatus and an information generation method for generating information indicating a person who has been appointed or information indicating a suspicious person from information indicating an operation state of an object.
従来から、指名手配されている人物を示す情報(指名手配情報)や不審者を示す情報(不審者情報)を配信して、照合を行う技術が知られている。例えば、タクシーの配車等を行う車両監視システムが、警察署などの情報処理システムから受信した指名手配情報を配車車両の情報端末に送信し、該指名手配情報と合致する利用者が乗車したか否かを判断する配車システムが開示されている(例えば、特許文献1参照)。この特許文献1の配車システムでは、乗車した利用者の音声データ、利用者を撮影した画像データ、指紋など利用者の特徴を抽出し、抽出した利用者の特徴を車両の情報端末から車両監視システムに送信して、警察署から指名手配されている犯人と合致するか否かを判断している。 2. Description of the Related Art Conventionally, a technique is known in which information indicating a person who has been nominated (designated information) and information indicating a suspicious person (suspicious person information) are distributed and collated. For example, whether the vehicle monitoring system that performs taxi dispatch or the like transmits the wanted arrangement information received from the information processing system such as a police station to the information terminal of the dispatched vehicle, and whether or not a user who matches the wanted arrangement information has boarded There is disclosed a vehicle allocation system for determining whether or not (see, for example, Patent Document 1). In the vehicle allocation system disclosed in Patent Document 1, user features such as voice data of a user who has boarded the vehicle, image data obtained by photographing the user, and fingerprints are extracted, and the extracted user features are extracted from a vehicle information terminal to a vehicle monitoring system. To determine if it matches the criminal who is nominated by the police station.
また、他のシステムとしては、警察端末から送信された指名手配者の顔データをDBに登録し、一般家庭に設置される家庭装置で撮影された人物の画像データと先に登録した指名手配者の顔データとを照合して、一致する場合に警察に通報する防犯システムが開示されている(例えば、特許文献2参照)。また、この特許文献2の防犯システムでは、管理会社サーバを介して地域住民の各家庭の家庭装置に指名手配者が訪問したことを表示している。
しかしながら、上記特許文献1の配車システムでは、配車車両において、指名手配情報と合致する利用者が乗車したか否かを判断するために用いる指名手配情報の生成方法については開示されていない。また、上記配車システムは、指名手配情報を印刷して配布するシステムではないため、配車車両において、警察署から送信された指名手配情報のみによる照合しかできない。 However, the dispatch system of Patent Document 1 does not disclose a method for generating wanted arrangement information used to determine whether or not a user who matches the wanted arrangement information has boarded the dispatched vehicle. Moreover, since the above-mentioned dispatch system is not a system for printing and distributing wanted arrangement information, the dispatch vehicle can only perform collation using only the wanted arrangement information transmitted from the police station.
また、上記特許文献2の防犯システムでは、撮影した顔データのみを、指名手配者の顔データとの照合に用いているため、撮影した人物の身長など、その他の情報(顔データ以外の情報)を指名手配情報として利用することができない。また、上記防犯システムでは、指名手配情報(顔データ)を印刷物として印刷したり、ネットワークを介して配布するシステムではないため、各家庭において、警察端末から送信された指名手配者の顔データのみによる照合しかできない。また、不審者情報においても同様である。 In the crime prevention system of Patent Document 2 described above, since only the captured face data is used for collation with the face data of the wanted person, other information such as the height of the photographed person (information other than face data) Cannot be used as wanted information. In addition, the above crime prevention system is not a system that prints wanted arrangement information (face data) as a printed matter or distributes it via a network, so only the wanted person's face data transmitted from the police terminal is used in each home. Only verification is possible. The same applies to suspicious person information.
本発明は、上記に鑑みてなされたものであって、物体の動作状態を表す情報から、客観的で精度の高い指名手配情報または不審者情報を生成し、当該指名手配情報または不審者情報を用いることで指名手配者や不審者の対処に必要な情報を提供する情報生成装置および情報生成方法を得ることを目的とする。 The present invention has been made in view of the above, and generates objective and highly accurate wanted arrangement information or suspicious person information from information representing the motion state of an object. It is an object of the present invention to obtain an information generation apparatus and an information generation method that provide information necessary for dealing with a wanted person or a suspicious person.
上述した課題を解決し、目的を達成するために、本発明にかかる情報生成装置は、撮像手段が撮像した物体の画像情報を記憶する画像情報記憶手段と、前記画像情報を解析して物体の動作状態を抽出し、抽出した前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶する状態情報記憶手段と、前記状態情報記憶手段に記憶されている前記状態情報の中から、指名手配されている人物の前記状態情報または不審者の前記状態情報を検索する状態情報検索手段と、前記画像情報記憶手段に記憶されている前記画像情報の中から、検索された前記状態情報に対応する前記画像情報を取得する画像情報取得手段と、検索された前記状態情報から、前記名詞を抽出する抽出手段と、抽出された前記名詞と取得された前記画像情報とを含む情報であって、指名手配されている人物を示す情報である指名手配情報、または不審者を示す情報である不審者情報を生成する情報生成手段と、を備えることを特徴とする。 In order to solve the above-described problems and achieve the object, an information generation apparatus according to the present invention includes an image information storage unit that stores image information of an object imaged by an imaging unit, and an analysis of the object by analyzing the image information. Information indicating the motion state of the object extracted by extracting the motion state, including a verb representing the motion type of the object and a noun related to the motion of the object, and the semantic relationship of the noun to the verb State information storage means for storing state information corresponding to the image information stored in the image information storage means, and the state information stored in the state information storage means. The status information search means for searching for the status information of a person who is in question or the status information of a suspicious person, and the status information searched out of the image information stored in the image information storage means Image information acquisition means for acquiring the corresponding image information, extraction means for extracting the noun from the searched state information, information including the extracted noun and the acquired image information, Information generating means for generating wanted information, which is information indicating a person who has been requested, or suspicious person information, which is information indicating a suspicious person.
また、本発明は、情報生成装置で実行される情報生成方法であって、前記情報生成装置は、撮像手段が撮像した物体の画像情報を記憶する画像情報記憶手段と、前記画像情報を解析して物体の動作状態を抽出し、抽出した前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶する状態情報記憶手段と、を備え、状態情報検索手段が、前記状態情報記憶手段に記憶されている前記状態情報の中から、指名手配されている人物の前記状態情報または不審者の前記状態情報を検索する状態情報検索ステップと、画像情報取得手段が、前記画像情報記憶手段に記憶されている前記画像情報の中から、検索された前記状態情報に対応する前記画像情報を取得する画像情報取得ステップと、抽出手段が、検索された前記状態情報から、前記名詞を抽出する抽出ステップと、情報生成手段が、抽出された前記名詞と取得された前記画像情報とを含む情報であって、指名手配されている人物を示す情報である指名手配情報、または不審者を示す情報である不審者情報を生成する情報生成ステップと、を含むことを特徴とする。 Further, the present invention is an information generation method executed by an information generation device, wherein the information generation device analyzes image information storage means for storing image information of an object imaged by an imaging means, and the image information. Information indicating the motion state of the extracted object, including a verb indicating the type of motion of the object and a noun related to the motion of the object, and the noun for the verb State information storage means for storing the state information representing the semantic relationship in association with the image information stored in the image information storage means, and the state information search means is stored in the state information storage means. A status information retrieval step for retrieving the status information of the person who has been appointed from the status information or the status information of the suspicious person, and image information acquisition means in the image information storage means An image information acquisition step for acquiring the image information corresponding to the searched state information from the stored image information, and an extraction means for extracting the noun from the searched state information Step and information generating means is information including the extracted noun and the acquired image information, and information indicating wanted person information or information indicating a suspicious person. And an information generation step of generating certain suspicious person information.
本発明によれば、物体の動作状態を表す情報から、客観的で精度の高い指名手配情報または不審者情報が生成できるとともに、当該指名手配情報または不審者情報を用いることで指名手配者または不審者の対処に必要な情報を提供できるという効果を奏する。 According to the present invention, objective and highly accurate wanted arrangement information or suspicious person information can be generated from information representing the motion state of an object, and the wanted person or suspicious person information can be generated by using the wanted arrangement information or the suspicious person information. It is possible to provide information necessary for a person's coping.
以下に添付図面を参照して、この発明にかかる情報生成装置および情報生成方法の最良な実施形態を詳細に説明する。以下の実施の形態においては、本発明にかかる情報生成装置を警備装置に適用した例を示すが、これに限定されることなく、他の装置においても本発明を適用することができる。 Exemplary embodiments of an information generating apparatus and an information generating method according to the present invention will be explained below in detail with reference to the accompanying drawings. In the following embodiments, an example in which the information generation device according to the present invention is applied to a security device is shown, but the present invention can be applied to other devices without being limited thereto.
図1は、実施の形態にかかる警備装置100を含むシステムを示す構成図である。図1に示すように、本実施の形態の警備装置100は、ネットワーク50を介して監視センタ200と接続されている。また、警備装置100は、プリンタ300と接続されている。監視センタ200は、さらにネットワーク50を介して、他の警備装置100a、100b…100nと接続されている。なお、他の警備装置100a、100b…100nの機能および構成は、警備装置100の機能および構成と同様であり、以下の実施の形態では警備装置100について説明する。
FIG. 1 is a configuration diagram illustrating a system including a
ネットワーク50は、電話回線、無線ネットワーク、インターネットなどであって、警備装置100、100a、100b…100nと監視センタ200とを接続している。
The
監視センタ200は、監視領域を警備する警備装置100、100a、100b…100nからの異常を検知した旨を示す警報を受信した場合に、待機中の警備員に対して異常が検知された監視領域へ向かう旨の指示を出すとともに、必要に応じて警察や消防など関係機関への通報を行うセンタである。また、本実施の形態の監視センタ200は、警備装置から受信した種々の情報を、他の警備装置に送信(配信)する。
When the
プリンタ300は、警備装置100からの印刷指示により、警備装置100から送信された、指名手配されている人物を示す情報である指名手配情報または不審者を示す不審者情報を紙媒体10に印刷するものである。紙媒体10に指名手配情報が印刷された場合、携帯電話等の読取照合装置400は、指名手配情報が印刷された紙媒体10から指名手配されている人物に関する情報を読み取ることができる。また、紙媒体10に不審者情報が印刷された場合、読取照合装置400は、不審者情報が印刷された紙媒体10から不審者に関する情報を読み取ることができる。なと、プリンタ300n、読取照合装置400nに付いても同様である。
In response to a print instruction from the
警備装置100は、監視領域を警備するとともに、指名手配情報または不審者情報を生成し、生成した指名手配情報または不審者情報を紙媒体に印刷したり、他の監視装置に送信するものであり、センサ110と、監視カメラ120とを備えている。指名手配情報または不審者情報の詳細については、後述する。
The
センサ110は、警備対象である監視領域に設置されており、主に監視領域への侵入者等の異常を検知する目的で設置された人感センサであり、人の存在や扉の開閉を検知した場合に検知信号を出力する。センサ110は、例えば、赤外線の受光量の変化をもとに人の存在を検出する赤外線センサ、赤外線等の受信が遮断されることで人の存在を検出する遮断センサ、電磁波の乱れで人の存在を検知する電波センサ、およびマグネットにより扉の開閉を検出するマグネットセンサなどの監視領域の異常を検出する各種センサによって構成できる。本実施の形態のセンサ110は、監視領域での異常を検知すると、検知情報受信部131(後述)に、異常を検知した旨の検知信号を送出する。
The
監視カメラ120は、警備対象である監視領域を撮像するものであり、主に監視領域である住居の出入口付近や敷地内への出入口付近に設置されている。
The
次に、警備装置100の内部構成について説明する。図2は、実施の形態にかかる警備装置100の構成を示すブロック図である。図2に示すように、警備装置100の本体部130は、検知情報受信部131と、警備状態記憶部132と、警備状態切替部133と、操作パネル制御部134と、画像処理部135と、言語構造構築部136と、状態情報検索部137と、画像情報取得部138と、抽出部139と、QRコード(Quick Response code)生成部140と、情報生成部141と、印刷部142と、送受信部143と、操作パネル180と、画像情報DB(データベース)150と、状態情報DB160とを主に含んで構成されている。さらに、操作パネル180は、入力受付部181と、状態情報表示部182と、画像表示部183とを主に含んで構成されている。
Next, the internal configuration of the
検知情報受信部131は、センサ110によって異常が検知された場合に送出される検知情報を受信する。検知情報は、センサ110から送出される検知信号であり、センサ110が複数設置されている場合は、検知信号およびセンサを識別するセンサID等も含まれる。
The detection information receiving unit 131 receives detection information that is sent when an abnormality is detected by the
警備状態記憶部132は、現在の警備装置100の警備モードである警備状態または警備解除状態のいずれかを記憶するHDDやメモリ等の記憶媒体である。
The security
ここで、警備状態とは、センサ110が異常を検知して検知情報を取得した場合に、監視領域での異常を知らせる旨の警報情報をネットワーク50で接続されている監視センタ200に送信する状態をいい、警備解除状態とは、上記検知情報を取得した場合でも異常を知らせる警報情報を監視センタ200に送信しない状態をいう。
Here, the security state is a state in which alarm information for notifying abnormality in the monitoring area is transmitted to the
警備状態切替部133は、後述するように操作パネル180が入力を受け付けた警備モードの切替信号が操作パネル制御部134によって制御され、制御された切替信号に従って、現在の警備モードを警備状態記憶部132に格納する。
As will be described later, the security
操作パネル180は、LCD(Liquid Crystal Display)等の液晶パネルから構成され、液晶パネル上に表示された操作ボタンの押下等によって上述した警備状態または警備解除状態のいずれかの警備状態を入力する。
The
操作パネル制御部134は、操作パネル180への表示情報の出力や、操作パネル180から入力された入力情報の取得等の制御を行う。
The operation
入力受付部181は、利用者から、状態情報DB160(後述)に記憶された状態情報の中から、指名手配されている人物の状態情報を検索して取得するための検索キーとなるキー情報の入力を受け付けるものである。また、入力受付部181は、利用者から、状態情報DB160(後述)に記憶された状態情報の中から、不審者の状態情報を検索して取得するための検索キーとなるキー情報の入力を受け付ける。
The
また、入力受付部181は、指名手配されている人物の特定情報の入力を受け付ける。指名手配されている人物の特定情報とは、指名手配されている人物に関する種々の情報であり、例えば、指名手配されている人物の人物名、指名手配されている人物が犯した罪状、指名手配されている人物を発見した際に利用者が通報する連絡先、または指名手配されている人物を発見した者への懸賞の情報である懸賞情報である。そして、受け付けた特定情報は、後述する情報生成部141により、指名手配情報に含められる。
Moreover, the
また、入力受付部181は、不審者の特定情報の入力を受け付ける。不審者の特定情報とは、不審者に関する種々の情報であり、例えば、不審者を発見した際に利用者が通報する連絡先などである。そして、受け付けた特定情報は、後述する情報生成部141により、不審者情報に含められる。
Moreover, the
状態情報表示部182は、入力受付部181が入力を受け付けたキー情報により検索され取得された状態情報を表示する。また、画像表示部183は、監視カメラ120により撮影された画像や映像を表示する。
The state
画像情報DB150は、監視カメラ120が撮像した画像情報や映像情報を、その撮像された時間(例えば、撮像開始時刻、撮像終了時刻)、および言語構造構築部136(後述)により構築された状態情報の深層格フレームID(後述)と共に記憶するものであり、HDD(Hard Disk Drive)やメモリ等の記憶媒体に記憶されている。
The
画像処理部135は、画像情報DB150に記憶された監視カメラ120によって撮像された画像情報を解析し、撮像された画像に映った物体の動作状態の画像情報や映像情報を抽出する。例えば、画像処理部135は、撮像された画像に人物が映っている場合には、肌領域を検出する等して人物を特定し、特定した人物の動作(例えば、玄関に向かって歩行している状態)の画像情報や映像情報を抽出する。
The
言語構造構築部136は、画像処理部135が画像情報DB150に記憶された画像情報や映像情報から抽出した物体の動作状態の画像情報や映像情報から、後述する深層格フレームによって表された状態情報を構築する。
The language structure constructing unit 136 uses state information represented by a deep case frame to be described later from image information and video information on the motion state of the object extracted from the image information and video information stored in the
状態情報DB160は、物体の動作状態を深層格フレーム構造で表した状態情報を、画像情報DB150に記憶されている画像情報や映像情報に対応付けて記憶するものであり、HDDやメモリ等の記憶媒体に記憶されている。なお、深層格フレーム(以下、単に格フレームとも言う)とは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造のことである。具体的には、画像情報DB150に記憶される画像情報や映像情報と状態情報DB160とは、後述する深層格フレームIDによって対応付けられている。
The
図3は、状態情報DB160に記憶される状態情報のデータ構造を示す図である。図3に示すように、状態情報は、格フレームを識別する格フレームIDと、動作(行動)の種類を表す行動名(動詞)と、動作に関連する名詞である格要素(深層格)とを含んでいる。深層格には、主格、属性格(属性情報)、場所格、および時間格が含まれる。
FIG. 3 is a diagram illustrating a data structure of state information stored in the
主格は、動作を引き起こす主体を表し、例えば、人物の名前が含まれる。属性格(属性情報)は、主格に関する情報をいう。例えば、属性格は、身長高、体型、上半身色および下半身色(衣服の色)、頭色、容貌等の顔情報、および歩容情報等を含む。 The main character represents a subject that causes an action, and includes, for example, the name of a person. The attribute case (attribute information) refers to information on the main case. For example, the attribute case includes height information, body shape, upper body color and lower body color (clothing color), head color, facial information such as appearance, and gait information.
顔情報および歩容情報は、さらに詳細な要素に分けられる。例えば、顔情報は、顔の特徴を表す顔特徴(鼻が高い、目が二重、眉が濃い等)、視線方向、マスクの有無、サングラスの有無、性別、および年代などの要素を含む。また、歩容情報は、歩幅、姿勢、脚長、および歩速などの要素を含む。 Face information and gait information are further divided into detailed elements. For example, the face information includes elements such as facial features (high nose, double eyes, dark eyebrows, etc.) representing facial features, line-of-sight direction, presence / absence of mask, presence / absence of sunglasses, gender, and age. The gait information includes elements such as stride length, posture, leg length, and walking speed.
場所格は、動作や状態が起こる場所を表す。例えば、場所格は、頭部位置、体位置、手位置、顔位置、および脚部位置等を含む。 A place case represents a place where an action or a state occurs. For example, the place case includes a head position, a body position, a hand position, a face position, a leg position, and the like.
時間格は、動作や状態が起こる時間を表す。例えば、時間格は、現在時刻を表す時刻、動作が開始された時刻を表す動作開始時刻、動作が終了した時刻を表す動作終了時刻、および年月日等を表す。 The time case represents the time at which an action or condition occurs. For example, the time case represents a time representing the current time, an operation start time representing the time at which the operation was started, an operation end time representing the time at which the operation was completed, and a date.
なお、利用できる深層格はこれらに限られず、例えば精神的事象の経験者を表す経験者格などの、その他のあらゆる深層格を用いることができる。 In addition, the deep case which can be utilized is not restricted to these, For example, all other deep cases, such as the experience person's case showing the experience person of a mental event, can be used.
図4は、状態情報DB160に記憶される状態情報の具体例を示す図である。図4は、00003(主格)の「滞在」という行動を検出したときに生成される状態情報の一例を示している。この場合、属性格には、主格の身長高、体型などの具体的な値が設定される。また、場所格および時間格には、それぞれ主格が滞在しているときの位置や時刻に関する具体的な値が設定される。
FIG. 4 is a diagram illustrating a specific example of the state information stored in the
状態情報検索部137は、状態情報DB160に記憶されている状態情報の中から、入力受付部181が入力を受け付けた、指名手配されている人物に関するキー情報(キーワードや文章等)を含む状態情報、または不審者に関するキー情報を含む状態情報を検索するものである。
The state
なお、上述した状態情報検索部137が、入力受付部181が入力を受け付けたキーワードや文章等のキー情報に従って、深層格フレームとして記憶された主格や属性格等の情報を検索する方法は、入力されたキー情報が、主格や属性格といった深層格フレームとして記憶されている内容と完全に一致する場合の他、部分的に一致する場合、これらの内容に類似性がある場合等も検索できるものとする。ここで、類似性がある場合の検索手法については、その内容の主成分分析を行って検索する手法等、従来から行われている技術によって検索することができる。
The above-described state
画像情報取得部138は、画像情報DB150に記憶されている画像情報の中から、状態情報検索部137により検索された状態情報に対応する画像情報を取得するものである。具体的には、画像情報取得部138は、状態情報検索部137により検索された状態情報における深層格フレームの時間格に含まれている撮像開始時刻から撮像終了時刻までの画像情報のうち精度の高い画像である画像情報を、画像情報DB150に記憶されている画像情報の中から取得する。なお、画像情報取得部138により取得する画像情報は、警備装置において検索しなくとも、利用者により選択する構成としてもよい。
The image information acquisition unit 138 acquires image information corresponding to the state information searched by the state
抽出部139は、状態情報検索部137により検索された状態情報から、属性格に含まれる身長高、体型、上半身色および下半身色(衣服の色)を抽出し、さらに属性格の顔情報に含まれる性別、年代、顔特徴を抽出する。
The
QRコード生成部140は、状態情報検索部137により検索された状態情報から抽出部139により抽出された顔特徴から、該顔特徴を識別する識別情報を生成するものであり、本実施の形態では、顔特徴を2次元コードで示すQRコードを生成する。ここで、QRコードは、公知の手法により生成する。
The QR
情報生成部141は、抽出部139により抽出された属性格に含まれる身長高、体型、上半身色および下半身色(衣服の色)、性別、年代と、画像情報取得部138により取得された画像情報と、QRコード生成部140により生成されたQRコードと、入力受付部181により受け付けた特定情報(指名手配されている人物名、罪状、連絡先や懸賞情報など)とを含めた指名手配情報を生成する。また、情報生成部141は、抽出部139により抽出された属性格に含まれる身長高、体型、上半身色および下半身色(衣服の色)、性別、年代と、画像情報取得部138により取得された画像情報と、QRコード生成部140により生成されたQRコードと、入力受付部181により受け付けた特定情報(不審者を発見した際の連絡先など)とを含めた不審者情報を生成する。ここでは、一例として上記に挙げた属性格に含まれる情報を含めて指名手配情報または不審者情報を生成しているが、属性格における他の情報や、他の格要素に含まれる情報を含めて指名手配情報または不審者情報を生成してもよい。
The
ここで、指名手配情報について説明する。図5は、指名手配情報の一例を示す図である。図5に示すように、指名手配情報は、指名手配されている人物を示す情報であり、左側上部から指名手配されている人物の特徴が記載される。図5では、罪状が「強盗・窃盗犯」、氏名(人物名)が「泥棒太郎」、性別が「男」、年代が「29〜39才」、身長(身長高)が「182cm」、体型が「痩せ型」、衣服特徴(衣服の色)が「上衣―青」「下衣−黒」、特記事項が「なし」の特徴を有する人物が指名手配されている旨が記載されている。そして、右側には、指名手配されている人物の画像が表示され、画像の下方には、通報する連絡先「○○△×○△○○××○」とQRコードが記載されている。 Here, the wanted arrangement information will be described. FIG. 5 is a diagram illustrating an example of wanted arrangement information. As shown in FIG. 5, the wanted arrangement information is information indicating a person who has been nominated, and describes the characteristics of the person who has been nominated from the upper left part. In FIG. 5, the crime is “robbery / theft”, name (person name) is “thief Taro”, gender is “male”, age is “29-39 years old”, height (height) is “182 cm”, body type Indicates that a person having the characteristics of “lean type”, clothing characteristics (clothing color) of “upper-blue” and “underwear-black” and special mention of “none” is arranged. On the right side, an image of a person who has been appointed is displayed, and below the image, a contact information to be notified “XXXXX” and a QR code are described.
また、不審者情報について説明する。不審者情報は、不審者を示す情報であり、例えば、図5を参考に説明すると、指名手配情報と同様に、左側上部から不審者の特徴が記載されるが、不審者に関しては、罪状や氏名(人物名)が定まっていないため、それらは記載されていない。従って、不審者情報は、指名手配情報における氏名(人物名)および罪状以外が記載されたものである。 Also, suspicious person information will be described. The suspicious person information is information indicating the suspicious person. For example, referring to FIG. 5, the characteristic of the suspicious person is described from the upper left side like the wanted arrangement information. Since the name (person name) is not fixed, they are not described. Accordingly, the suspicious person information includes information other than the name (person name) and the charges in the wanted arrangement information.
印刷部142は、情報生成部141により生成された指名手配情報または不審者情報を、プリンタ300により紙媒体に印刷するものである。
The
送受信部143は、ネットワーク50を介して監視センタ200との間で各種情報を送受信するものである。例えば、送受信部143は、センサ110により異常が検知された場合に、監視領域に異常が発生した旨の警報を監視センタ200に送信する。また、送受信部143は、情報生成部141により生成された指名手配情報または不審者情報を、格フレームの値等を用いて文字情報のみからなる送信用指名手配情報または送信用不審者情報に変換し、ネットワーク50を介して監視センタ200や他の警備装置100a、100b…100nに送信するものである。
The transmission /
ここで、変換された送信用指名手配情報について説明する。図6は、送信用指名手配情報の一例を示す図である。図6に示すように、送信用指名手配情報は、指名手配情報における指名手配されている人物の特徴を文字情報で示したものである。図6では、格フレームの値を用いて、氏名を「Name:泥棒太郎;」、性別を「SexType:Male;」、年代を「Age:29−39;」、身長を「Height:182.00;」、体型を「Figure:0;」、衣服特徴を「BodyColor:5,3,50,24,8,8,8,15,30;」「LegColor:8,15,9,8,8,3,10,10,5;」、罪状を「CrimeType:larceny,holdup;」、顔特徴を「FaceIdent:[23,11,39,..,80];」、特記事項を「Note:none;」、連絡先を「No:○○△×○△○○××○」とした文字情報で示している。また、図6では、画像情報のファイル名を用いて、画像を「ImageFile:0003.jpg」とした文字情報で示している。 Here, the converted wanted arrangement information for transmission will be described. FIG. 6 is a diagram illustrating an example of transmission wanted arrangement information. As shown in FIG. 6, the wanted arrangement information for transmission is a character information indicating the characteristics of the person who has been nominated in the wanted arrangement information. In FIG. 6, using the value of the case frame, the name is “Name: Thief Taro;”, the gender is “SexType: Male;”, the age is “Age: 29-39;”, and the height is “Height: 182.00”. ", The figure is" Figure: 0; ", the clothing features are" BodyColor: 5, 3, 50, 24, 8, 8, 8, 15, 30; "" LegColor: 8, 15, 9, 8, 8, " 3, 10, 10, 5; "Crime is" CrimpeType: larceny, holdup; ", facial features are" FaceIdent: [23, 11, 39, ..., 80]; "and special notes are" Note: none; ", And the contact information is indicated by character information with" No: XX △ XX XXX XX ". In FIG. 6, the image information is indicated by character information “ImageFile: 0003.jpg” using the file name of the image information.
また、変換された送信用不審者情報について説明する。送信用不審者情報は、不審者情報における不審者の特徴を文字情報で示したものであり、例えば、図6を参考に説明すると、送信用指名手配情報と同様に、格フレームの値を用いて、送信用指名手配情報の氏名、罪状以外を文字情報で示したものである。 Also, the converted suspicious person information for transmission will be described. The suspicious person information for transmission is the character information indicating the characteristics of the suspicious person in the suspicious person information. For example, as described with reference to FIG. The information other than the name and guilt of the wanted information for transmission is indicated by character information.
続いて、以上のように構成された実施の形態にかかる警備装置100で実行される指名手配情報生成処理について説明する。図7は、実施の形態にかかる警備装置100による指名手配情報生成処理の流れを示すフローチャートである。以下の説明では、画像情報DB150には予め監視カメラ120によって撮像された画像情報や映像情報が記憶され、状態情報DB160には、その画像情報や映像情報に対応付けられて記憶された深層格フレームが記憶されているものとする。
Next, the wanted information generation process executed by the
まず、状態情報検索部137は、入力受付部181により、指名手配されている人物に関するキー情報の入力を受け付けたか否かを判断する(ステップS10)。キー情報を受け付けていない場合(ステップS10:No)、受け付けるまで待機する。一方、キー情報を受け付けた場合(ステップS10:Yes)、状態情報検索部137は、状態情報DB160に記憶されている状態情報の中から、キー情報を検索キーとして、指名手配されている人物の状態情報を検索する(ステップS11)。そして、抽出部139は、状態情報検索部137により検索された状態情報から、顔特徴等を含む属性格(身長高、体型、上半身色および下半身色(衣服の色)、性別、年代、顔特徴等)を抽出する(ステップS12)。
First, the state
次に、画像情報取得部138は、画像情報DB150に記憶されている画像情報の中から、状態情報検索部137により検索された状態情報に対応する画像情報を取得する(ステップS13)。そして、QRコード生成部140は、抽出部139により抽出された顔特徴から、QRコードを公知の手法により生成する(ステップS14)。
Next, the image information acquisition unit 138 acquires image information corresponding to the state information searched by the state
次に、情報生成部141は、入力受付部181により、指名手配されている人物名、罪状、当該人物を見つけた際の連絡先、懸賞情報等の特定情報を受け付けたか否かを判断する(ステップS15)。特定情報を受け付けていない場合(ステップS15:No)、受け付けるまで待機する。
Next, the
一方、特定情報を受け付けた場合(ステップS15:Yes)、情報生成部141は、抽出部139により抽出された属性格と、画像情報取得部138により取得された画像情報と、QRコード生成部140により生成されたQRコードと、入力受付部181により受け付けた特定情報とを含む指名手配情報を生成する(ステップS16)。なお、特定情報として人物名、罪状を受け付けていれば、連絡先や懸賞情報を受け付けていなくても、情報生成部141は、指名手配情報を生成できる構成としてもよい。
On the other hand, when the specific information is received (step S15: Yes), the
そして、印刷部142は、情報生成部141により生成された指名手配情報を紙媒体に印刷する(ステップS17)。また、送受信部143は、情報生成部141により生成された指名手配情報を変換した送信用指名手配情報を、監視センタ200を介して他の警備装置100a、100b…100nに送信する(ステップS18)。
Then, the
図7では、警備装置100による指名手配情報生成処理の流れを示したが、不審者情報生成処理の流れも同様である。すなわち、状態情報検索部137は、不審者に関するキー情報を受け付けると、該キー情報により不審者の状態情報を検索する。そして、抽出部139は、検索された状態情報から、顔特徴を含む属性格を抽出し、画像情報取得部138は、検索された状態情報に対応する画像情報を取得し、QRコード生成部140がQRコードを生成する(ステップS10〜14参照)。
In FIG. 7, the flow of the wanted information generation process by the
次に、入力受付部181により不審者を見つけた際の連絡先を受け付けた場合、情報生成部141は、抽出部139により抽出された属性格と、画像情報取得部138により取得された画像情報と、QRコード生成部140により生成されたQRコードと、入力受付部181により受け付けた特定情報とを含む不審者情報を生成する。なお、ここでも特定情報である連絡先を受け付けていなくても、不審者情報を生成できる構成としてもよい。そして、印刷部142は、生成された不審者情報を印刷紙、送受信部143は、不審者除法を変換した送信用不審者情報を他の警備装置100a等に送信する(ステップS15〜18参照)。
Next, when the contact information when the suspicious person is found is received by the
その後、印刷部142により指名手配情報(または不審者情報)が印刷された紙媒体10に記載されているQRコードを、携帯電話等の読取照合装置400で読み取ると、読取照合装置400は、指名手配されている人物(または不審者)の顔特徴を取得して装置内に登録することができる。そして、読取照合装置400は、自装置で撮影した人物の顔特徴と、登録された人物の顔特徴とを照合することで、指名手配された人物(または不審者)か否かを判断できる。これにより、照合するためのデータを送受信するための専用の送受信機能を持たずとも、読取照合装置400によって指名手配されている可能性のある人物(または不審な行動をとる可能性のある人物)の顔情報を撮影するだけで、指名手配された人物(または不審者)か否かを照合することができる。
Thereafter, when the QR code written on the
また、送受信部143により送信用指名手配情報(または送信用不審者情報)を、監視センタ200を介して遠隔地の他の警備装置100a、100b…100nに送信(配信)することで、遠隔地においても同様に指名手配情報(または不審者情報)を利用した指名手配者(または不審者)の照合が可能となる。
Further, the sending / receiving
このように、本実施の形態にかかる警備装置100では、格フレームで表現された物体の動作状態を表す状態情報から指名手配されている人物または不審者に関する情報を抽出し、抽出した情報により指名手配情報または不審者情報を生成することで、客観的で精度の高い指名手配情報または不審者情報を生成することができる。さらに、そのように生成された指名手配情報または不審者情報を紙媒体へ印刷したり、他の警備装置100a、100b…100nへ送信することで、警備装置100以外の読取照合装置400や、警備装置100a、100b…100nにおいて指名手配情報または不審者情報を利用できるため、指名手配者または不審者の対処に必要な情報を提供できる。
As described above, in the
本実施の形態では、利用者により入力されたキー情報により、指名手配されている人物または不審者の状態情報を検索しているが、これに限定されることはない。すなわち、警備装置において、予め定めた指名手配されている人物または不審者の特徴をキーとして、指名手配されている人物または不審者の状態情報を検索して、指名手配情報または不審者情報を生成する構成としてもよい。 In the present embodiment, the state information of the person or suspicious person who has been appointed is searched based on the key information input by the user. However, the present invention is not limited to this. That is, in the security device, using the characteristics of a predetermined person or suspicious person as a key, search the status information of the person or suspicious person who has been appointed, and generate wanted information or suspicious person information It is good also as composition to do.
また、本実施の形態では、警備装置において指名手配情報または不審者情報を生成するシステムについて説明したが、監視センタにおいて指名手配情報または不審者情報を生成してもよい。具体的には、警備装置の監視カメラにより撮影された画像情報を監視センタに送信し、監視センタにおいて撮像された画像情報から状態情報を構築して蓄積する。そして、監視センタにおいて、蓄積した状態情報から指名手配情報または不審者情報を生成し、生成した指名手配情報または不審者情報を紙媒体に印刷したり、各警備装置に送信する。このような構成によっても、本実施の形態と同様に、客観的で精度の高い指名手配情報または不審者情報を生成し、指名手配者または不審者の対処に必要な情報を提供できる。 In the present embodiment, the system for generating wanted arrangement information or suspicious person information in the security device has been described. However, the monitoring center may generate wanted arrangement information or suspicious person information. Specifically, image information captured by the monitoring camera of the security device is transmitted to the monitoring center, and status information is constructed and stored from the image information captured at the monitoring center. Then, the monitoring center generates wanted arrangement information or suspicious person information from the accumulated state information, and prints the created wanted arrangement information or suspicious person information on a paper medium or transmits it to each security device. Also with such a configuration, objective and highly accurate wanted arrangement information or suspicious person information can be generated and information necessary for dealing with the wanted person or suspicious person can be provided, as in the present embodiment.
10 紙媒体
50 ネットワーク
100、100a、100b…100n 警備装置
110 センサ
120 監視カメラ
130 本体部
131 検知情報受信部
132 警備状態記憶部
133 警備状態切替部
134 操作パネル制御部
135 画像処理部
136 言語構造構築部
137 状態情報検索部
138 画像情報取得部
139 抽出部
140 QRコード生成部
141 情報生成部
142 印刷部
143 送受信部
150 画像情報DB
160 状態情報DB
180 操作パネル
181 入力受付部
182 状態情報表示部
183 画像表示部
200 監視センタ
300 プリンタ
400 読取照合装置
DESCRIPTION OF
160 Status information DB
180
Claims (15)
前記画像情報を解析して物体の動作状態を抽出し、抽出した前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶する状態情報記憶手段と、
前記状態情報記憶手段に記憶されている前記状態情報の中から、指名手配されている人物の前記状態情報または不審者の前記状態情報を検索する状態情報検索手段と、
前記画像情報記憶手段に記憶されている前記画像情報の中から、検索された前記状態情報に対応する前記画像情報を取得する画像情報取得手段と、
検索された前記状態情報から、前記名詞を抽出する抽出手段と、
抽出された前記名詞と取得された前記画像情報とを含む情報であって、指名手配されている人物を示す情報である指名手配情報、または不審者を示す情報である不審者情報を生成する情報生成手段と、
を備えることを特徴とする情報生成装置。 Image information storage means for storing image information of the object imaged by the imaging means;
Analyzing the image information to extract the motion state of the object, the information representing the motion state of the extracted object, including a verb representing the motion type of the object and a noun related to the motion of the object State information storage means for storing state information representing the semantic relationship of the noun to the verb in association with the image information stored in the image information storage means;
Status information search means for searching for the status information of the person being appointed or the status information of the suspicious person from the status information stored in the status information storage means;
Image information acquisition means for acquiring the image information corresponding to the searched state information from the image information stored in the image information storage means;
Extracting means for extracting the noun from the searched state information;
Information including the extracted noun and the acquired image information, and information for generating wanted information, which is information indicating a person who has been nominated, or suspicious person information, which is information indicating a suspicious person Generating means;
An information generation device comprising:
前記抽出手段は、検索された前記状態情報から、前記属性情報を抽出し、
前記情報生成手段は、抽出された前記属性情報と取得された前記画像情報とを含む前記指名手配情報または前記不審者情報を生成することを特徴とする請求項1に記載の情報生成装置。 The state information includes attribute information indicating characteristics of the object as the noun,
The extraction means extracts the attribute information from the retrieved state information,
The information generation apparatus according to claim 1, wherein the information generation unit generates the wanted arrangement information or the suspicious person information including the extracted attribute information and the acquired image information.
前記抽出手段は、検索された前記状態情報から、前記属性情報に含まれる性別、年代、身長、体型、衣服の色、および顔特徴を抽出し、
前記情報生成手段は、抽出された前記属性情報に含まれる性別、年代、身長、体型、衣服の色、および顔特徴と、取得された前記画像情報とを含む前記指名手配情報または前記不審者情報を生成することを特徴とする請求項2に記載の情報生成装置。 The attribute information includes gender, age, height, body shape, clothing color, and facial features of the person who is the object,
The extraction means extracts gender, age, height, body shape, clothing color, and facial features included in the attribute information from the retrieved state information,
The information generation means includes the wanted arrangement information or the suspicious person information including gender, age, height, body shape, clothing color, and facial features included in the extracted attribute information, and the acquired image information. The information generation apparatus according to claim 2, wherein the information generation apparatus generates the information.
前記情報生成手段は、抽出された前記属性情報に含まれる性別、年代、身長、体型、および衣服の色と、取得された前記画像情報と、生成された前記顔特徴識別情報とを含む前記指名手配情報または前記不審者情報を生成することを特徴とする請求項3に記載の情報生成装置。 Identification information generating means for generating facial feature identification information for identifying the facial feature from the facial feature extracted from the retrieved state information;
The information generation means includes the nomination including gender, age, height, body shape, and clothing color included in the extracted attribute information, the acquired image information, and the generated facial feature identification information The information generation apparatus according to claim 3, wherein arrangement information or the suspicious person information is generated.
前記情報生成手段は、抽出された前記名詞と、取得された前記画像情報と、受け付けた前記特定情報とを含む前記指名手配情報または不審者情報を生成することを特徴とする請求項1に記載の情報生成装置。 An input receiving means for receiving input of specific information related to the wanted person or the suspicious person;
2. The information generation unit generates the wanted arrangement information or suspicious person information including the extracted noun, the acquired image information, and the received specific information. Information generator.
前記情報生成手段は、抽出された前記名詞と、取得された前記画像情報と、受け付けた前記人物名および前記罪状とを含む前記指名手配情報を生成することを特徴とする請求項6に記載の情報生成装置。 The input accepting unit accepts an input of a person name of a person who has been nominated and a crime that has been nominated as the specific information,
The information generation means generates the wanted arrangement information including the extracted noun, the acquired image information, and the received person name and the crime. Information generator.
前記情報生成手段は、抽出された前記名詞と、取得された前記画像情報と、受け付けた前記連絡先および前記懸賞情報とを含む前記指名手配情報を生成することを特徴とする請求項6に記載の情報生成装置。 The input accepting means accepts, as the specific information, an input of a prize information which is a contact information when a person who has been nominated is found, and information of a prize to a person who has found the person who has been nominated,
The information generation means generates the wanted arrangement information including the extracted noun, the acquired image information, and the received contact information and prize information. Information generator.
前記情報生成手段は、抽出された前記名詞と、取得された前記画像情報と、受け付けた前記連絡先とを含む前記不審者情報を生成することを特徴とする請求項6に記載の情報生成装置。 The input receiving means receives the input of the contact information when the suspicious person is found as the specific information,
The information generation device according to claim 6, wherein the information generation unit generates the suspicious person information including the extracted noun, the acquired image information, and the received contact information. .
前記状態情報検索手段は、前記入力受付手段が入力を受け付けた前記キー情報に基づいて、前記状態情報記憶手段に記憶されている前記状態情報の中から、指名手配されている人物の前記状態情報または不審者の前記状態情報を検索することを特徴とする請求項1に記載の情報生成装置。 An input receiving means for receiving input of key information for searching for the state information;
The status information search means is based on the key information received by the input receiving means, and the status information of the person who has been arranged from the status information stored in the status information storage means. The information generation apparatus according to claim 1, wherein the status information of the suspicious person is searched.
前記情報生成装置は、
撮像手段が撮像した物体の画像情報を記憶する画像情報記憶手段と、
前記画像情報を解析して物体の動作状態を抽出し、抽出した前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶する状態情報記憶手段と、を備え、
状態情報検索手段が、前記状態情報記憶手段に記憶されている前記状態情報の中から、指名手配されている人物の前記状態情報または不審者の前記状態情報を検索する状態情報検索ステップと、
画像情報取得手段が、前記画像情報記憶手段に記憶されている前記画像情報の中から、検索された前記状態情報に対応する前記画像情報を取得する画像情報取得ステップと、
抽出手段が、検索された前記状態情報から、前記名詞を抽出する抽出ステップと、
情報生成手段が、抽出された前記名詞と取得された前記画像情報とを含む情報であって、指名手配されている人物を示す情報である指名手配情報、または不審者を示す情報である不審者情報を生成する情報生成ステップと、
を含むことを特徴とする情報生成方法。 An information generation method executed by an information generation device,
The information generation device includes:
Image information storage means for storing image information of the object imaged by the imaging means;
Analyzing the image information to extract the motion state of the object, the information representing the motion state of the extracted object, including a verb representing the motion type of the object and a noun related to the motion of the object State information storage means for storing state information representing the semantic relationship of the noun to the verb in association with the image information stored in the image information storage means,
A status information search means for searching the status information of the person being appointed or the status information of the suspicious person from the status information stored in the status information storage means;
An image information acquisition unit that acquires the image information corresponding to the searched state information from the image information stored in the image information storage unit;
An extracting step for extracting the noun from the retrieved state information;
A suspicious person whose information generation means is information including the extracted noun and the acquired image information and is information indicating wanted person information or information indicating a suspicious person. An information generation step for generating information;
An information generation method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008335023A JP2010157097A (en) | 2008-12-26 | 2008-12-26 | Device and method for generation information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008335023A JP2010157097A (en) | 2008-12-26 | 2008-12-26 | Device and method for generation information |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010157097A true JP2010157097A (en) | 2010-07-15 |
Family
ID=42574992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008335023A Pending JP2010157097A (en) | 2008-12-26 | 2008-12-26 | Device and method for generation information |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010157097A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015130155A (en) * | 2013-12-02 | 2015-07-16 | Lykaon株式会社 | Crime prevention system |
WO2016088401A1 (en) * | 2014-12-01 | 2016-06-09 | Lykaon株式会社 | Security system |
JP2016131288A (en) * | 2015-01-13 | 2016-07-21 | 東芝テック株式会社 | Information processing apparatus and program |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003087771A (en) * | 2001-09-07 | 2003-03-20 | Oki Electric Ind Co Ltd | Monitoring system and monitoring method |
-
2008
- 2008-12-26 JP JP2008335023A patent/JP2010157097A/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003087771A (en) * | 2001-09-07 | 2003-03-20 | Oki Electric Ind Co Ltd | Monitoring system and monitoring method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015130155A (en) * | 2013-12-02 | 2015-07-16 | Lykaon株式会社 | Crime prevention system |
WO2016088401A1 (en) * | 2014-12-01 | 2016-06-09 | Lykaon株式会社 | Security system |
JP2016131288A (en) * | 2015-01-13 | 2016-07-21 | 東芝テック株式会社 | Information processing apparatus and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5523900B2 (en) | Person search device, person search method, and person search program | |
KR100808316B1 (en) | Person searching device, person searching method and access control system | |
JP5091095B2 (en) | Motion detection device and motion detection method | |
US20080186381A1 (en) | Customer service counter/checkpoint registration system with video/image capturing, indexing, retrieving and black list matching function | |
JP5590945B2 (en) | Person search device, person search method, and person search program | |
US20070024921A1 (en) | Image forming device and method for the same | |
JP2008108243A (en) | Person recognition device and person recognition method | |
JP2009252215A (en) | Security device and information display method | |
JP2007156541A (en) | Person recognition apparatus and method and entry/exit management system | |
KR101084914B1 (en) | Indexing management system of vehicle-number and man-image | |
KR20180085505A (en) | System for learning based real time guidance through face recognition and the method thereof | |
JP7146125B2 (en) | Ticket inspection device and program | |
JP5423740B2 (en) | Video providing apparatus, video using apparatus, video providing system, video providing method, and computer program | |
JP2010157097A (en) | Device and method for generation information | |
JP2020198475A (en) | Person monitoring system and person monitoring method | |
JP5621534B2 (en) | Access control system and personal identification data reader | |
JP2022003526A (en) | Information processor, detection system, method for processing information, and program | |
JP2009205594A (en) | Security device and suspicious person determining method | |
JP2010257450A (en) | Device, method, and program for retrieving person | |
JP4944818B2 (en) | Search device and search method | |
JP2002251614A (en) | Device, system, method, and program for collating organism | |
JP2018195992A (en) | Person group tracking device and person group tracking method | |
JP5227046B2 (en) | Motion detection device and motion detection method | |
JP7142443B2 (en) | Image authentication system, image authentication method and image authentication program | |
JP2009211389A (en) | Logger and logging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120925 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130205 |