JP2017097599A - Method and device for determining exceptional behavior customer - Google Patents
Method and device for determining exceptional behavior customer Download PDFInfo
- Publication number
- JP2017097599A JP2017097599A JP2015228792A JP2015228792A JP2017097599A JP 2017097599 A JP2017097599 A JP 2017097599A JP 2015228792 A JP2015228792 A JP 2015228792A JP 2015228792 A JP2015228792 A JP 2015228792A JP 2017097599 A JP2017097599 A JP 2017097599A
- Authority
- JP
- Japan
- Prior art keywords
- customer
- rule
- movement
- series data
- exceptional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Burglar Alarm Systems (AREA)
Abstract
Description
本発明は、監視カメラによって撮影した顧客の動きのデータに基づいて、顧客の行動を判定する方法、特に、顧客の例外行動の有無を、自動で且つ高精度に判定できる方法に関する。 The present invention relates to a method for determining a customer's behavior based on data of a customer's movement photographed by a monitoring camera, and more particularly to a method capable of automatically and accurately determining the presence / absence of a customer's exceptional behavior.
総務省の統計によると、日本は、2013年9月には、65歳以上の高齢者の総人口に占める割合が25％になり、4人に1人が高齢者となっている。
また、国土交通省の統計によると、2014年の訪日外国人旅行者数は、1341万人を記録し過去最高記録を更新している。
According to statistics from the Ministry of Internal Affairs and Communications, in September 2013, the proportion of elderly people aged 65 and over accounted for 25% of the total population, and one in four were elderly.
According to statistics from the Ministry of Land, Infrastructure, Transport and Tourism, the number of foreign tourists visiting Japan in 2014 was 13.41 million, a record high.
これらの事実に伴って、高齢者や外国人旅行者が、電車、駅、銀行やデパート等の施設、各種のイベント施設やスポーツ施設において、道に迷うこと、体調を崩して気分が悪くなること、迷惑になる行動を起こすこと等の、第三者の助けが必要になる事象が増加している。
また、近年、商業施設や鉄道での事件が報道されており、防犯や安全確保の観点から、不審者を監視するシステムが望まれている。
Along with these facts, elderly people and foreign tourists may get lost or feel unwell in trains, stations, banks, department stores, etc., various event facilities and sports facilities. There are an increasing number of events that require the help of third parties, such as taking annoying actions.
In recent years, incidents in commercial facilities and railways have been reported, and a system for monitoring suspicious persons is desired from the viewpoint of crime prevention and ensuring safety.
そのため、公共の施設において、人の動きを観察し、サポートが必要な状況を把握できる技術の開発が望まれている。
例えば、特許文献１には、撮像手段とセンサ手段とを一体化し、相互一体制御することにより、犯罪の行われる監視対象の物体の場所、位置の現場映像と、その犯行現場における摘発映像を撮像手段により確実に撮像し、その映像を現場に設ける画像表示管理装置に表示する防犯監視システムが開示されている。
また、特許文献２には、人物の顔の向き又は用途のプロファイルを判別要素に加えた推論をすることにより、不審者の判別を行うシステムが開示されている。
Therefore, it is desired to develop a technology that can observe human movements in public facilities and grasp the situation requiring support.
For example, in
Further,
しかしながら、特許文献１の技術では、予め監視対象を設定する必要があり、監視対象となっていない不特定多数の人間の動きから、サポートが必要な状況等の例外行動の有無を把握することはできなかった。
また、特許文献２の技術では、人物のプロファイルデータが過去の不審行動・条件と一致する場合のみに不審者と判別するため、データが少ない場合には十分に不審者を特定することができないという問題があった。
そのため、依然として、公共の施設において、顧客等の動きから、サポートが必要な状況等の例外行動の有無を判定し、把握できる技術の開発が望まれていた。
However, in the technique of
Further, in the technique of
Therefore, it has been desired to develop a technology capable of determining and grasping the presence or absence of exceptional behavior such as a situation requiring support from the movement of customers in public facilities.
上記課題を鑑みて、本発明の目的は、顧客の動きを観察し、顧客の例外行動の有無を、自動で且つ高精度に判定できる、例外行動顧客の判定方法及び例外行動顧客の判定装置を提供することにある。 In view of the above problems, an object of the present invention is to provide an exceptional behavior customer determination method and an exceptional behavior customer determination device that can automatically and accurately determine the presence or absence of an exceptional behavior of a customer by observing the movement of the customer. It is to provide.
本発明者らは、上記課題を解決すべく鋭意研究を行った結果、過去に撮影した顧客の動きを格納したデータベースから、過去に問題が起きなかった顧客である一般顧客における動きの時系列データを抽出し、該時系列データを蓄積した一般顧客ルールを作成し、さらに、前記顧客の動きのデータベースから、選択した範囲の顧客の動きの時系列データを抽出し、該時系列データを蓄積した選択顧客ルールを作成し、この選択顧客ルールから、一般顧客ルールと重複する部分を除いたルール範囲を、例外顧客ルールと認定することによって、例外的な動きを行った顧客のみに適用される特定のルールを得ることができることを見出した。さらに、撮影した実際の顧客の動きが、過去の不審者等との動きと完全に一致しない場合であっても、上記例外顧客ルールを満たすか否かで、例外行動を判定できるため、従来の技術に比べて、多くの例外行動顧客を高精度に特定できることを見出し、本発明を完成するに至った。 As a result of earnest research to solve the above-mentioned problems, the present inventors, from a database storing customer movements taken in the past, time-series data of movements in general customers who have not had problems in the past To create a general customer rule storing the time series data, and further extracting time series data of the selected range of customer movements from the customer movement database and storing the time series data Identification that is applied only to customers who have made an exceptional move by creating a selection customer rule and certifying the rule range excluding the part that overlaps with the general customer rule from this selection customer rule as an exception customer rule Found that the rules can be obtained. Furthermore, even if the actual customer movement taken does not completely match the past movement with a suspicious person, etc., the exceptional behavior can be determined based on whether or not the above exceptional customer rule is satisfied. As compared with the technology, it has been found that many customers with exceptional behavior can be identified with high accuracy, and the present invention has been completed.
本発明は、このような知見に基づきなされたもので、その要旨は以下の通りである。
（１）監視カメラによって撮影した顧客の動きに基づいて、顧客の行動を判定する方法であって、
過去に撮影した顧客の動きを格納したデータベースから、過去に問題が起きなかった顧客である一般顧客の動きの時系列データを抽出し、該時系列データを蓄積した一般顧客ルールを作成し、さらに、前記顧客の動きのデータベースから、選択した範囲の顧客の動きの時系列データを抽出し、該時系列データを蓄積した選択顧客ルールを作成し、該選択顧客ルールから前記一般顧客ルールと重複する部分を除いた範囲を、例外顧客ルールとして認定する、例外顧客ルール認定工程と、
その後、前記監視カメラによって実際の顧客の動きを撮影し、撮影した顧客の動きの少なくとも一部が、前記例外顧客ルール中の顧客の動きの時系列データと一致するか否かを判断することで、例外行動の有無を判定する、例外行動判定工程と、
を備えることを特徴とする、例外行動顧客の判定方法。
The present invention has been made based on such findings, and the gist thereof is as follows.
(1) A method for determining a customer's behavior based on a customer's movement photographed by a surveillance camera,
Extract time-series data of general customer movements that have not been problematic in the past from a database storing customer movements taken in the past, create general customer rules that accumulate the time-series data, and , Extracting time series data of customer movements in a selected range from the customer movement database, creating a selected customer rule storing the time series data, and overlapping the general customer rule from the selected customer rule Exception customer rule certification process to certify the range excluding the part as exception customer rule,
After that, the customer's movement is photographed by the monitoring camera, and it is determined whether at least a part of the photographed customer's movement matches the time-series data of the customer's movement in the exceptional customer rule. , Determining the presence or absence of exceptional behavior,
A method for determining an exceptional behavior customer.
（２）前記顧客の動きを、商業施設、駅又は公共交通機関の車内で撮影することを特徴とする、上記（１）に記載の例外行動顧客の判定方法。 (2) The method for determining an exceptional behavior customer according to (1) above, wherein the movement of the customer is photographed in a commercial facility, a station, or a public transportation vehicle.
（３）前記顧客の動きの時系列データが、顧客の動線の時系列データであることを特徴とする、上記（１）又は（２）に記載の例外行動顧客の判定方法。 (3) The exceptional behavior customer determination method according to (1) or (2) above, wherein the time series data of the customer movement is time series data of a customer flow line.
（４）前記選択した範囲の顧客が、犯罪者、高齢者、子供又は外国人旅行客であることを特徴とする、上記（１）〜（３）のいずれか１つに記載の例外行動顧客の判定方法。 (4) The exceptional behavior customer according to any one of (1) to (3) above, wherein the customer in the selected range is a criminal, an elderly person, a child or a foreign tourist Judgment method.
（５）前記例外行動の有無の判定は、さらに、前記監視カメラによって撮影した実際の顧客の歩容、着衣の状態及び荷物の状態を加味して行うことを特徴とする、上記（１）〜（４）のいずれか１つに記載の例外行動顧客の判定方法。 (5) The determination of presence / absence of the exceptional behavior is performed by further taking into consideration the actual customer's gait, clothing state, and baggage state photographed by the monitoring camera. (4) The exceptional behavior customer determination method according to any one of (4).
（６）前記一般顧客ルール及び前記選択顧客ルールは、その後に撮影した実際の顧客の動きのデータに基づいて更新することを特徴とする、上記（１）〜（５）のいずれか１つに記載の例外行動顧客の判定方法。 (6) The general customer rule and the selected customer rule are updated on the basis of actual customer movement data taken after that, according to any one of (1) to (5) above The method of judging the exceptional behavior customers described.
（７）監視カメラによって撮影した顧客の動きに基づいて、顧客の行動を判定する装置であって、
上述した例外顧客ルールを認定する、例外顧客ルール認定手段と、
その後、上述した例外行動の有無を判定する、例外行動判定手段と、
を備えることを特徴とする、例外行動顧客の判定装置。
(7) An apparatus for determining a customer's behavior based on a customer's movement photographed by a monitoring camera,
Exception customer rule certifying means for certifying the exception customer rule described above,
Thereafter, an exception action determination means for determining the presence or absence of the exception action described above,
An apparatus for determining an exceptional behavior customer, comprising:
本発明によれば、顧客の動きを観察し、顧客の例外行動の有無を、自動で且つ高精度に判定できる、例外行動顧客の判定方法及び例外行動顧客の判定装置を提供することが可能となる。 According to the present invention, it is possible to provide an exceptional behavior customer determination method and an exceptional behavior customer determination device that can automatically and accurately determine the presence or absence of a customer's exceptional behavior by observing the movement of the customer. Become.
本発明に従う例外行動顧客の判定方法及び例外行動顧客の判定装置について、必要に応じて図面を用いて説明する。
＜例外行動顧客の判定方法＞
本発明による例外行動顧客の判定方法は、監視カメラによって撮影した顧客の動きに基づいて、顧客の行動を判定する方法であって、後述するように、例外顧客ルール認定工程と、例外行動判定工程とを備える。
The exceptional behavior customer determination method and exceptional behavior customer determination device according to the present invention will be described with reference to the drawings as necessary.
<Determination method for exceptional behavior customers>
The exceptional behavior customer determination method according to the present invention is a method for determining customer behavior based on the movement of a customer photographed by a surveillance camera. As will be described later, an exceptional customer rule recognition step and an exceptional behavior determination step With.
ここで、前記顧客の動きを撮影する監視カメラについては、顧客の動きや、歩容、着衣等の特徴を含めた姿を撮影できるものであれば特に限定はされない。顧客の動きを撮影する状況に応じ、例えば、監視カメラ、業務用及び民生用ビデオカメラ、一眼レフカメラ等を用いることができる。 Here, the monitoring camera for photographing the movement of the customer is not particularly limited as long as it can photograph the appearance including the movement of the customer, the gait, the clothes, and the like. For example, surveillance cameras, commercial and consumer video cameras, single-lens reflex cameras, and the like can be used depending on the situation in which the movement of the customer is photographed.
なお、本発明による例外行動顧客の判定方法における顧客とは、監視カメラによって撮影された人間のうち、商業施設内の顧客や、駅の利用者等の、従業員を除く人間を意味している。
また、顧客の動きとは、前記顧客の動作（歩行、跳躍、走行、転倒、這いずり、転動、休止等の状態）や、動線、移動する方向などの、動きの全てを含むものである。
The customer in the exceptional behavior customer determination method according to the present invention means a person other than an employee such as a customer in a commercial facility or a station user among humans photographed by a surveillance camera. .
The customer's movement includes all of the customer's movements (walking, jumping, running, falling, scolding, rolling, resting, etc.), movement lines, and moving directions.
（例外顧客ルール認定工程）
本発明による例外行動顧客の判定方法は、過去に撮影した顧客の動きを格納したデータベースから、過去に問題が起きなかった顧客である一般顧客の動きの時系列データを抽出し、該時系列データを蓄積した一般顧客ルールを作成し、さらに、前記顧客の動きのデータベースから、選択した範囲の顧客の動きの時系列データを抽出し、該時系列データを蓄積した選択顧客ルールを作成し、該選択顧客ルールから前記一般顧客ルールと重複する部分を除いた範囲を、例外顧客ルールとして認定する、例外顧客ルール認定工程を備える。
(Exception customer rule certification process)
The method for determining an exceptional behavior customer according to the present invention extracts time series data of a general customer's movement, which is a customer who has not had a problem in the past, from a database storing movements of customers photographed in the past. A general customer rule that stores the time series data of the customer movement in the selected range is extracted from the customer movement database, and a selected customer rule that stores the time series data is created. An exception customer rule qualifying step is provided for certifying, as an exception customer rule, a range obtained by excluding a portion overlapping with the general customer rule from the selected customer rule.
ここで、図１は、上述した一般顧客ルール、選択顧客ルール及び例外顧客ルールの関係を示したものである。図１に示すように、前記選択顧客ルールから前記一般顧客ルールと重複する部分（領域Ａ）を除くことによって、前記例外顧客ルール（斜線部分）を得る。
そして、本発明では、この例外顧客ルール認定工程によって、例外的な動きを行った顧客のみに適用される特定のルール（例外顧客ルール）を得ることができる。
Here, FIG. 1 shows the relationship between the general customer rule, the selected customer rule, and the exceptional customer rule described above. As shown in FIG. 1, the exceptional customer rule (shaded portion) is obtained by removing a portion (area A) overlapping with the general customer rule from the selected customer rule.
And in this invention, the specific rule (exception customer rule) applied only to the customer who performed the exceptional movement can be obtained by this exceptional customer rule recognition process.
前記過去に撮影した顧客の動きを格納したデータベースとは、後述する例外行動判定工程に先立って、予め、監視カメラによって撮影した顧客の動きを含むデータを格納したデータベースのことである。
前記一般顧客ルールや前記選択顧客ルールを構成する顧客の動きの時系列データについては、このデータベースに格納した顧客の動きから抽出し、作成する。
The database storing customer movements photographed in the past is a database storing data including customer movements photographed by a monitoring camera in advance prior to an exceptional behavior determination step described later.
The time series data of the customer movements constituting the general customer rules and the selected customer rules are extracted from the customer movements stored in the database and created.
前記一般顧客ルールとは、前記顧客の動きを格納したデータベースから、過去に問題が起きなかった顧客（一般顧客）の動きの時系列データを抽出し、蓄積することで構成したデータの集合体である。多くの一般顧客の動きの時系列データから構成することで、前記一般顧客ルールには、一般顧客の動きに関連する多種のルールが存在している。 The general customer rule is a collection of data configured by extracting time series data of movements of customers (general customers) who have not had problems in the past from a database storing the movements of the customers and storing them. is there. By comprising time series data of many general customer movements, various rules related to general customer movements exist in the general customer rules.
ここで、前記顧客の動きの時系列データについて説明する。前記顧客の動きの時系列データは、例えば図２に示すような顧客の動線等の、顧客の動きの少なくとも一部を、時系列的に示したデータのことである。前記一般顧客の動きの時系列データは、動きを時系列的に示したデータであれば、顧客の動線に限られず、その他の動きの時系列データ（例えば、歩様の時系列データや、歩く速度の時系列データなど）を用いることもできる。ただし、前記選択顧客ルールから前記一般顧客ルールとの重複部分を除くことが容易であり、前記例外顧客ルールの認定をより確実に行えるという点からは、前記顧客の動きの時系列データとして、顧客の動線の時系列データを用いることが好ましい。 Here, the time series data of the customer movement will be described. The time series data of the customer movement is data showing at least a part of the customer movement, such as a customer flow line as shown in FIG. The time series data of the general customer movement is not limited to the flow line of the customer as long as the data shows the movement in time series, but other movement time series data (for example, time series data of gait, It is also possible to use walking time series data). However, from the point that it is easy to remove the overlapping part with the general customer rule from the selected customer rule, and the exception customer rule can be certified more reliably, as the time-series data of the customer movement, It is preferable to use time-series data of the flow line.
前記選択顧客ルールについては、前記顧客の動きを格納したデータベースから、例えば「高齢者の動きのルール」というように、任意に選択した範囲の（任意に選択したルールを有する）顧客（選択顧客）の動きの時系列データを蓄積することで構成されたデータの集合体である。多くの選択した範囲の顧客の動きの時系列データから構成することで、前記選択顧客ルールには、選択した範囲の顧客の動きに関連する多種のルールが存在している。なお、前記選択した範囲における「範囲」とは、エリアを示す物理的な範囲ではなく、データベース内の「ルール群」のことを意味する。 With respect to the selected customer rule, a customer (selected customer) in an arbitrarily selected range (for example, an arbitrarily selected rule) such as “rules for elderly person movement” from the database storing the customer movements. It is a collection of data constructed by accumulating time series data of movements. By comprising time series data of many selected ranges of customer movements, various rules relating to the selected range of customer movements exist in the selected customer rules. The “range” in the selected range means not a physical range indicating an area but a “rule group” in the database.
さらに、前記選択顧客ルールを設定するための、顧客の選択範囲については、特に限定はされず、例外顧客として認定する顧客の範囲に応じて適宜変更することができる。例えば、前記選択した範囲の顧客として、犯罪者、高齢者、子供、外国人旅行客等が挙げられる。また、選択範囲を前記データベースに格納された全ての顧客とすることもできる。全ての顧客を選択範囲とすることで、上述した一般顧客ルールと重複する部分を除いた場合に、一般的な動き以外の広い例外行動を把握することができる。 Further, the selection range of the customer for setting the selected customer rule is not particularly limited, and can be appropriately changed according to the range of the customer authorized as an exceptional customer. For example, the selected range of customers includes criminals, senior citizens, children, foreign tourists, and the like. In addition, the selection range can be all customers stored in the database. By setting all customers as the selection range, it is possible to grasp a wide range of exceptional behaviors other than general movements when a portion that overlaps with the general customer rule described above is excluded.
なお、前記選択顧客ルールの作成は、時系列データマイニングの手法によって作成することが好ましい。ここで、前記時系列データマイニングとは、時間的に変化する大量に蓄積されるデータを解析して、該データに潜む事象の未知の相関関係を探し出す技術である。
監視カメラで撮影された顧客の動きのデータを、データマイニングにより解析することによって、選択した範囲の顧客と、その動きの時系列データとの相関関係を探し出すことができる。このため、高い確率で選択した範囲の顧客が引き起こす行動（例えば、高齢者のトラブル、万引き犯の場合の万引き、外国人旅行者の場合の迷子など）を探し出すことができる。
The selected customer rule is preferably created by a time series data mining method. Here, the time-series data mining is a technique for analyzing a large amount of accumulated data that changes with time and searching for an unknown correlation between events hidden in the data.
By analyzing the data of the customer's movement taken by the surveillance camera by data mining, it is possible to find the correlation between the customer in the selected range and the time-series data of the movement. For this reason, it is possible to search for actions (for example, troubles of the elderly, shoplifting in the case of shoplifters, lost children in the case of foreign travelers, etc.) caused by customers in a selected range with high probability.
また、前記一般顧客ルール及び前記選択顧客ルールは、その後に撮影した顧客の動きのデータに基づいて更新することが好ましい。更新を行うことで、顧客の動きの時系列データが増えるため、より高精度に一般顧客ルール及び選択顧客ルールを作成できる。 Moreover, it is preferable that the said general customer rule and the said selection customer rule are updated based on the data of the customer's motion image | photographed after that. By performing the update, the time series data of the customer movement increases, so that the general customer rule and the selected customer rule can be created with higher accuracy.
そして、前記例外顧客ルール認定工程では、選択顧客ルールから前記一般顧客ルールと重複する部分を除いた範囲を、例外顧客ルールとして認定する。
得られた例外顧客ルールについては、例外的な動きを行った顧客のみに適用される特定のルールであり、後述する例外行動判定工程における例外行動の有無の判定に用いることで、判定精度を高めることができる。
In the exceptional customer rule certification step, a range obtained by removing a portion overlapping with the general customer rule from the selected customer rule is certified as an exceptional customer rule.
The obtained exceptional customer rule is a specific rule that is applied only to customers who have made an exceptional move, and is used to determine the presence or absence of exceptional behavior in the exceptional behavior judgment process described later, thereby improving the judgment accuracy. be able to.
前記例外顧客ルールの一部の認定の例について説明する。図３に示すように、選択顧客ルールを道に迷う顧客のルールとした場合、道に迷う顧客は、ある地点で、ｔ-4〜ｔ0の間、矢印で示す方向に進む時系列データを含む。一方、一般顧客ルールは、ある地点で、ｔ-3〜ｔ-1の間、矢印で示す方向に進む時系列データを含む。そして、道に迷う顧客のルール中の時系列データから、一般顧客ルール中の時系列データを除いた結果、ｔ-4〜ｔ-3の動線及びｔ-1〜ｔ0の動線が、例外顧客ルールの１つの時系列データとして得られる。
なお、図３では、説明の便宜のため、道に迷う顧客の動線及び一般顧客の動線を簡略化して示しているが、実際の動線は、図３に示した動線よりも長く複雑なものである。
An example of a part of the exceptional customer rule will be described. As shown in FIG. 3, when the selected customer rule is the rule of the customer who is lost, the customer who is lost gets time-series data that advances in the direction indicated by the arrow between t -4 and t 0 at a certain point. Including. On the other hand, the general customer rule includes time-series data that proceeds in a direction indicated by an arrow between t -3 and t -1 at a certain point. Then, as a result of removing the time series data in the general customer rule from the time series data in the lost customer rule, the flow line from t -4 to t -3 and the flow line from t -1 to t 0 are It is obtained as one time series data of the exception customer rule.
In FIG. 3, for the sake of convenience of explanation, the flow line of the lost customer and the flow line of the general customer are simplified, but the actual flow line is longer than the flow line shown in FIG. It's complicated.
このようにして得られた例外顧客の動きの時系列データの作成は、選択顧客ルール中の全ての時系列データ及び一般顧客ルール中の全ての時系列データについて行い、得られた結果を蓄積することによって、例外顧客ルールを作成する。
得られた例外顧客ルールは、選択顧客の動きの特徴を抜き出したものであるが、選択顧客ルールよりも縛りが少ないものとなる。例えば、図３に示すように、従来の手法では、対象となる顧客の動線が、ｔ-4〜ｔ0の間、矢印で示す方向に進む時系列データが一致しなければ道に迷う顧客の判定をできなかったが、本発明の方法では、ｔ-3〜ｔ-1の動線については限定されず、対象となる顧客の動線がｔ-4〜ｔ-3の動線及びｔ-1〜ｔ0の動線と一致する場合に道に迷う顧客の判定を行うことができる。
Creation of time series data of the movement of exceptional customers obtained in this way is performed for all time series data in the selected customer rule and all time series data in the general customer rule, and the obtained results are accumulated. Create an exception customer rule.
The obtained exceptional customer rule is an extracted feature of the movement of the selected customer, but is less bound than the selected customer rule. For example, as shown in FIG. 3, in the conventional method, a customer who gets lost if the flow line of the target customer does not match the time-series data that advances in the direction indicated by the arrow during t −4 to t 0. However, in the method of the present invention, the flow line from t -3 to t -1 is not limited, and the flow line of the target customer is the flow line from t -4 to t -3 and t It is possible to determine a customer who is lost when matching the flow line of −1 to t 0 .
（例外行動判定工程）
本発明による例外行動顧客の判定方法は、前記例外顧客ルール認定工程の後、前記監視カメラによって実際の顧客の動きを撮影し、撮影した顧客の動きの少なくとも一部が、前記例外顧客ルール中の顧客の動きの時系列データと一致するか否かを判断することで、例外行動の有無を判定する、例外行動判定工程を備える。
この例外行動判定工程によって、実際に撮影した顧客の動きが例外行動に該当するか否かを高精度に把握することが可能となる。
(Exceptional behavior judgment process)
According to the method for determining an exceptional behavior customer according to the present invention, after the exceptional customer rule recognition step, an actual customer movement is photographed by the monitoring camera, and at least a part of the photographed customer movement is included in the exceptional customer rule. An exceptional behavior determination step is provided for determining whether or not there is an exceptional behavior by determining whether or not the time-series data of the customer's movement matches.
By this exceptional behavior determination step, it is possible to grasp with high accuracy whether or not the movement of the customer actually photographed corresponds to the exceptional behavior.
前記例外行動の有無の判定は、撮影した顧客の動きの少なくとも一部が、上述した例外顧客ルール中の顧客の動きの時系列データと一致するか否かを判断することによって行われる。これは、具体的には、撮影した顧客の動きの中に、例外顧客ルール中に含まれる動きの時系列データと同じものを含んでいるかどうかということである。例えば図３で示した例外顧客ルールで考えると、撮影した顧客の動きの（動線）がｔ-4〜ｔ-3の動線及びｔ-1〜ｔ0の動線と一致する場合に、例外行動を行っているという判定を出す。なお、その場合、ｔ-3〜ｔ-1については、撮影した顧客がどのような動線をとっても構わない。 The determination of the presence or absence of the exceptional behavior is performed by determining whether or not at least a part of the photographed customer movement matches the time series data of the customer movement in the exceptional customer rule described above. Specifically, this is whether or not the photographed customer movement includes the same movement time-series data included in the exceptional customer rule. For example, considering the exceptional customer rule shown in FIG. 3, when the photographed customer's movement (flow line) matches the flow line from t -4 to t -3 and the flow line from t -1 to t 0 , A determination is made that an exceptional action is being taken. In that case, for t -3 to t -1 , the photographed customer may take any flow line.
また、前記例外行動の有無の判定は、撮影した顧客の動きの少なくとも一部が、前記例外顧客ルール中の顧客の動きの時系列データと一致するか否かで判断しているが、顧客の選択範囲に応じて、一致する数の下限を設定することで、より高精度に判定を行うことができる。例えば、道に迷った旅行者等を選択範囲とした場合には、緊急性が低いことから、一致する数が多くなるまで、例外行動を行っているという判断をしないこともできるが、重大犯罪をした顧客を選択範囲とした場合には、未然に防ぐ必要性が高いため、少ない数の一致で例外行動の判定を行うこともできる。 Further, the determination of the presence or absence of the exceptional behavior is based on whether or not at least a part of the photographed customer movement matches the time-series data of the customer movement in the exceptional customer rule. By setting the lower limit of the number of matches according to the selection range, it is possible to make a determination with higher accuracy. For example, if a traveler who has lost his / her choice is selected, the urgency is low, so it can be determined that he / she is performing exceptional behavior until the number of matches increases, When the selected customer is selected, it is highly necessary to prevent it beforehand, and therefore it is possible to determine exceptional behavior with a small number of matches.
さらに、前記例外行動の有無の判定は、さらに、前記監視カメラによって撮影した実際の顧客の歩容、着衣の状態及び荷物の状態を加味して行うことが好ましい。顧客の把握が容易になるため、より高精度に顧客の例外行動の判定を行えるからである。例えば、万引きをしようとする人物は、帽子を深くかぶり、又はマスクをすることで顔を覆うことがあり、また、防犯カメラ等で顔が撮影されないように、顔を防犯カメラからそらすことがあるが、歩容又は着衣を監視カメラから隠すことが難しいため、該人物の顔や動きがわかり難い状態でも顧客を把握できる。 Further, it is preferable that the determination of the presence or absence of the exceptional behavior is performed in consideration of the actual customer's gait, clothing state, and luggage state taken by the monitoring camera. This is because the customer's grasp becomes easy, and the exceptional behavior of the customer can be determined with higher accuracy. For example, a person who wants to shoplift may cover his face by wearing a hat deeply or wearing a mask, and may turn his face away from the security camera so that the face is not photographed by a security camera or the like. However, since it is difficult to hide the gait or clothes from the surveillance camera, the customer can be grasped even when the face and movement of the person are difficult to understand.
なお、前記歩容とは、人間の歩行時の身体運動の様子のことであり、人間の歩行時の背面、側面及び正面の姿勢と四肢の運動形態を意味する。前記歩容の特徴とは、前記人物の歩容の特徴的な動きのことを言い、例えば、歩幅の大きさ、片足の踵が接地して同じ足の踵が接地するまでの距離である重複歩距離の大きさ、単位時間の歩数である歩行率の大きさ、人間の重心位置の上下移動及び左右移動の振幅の大きさ、足及び膝の曲げの大きさ、腕の振りの大きさ、手の動きの大きさ、又は頭の上下移動及び左右移動の大きさ等が挙げられる。前記歩容の特徴は、人で違いがあるため、前記人物を把握し易い。そのため、前記歩容の特徴に基づいて顧客の区別が可能となる。
また、前記歩容の特徴は、前記人物の歩行時の頭部、腕、及び下肢部の運動の特徴であることがより好ましい。人間の歩容の中で、特に、手の振り方、又は大股若しくは内股で歩く等の身体の動かし方が個人によって異なるため、前記人物の歩行時の頭部、腕、及び下肢部の運動に特徴が現れるからである。
Note that the gait is a state of physical movement when a human walks, and means the back, side and front postures of the human and the movement form of the limbs. The feature of the gait means a characteristic movement of the gait of the person, for example, the size of the stride, the distance from the heel of one foot to the ground, and the distance from the heel of the same foot to the ground The size of the walking distance, the size of the walking rate that is the number of steps per unit time, the amplitude of the vertical and horizontal movements of the human center of gravity, the size of the bending of the legs and knees, the size of the swing of the arm, The magnitude | size of a hand movement or the magnitude | size of a head's up-and-down movement and right-and-left movement is mentioned. Since the characteristics of the gait are different among people, it is easy to grasp the person. Therefore, customers can be distinguished based on the characteristics of the gait.
The gait feature is more preferably a motion feature of the head, arms, and lower limbs when the person walks. In the human gait, especially how to move the body such as how to shake the hand or walk with large or inner crotch varies depending on the individual, so that the movement of the head, arms and lower limbs of the person when walking This is because the feature appears in
さらに、着衣の特徴の抽出について説明する。前記入店した人物を前記撮影手段によって撮影した前記映像データから、前記人物の着衣の特徴を抽出する。該抽出された特徴に基づいて、入店した人物を把握することができる。例えば、入店した人物の服装の色は、遠くからでも容易に識別が可能であるから、顔によって認識をする場合に比べ、入店した人物を、遠くからでも短い時間で識別し把握することができる。なお、前記着衣の特徴とは、前記人物の着衣の模様、色彩、形状、及びブランドのマーク、並びに履物の種類、並びに帽子の色及び形、並びに身に付けた時計及びアクセサリーの特徴のことである。
ここで、着衣の形状としては、例えば、半袖の服、長袖の服、学生服、背広、スカート
、ズボン及びコートの形状が挙げられ、履物の種類としては、例えば、革靴、ハイヒール、スニーカー、及びサンダルの履物が挙げられる。
さらにまた、前記着衣の特徴は、前記人物の着衣の模様、色彩及び形状であることが好ましい。前記着衣の模様、色彩及び形状は、遠方からでも明瞭に撮影が可能で識別ができるため、前記入店した人物を把握し易く、前記入店した人物を把握するまでに必要な時間が短くなるからである。特に、入店した人数は限られているので、遠方からでも把握し易い前記着衣の模様、色彩及び形状に基づいて、該人物を把握することは効率的である。
Further, extraction of clothing features will be described. Features of the person's clothes are extracted from the video data obtained by photographing the person who entered the store by the photographing means. Based on the extracted features, the person who entered the store can be grasped. For example, the colors of clothes of people who enter the store can be easily identified from a distance, so it is possible to identify and grasp a person who has entered the store in a short time even from a distance compared to the case of recognition by face. Can do. The characteristics of the clothing are the pattern, color, shape, and brand mark of the person's clothing, the type of footwear, the color and shape of the hat, and the characteristics of the watch and accessories worn. is there.
Here, examples of the shape of the clothes include short-sleeved clothes, long-sleeved clothes, student clothes, a suit, a skirt, trousers, and a coat. Examples of the footwear include leather shoes, high heels, sneakers, and Sandal footwear.
Furthermore, it is preferable that the characteristic of the clothes is a pattern, color and shape of the clothes of the person. The pattern, color and shape of the clothes can be clearly photographed and identified even from a distance, so it is easy to grasp the person who entered the store, and the time required to grasp the person who entered the store is shortened Because. In particular, since the number of people entering the store is limited, it is efficient to grasp the person based on the pattern, color, and shape of the clothes that are easily grasped from a distance.
ここで、前記着衣の特徴の抽出の一例について説明する。図４に示すように、入店した人物を前記撮影手段によって撮影した映像データ３１から、入店した人物の映った領域を抜き出す（図４（ａ））。該抜き出された人物領域に基づいて、該人物の着衣の色彩の特徴３６及び形状の特徴３７及び模様の特徴３８を抽出する（図４（ｂ））。該抽出された特徴に基づいて、入店した人物を把握することができる（図４（ｃ））。
Here, an example of extraction of the feature of the clothes will be described. As shown in FIG. 4, the area where the person who entered the store is extracted is extracted from the
なお、前記監視カメラによる、実際の顧客の動きの撮影は、特に限定はされないが、商業施設、駅又は公共交通機関の車内で行うことが好ましい。これらの場所は、人の出入りが多く、係員等の人間による監視では、例外行動顧客を十分に把握することが難しいため、本発明の例外行動顧客の判定方法による効果がより発揮される。 In addition, although the imaging | photography of an actual customer's movement by the said monitoring camera is not specifically limited, It is preferable to carry out in the vehicle of a commercial facility, a station, or public transport. In these places, many people go in and out, and it is difficult to sufficiently grasp the exceptional behavior customers by monitoring by a person such as an attendant. Therefore, the effect of the exceptional behavior customer determination method of the present invention is more exhibited.
（その他）
また、本発明の例外行動顧客の判定方法では、さらに、例外行動判定を行った後、判定結果を出力する工程をさらに備えることが好ましい。監視者が、例外行動顧客の状況を把握できるようにするためである。
なお、前記出力の方法については、特に限定はされない。例えば、画面による出力、印刷による出力、音声による出力、光や熱を発生することによる出力等が挙げられる。
(Other)
In the exceptional behavior customer determination method of the present invention, it is preferable that the method further includes a step of outputting the determination result after performing the exceptional behavior determination. This is so that the monitor can grasp the situation of the exceptional behavior customer.
The output method is not particularly limited. For example, output by a screen, output by printing, output by sound, output by generating light or heat, and the like can be mentioned.
さらに、通信によって、前記判定された例外行動顧客の情報を外部へと出力することが好ましい。これによって、何らかの異常があった場合には迅速に外部（例えば、施設の従業員や警備会社等）へ通報できるためである。
なお、前記通信については、外部へと連絡できれば特に限定はされず、例えば、優先又は無線による電気通信、電話・電信による通信、インターネット・パソコンによる通信等が挙げられる。
Furthermore, it is preferable to output the determined exceptional behavior customer information to the outside by communication. This is because if there is any abnormality, it can be promptly notified to the outside (for example, employees of the facility or security company).
The communication is not particularly limited as long as it can communicate with the outside. For example, priority or wireless electric communication, telephone / telephone communication, Internet / computer communication, and the like can be given.
＜例外行動顧客の判定装置＞
次に、本発明の例外行動顧客の判定装置について説明する。
本発明の判定装置は、監視カメラによって撮影した顧客の動きに基づいて、顧客の行動を判定する装置であって、過去に撮影した顧客の動きを格納したデータベースから、過去に問題が起きなかった顧客である一般顧客の動きの時系列データを抽出し、該時系列データを蓄積した一般顧客ルールを作成し、さらに、前記顧客の動きのデータベースから、選択した範囲の顧客の動きの時系列データを抽出し、該時系列データを蓄積した選択顧客ルールを作成し、該選択顧客ルールから前記一般顧客ルールと重複する部分を除いた範囲を、例外顧客ルールとして認定する、例外顧客ルール認定手段と、その後、前記監視カメラによって実際の顧客の動きを撮影し、撮影した顧客の動きの少なくとも一部が、前記例外顧客ルール中の顧客の動きの時系列データと一致するか否かを判断することで、例外行動の有無を判定する、例外行動判定手段と、を備えることを特徴とする。
上記構成によって、顧客の動きを観察し、顧客の例外行動の有無を、自動で且つ高精度に判定できる
<Exceptional Behavior Customer Judgment Device>
Next, the exceptional behavior customer determination device of the present invention will be described.
The determination apparatus of the present invention is an apparatus for determining a customer's behavior based on a customer's movement photographed by a surveillance camera, and no problem has occurred in the past from a database storing customer movement photographed in the past. Extract time series data of general customer movements as customers, create general customer rules that accumulate the time series data, and further select time series data of customer movements in a selected range from the customer movement database. An exception customer rule certifying means that creates a selected customer rule that accumulates the time-series data, and certifies a range obtained by removing a portion that overlaps the general customer rule from the selected customer rule as an exception customer rule; Then, an actual customer movement is photographed by the surveillance camera, and at least a part of the photographed customer movement is a customer movement in the exception customer rule. By determining whether to match the column data, characterized in that it comprises determining the presence or absence of exception actions, and exception behavior determining means.
With the above configuration, the movement of the customer can be observed, and the presence or absence of the customer's exceptional behavior can be automatically and accurately determined.
なお、本発明の例外行動顧客の判定装置の具体的な構成については、上述した、例外行動顧客の判定方法の内容と同様である。 In addition, about the specific structure of the determination apparatus of the exceptional behavior customer of this invention, it is the same as that of the content of the determination method of the exceptional behavior customer mentioned above.
＜例外顧客ルール認定ソフトウェア＞
次に、例外顧客ルール認定ソフトウェアについて説明する。
本発明のソフトウェアは、計算機等に組み込むことで、過去に撮影した顧客の動きを格納したデータベースから、過去に問題が起きなかった顧客である一般顧客の動きの時系列データを抽出し、該時系列データを蓄積した一般顧客ルールを作成し、さらに、前記顧客の動きのデータベースから、選択した範囲の顧客の動きの時系列データを抽出し、該時系列データを蓄積した選択顧客ルールを作成し、該選択顧客ルールから前記一般顧客ルールと重複する部分を除いた範囲を例外顧客ルールとして認定する、例外顧客ルール認定手段を形成するものである。
<Exceptional customer rule certification software>
Next, exception customer rule certification software will be described.
The software of the present invention extracts time-series data of general customer movements, which are customers who have not had a problem in the past, from a database storing customer movements taken in the past by being incorporated in a computer or the like. Create general customer rules that accumulate series data, further extract time series data of customer movements in a selected range from the customer movement database, and create selected customer rules that accumulate the time series data Exception customer rule certifying means for certifying a range obtained by excluding a portion overlapping with the general customer rule from the selected customer rule as an exception customer rule is formed.
本発明によれば、顧客の動きを観察し、顧客の例外行動の有無を、自動で且つ高精度に判定できる、例外行動顧客の判定方法及び例外行動顧客の判定装置を提供できる。 According to the present invention, it is possible to provide an exceptional behavior customer determination method and an exceptional behavior customer determination device that can automatically and accurately determine the presence or absence of a customer's exceptional behavior by observing the movement of the customer.
３１ 監視カメラによって撮影した映像データ
３２ 人のシルエット
３３ リサイズされた人物のフレーム画像
３６ 着衣の色彩の特徴
３７ 着衣の形状の特徴
３８ 着衣の模様の特徴
31 Video data taken by a surveillance camera 32 Silhouette of a
Claims (7)
過去に撮影した顧客の動きを格納したデータベースから、過去に問題が起きなかった顧客である一般顧客の動きの時系列データを抽出し、該時系列データを蓄積した一般顧客ルールを作成し、さらに、前記顧客の動きのデータベースから、選択した範囲の顧客の動きの時系列データを抽出し、該時系列データを蓄積した選択顧客ルールを作成し、該選択顧客ルールから前記一般顧客ルールと重複する部分を除いた範囲を、例外顧客ルールとして認定する、例外顧客ルール認定工程と、
その後、前記監視カメラによって実際の顧客の動きを撮影し、撮影した顧客の動きの少なくとも一部が、前記例外顧客ルール中の顧客の動きの時系列データと一致するか否かを判断することで、例外行動の有無を判定する、例外行動判定工程と、
を備えることを特徴とする、例外行動顧客の判定方法。 A method for determining a customer's behavior based on a customer's movement photographed by a surveillance camera,
Extract time-series data of general customer movements that have not been problematic in the past from a database storing customer movements taken in the past, create general customer rules that accumulate the time-series data, and , Extracting time series data of customer movements in a selected range from the customer movement database, creating a selected customer rule storing the time series data, and overlapping the general customer rule from the selected customer rule Exception customer rule certification process to certify the range excluding the part as exception customer rule,
After that, the customer's movement is photographed by the monitoring camera, and it is determined whether at least a part of the photographed customer's movement matches the time-series data of the customer's movement in the exceptional customer rule. , Determining the presence or absence of exceptional behavior,
A method for determining an exceptional behavior customer.
過去に撮影した顧客の動きを格納したデータベースから、過去に問題が起きなかった顧客である一般顧客の動きの時系列データを抽出し、該時系列データを蓄積した一般顧客ルールを作成し、さらに、前記顧客の動きのデータベースから、選択した範囲の顧客の動きの時系列データを抽出し、該時系列データを蓄積した選択顧客ルールを作成し、該選択顧客ルールから前記一般顧客ルールと重複する部分を除いた範囲を、例外顧客ルールとして認定する、例外顧客ルール認定手段と、
その後、前記監視カメラによって実際の顧客の動きを撮影し、撮影した顧客の動きの少なくとも一部が、前記例外顧客ルール中の顧客の動きの時系列データと一致するか否かを判断することで、例外行動の有無を判定する、例外行動判定手段と、
を備えることを特徴とする、例外行動顧客の判定装置。 A device for determining a customer's behavior based on a customer's movement photographed by a surveillance camera,
Extract time-series data of general customer movements that have not been problematic in the past from a database storing customer movements taken in the past, create general customer rules that accumulate the time-series data, and , Extracting time series data of customer movements in a selected range from the customer movement database, creating a selected customer rule storing the time series data, and overlapping the general customer rule from the selected customer rule Exception customer rule certification means for authorizing the range excluding the part as an exception customer rule,
After that, the customer's movement is photographed by the monitoring camera, and it is determined whether at least a part of the photographed customer's movement matches the time-series data of the customer's movement in the exceptional customer rule. , An exception action determination means for determining the presence or absence of an exception action,
An apparatus for determining an exceptional behavior customer, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015228792A JP2017097599A (en) | 2015-11-24 | 2015-11-24 | Method and device for determining exceptional behavior customer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015228792A JP2017097599A (en) | 2015-11-24 | 2015-11-24 | Method and device for determining exceptional behavior customer |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017097599A true JP2017097599A (en) | 2017-06-01 |
Family
ID=58817878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015228792A Pending JP2017097599A (en) | 2015-11-24 | 2015-11-24 | Method and device for determining exceptional behavior customer |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017097599A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109465818A (en) * | 2017-09-08 | 2019-03-15 | 株式会社日立大厦系统 | Robot management system and Method of Commodity Recommendation |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080031491A1 (en) * | 2006-08-03 | 2008-02-07 | Honeywell International Inc. | Anomaly detection in a video system |
| US20100145899A1 (en) * | 2006-06-02 | 2010-06-10 | Buehler Christopher J | Systems and Methods for Distributed Monitoring of Remote Sites |
| JP2011118812A (en) * | 2009-12-07 | 2011-06-16 | Toyota Motor Corp | Approaching person information recording device and approaching person intimidation device |
| JP2012128877A (en) * | 2012-03-19 | 2012-07-05 | Toshiba Corp | Suspicious behavior detection system and method |
| JP2013003929A (en) * | 2011-06-19 | 2013-01-07 | Masafumi Hagiwara | Abnormal event detection rule automatic extraction method and abnormal event detection rule automatic extraction device |
| WO2015033576A1 (en) * | 2013-09-06 | 2015-03-12 | 日本電気株式会社 | Security system, security method, and non-temporary computer-readable medium |
-
2015
- 2015-11-24 JP JP2015228792A patent/JP2017097599A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100145899A1 (en) * | 2006-06-02 | 2010-06-10 | Buehler Christopher J | Systems and Methods for Distributed Monitoring of Remote Sites |
| US20080031491A1 (en) * | 2006-08-03 | 2008-02-07 | Honeywell International Inc. | Anomaly detection in a video system |
| JP2011118812A (en) * | 2009-12-07 | 2011-06-16 | Toyota Motor Corp | Approaching person information recording device and approaching person intimidation device |
| JP2013003929A (en) * | 2011-06-19 | 2013-01-07 | Masafumi Hagiwara | Abnormal event detection rule automatic extraction method and abnormal event detection rule automatic extraction device |
| JP2012128877A (en) * | 2012-03-19 | 2012-07-05 | Toshiba Corp | Suspicious behavior detection system and method |
| WO2015033576A1 (en) * | 2013-09-06 | 2015-03-12 | 日本電気株式会社 | Security system, security method, and non-temporary computer-readable medium |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109465818A (en) * | 2017-09-08 | 2019-03-15 | 株式会社日立大厦系统 | Robot management system and Method of Commodity Recommendation |
| JP2019049785A (en) * | 2017-09-08 | 2019-03-28 | 株式会社日立ビルシステム | Robot management system and commodity proposing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111383421B (en) | Privacy protection fall detection method and system | |
| Kwolek et al. | Improving fall detection by the use of depth sensor and accelerometer | |
| RU2546327C1 (en) | Human tracking device, human tracking method and non-temporary computer-readable medium storing human tracking programme | |
| JP5478928B2 (en) | Person identification device, person identification method, and person identification program | |
| JP2024075625A (en) | Video monitoring system, video monitoring method, and program | |
| US20130136304A1 (en) | Apparatus and method for controlling presentation of information toward human object | |
| JP7416165B2 (en) | information processing equipment | |
| JP2016057908A (en) | Robbery prevention system and software | |
| JP2021108149A (en) | Person detection system | |
| JP7185805B2 (en) | Fall risk assessment system | |
| US20230162533A1 (en) | Information processing device, information processing method, and program | |
| CN109815813A (en) | Image processing method and Related product | |
| JP6647489B1 (en) | Suspicious body / abnormal body detection device | |
| JP2019106631A (en) | Image monitoring device | |
| JPWO2019064947A1 (en) | Monitoring terminal device and display processing method | |
| Denkovski et al. | Multi visual modality fall detection dataset | |
| JP2017097599A (en) | Method and device for determining exceptional behavior customer | |
| Ojetola | Detection of human falls using wearable sensors | |
| JP2019109760A (en) | Image monitoring device | |
| Yang et al. | Influence of velocity on variability in gait kinematics: implications for recognition in forensic science | |
| CN114821961B (en) | Indoor children missing prevention method, electronic equipment and storage medium | |
| An et al. | Support vector machine algorithm for human fall recognition kinect-based skeletal data | |
| JP7304531B2 (en) | PHYSICAL FUNCTION MANAGEMENT SYSTEM AND PHYSICAL FUNCTION MANAGEMENT METHOD | |
| JP7113274B2 (en) | Lower limb muscle strength estimation system, lower limb muscle strength estimation method, and program | |
| CN114787856A (en) | Lost person image retrieval system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20151222 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181022 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190806 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200218 |