JP2020113945A - Monitoring camera and detection method - Google Patents
Monitoring camera and detection method Download PDFInfo
- Publication number
- JP2020113945A JP2020113945A JP2019005279A JP2019005279A JP2020113945A JP 2020113945 A JP2020113945 A JP 2020113945A JP 2019005279 A JP2019005279 A JP 2019005279A JP 2019005279 A JP2019005279 A JP 2019005279A JP 2020113945 A JP2020113945 A JP 2020113945A
- Authority
- JP
- Japan
- Prior art keywords
- learning model
- surveillance camera
- terminal device
- unit
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 114
- 238000012544 monitoring process Methods 0.000 title abstract description 73
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000004891 communication Methods 0.000 claims abstract description 27
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 21
- 238000013528 artificial neural network Methods 0.000 description 14
- 241001465754 Metazoa Species 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 241000282887 Suidae Species 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241000238631 Hexapoda Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000282994 Cervidae Species 0.000 description 1
- 241000283073 Equus caballus Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000255777 Lepidoptera Species 0.000 description 1
- 241001482564 Nyctereutes procyonoides Species 0.000 description 1
- 241000009328 Perro Species 0.000 description 1
- 241001325166 Phacelia congesta Species 0.000 description 1
- 241000282458 Ursus sp. Species 0.000 description 1
- 241000256856 Vespidae Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 1
Images
Landscapes
- Alarm Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本開示は、監視カメラおよび検知方法に関する。 The present disclosure relates to a surveillance camera and a detection method.
特許文献1には、人工知能を備えた移動式遠隔監視カメラが開示されている。特許文献1の移動式遠隔監視カメラは、Webカメラ、ルータ、および人工知能等を筐体に収納したオールインワン構造の監視カメラである。
監視カメラで検知する検知対象は、監視カメラを用いるユーザによって異なる場合がある。例えば、或るユーザは、監視カメラを用いて人を検知する。別の或るユーザは、監視カメラを用いて車両を検知する。また、別の或るユーザは、監視カメラを用いて害獣を検知する。 The detection target detected by the surveillance camera may differ depending on the user who uses the surveillance camera. For example, a user detects a person using a surveillance camera. Another user uses a surveillance camera to detect the vehicle. Moreover, another certain user detects a pest by using a surveillance camera.
しかしながら、特許文献1は、ユーザが検知したい検知対象を、監視カメラに設定する具体的な手法について何ら開示していない。
However,
本開示の非限定的な実施例は、ユーザが検知したい検知対象を、フレキシブルに設定できる監視カメラおよび検知方法の提供に資する。 The non-limiting example of the present disclosure contributes to the provision of a surveillance camera and a detection method that allow a user to flexibly set a detection target to be detected.
本開示の一態様に係る監視カメラは、人工知能を備える監視カメラであって、撮像部と、検知対象に関連するパラメータを端末装置から受信する通信部と、前記パラメータに基づいて前記人工知能を構築し、構築した前記人工知能を用いて、前記撮像部が撮影する映像から前記検知対象を検知する処理部と、を有する。 A surveillance camera according to an aspect of the present disclosure is a surveillance camera including artificial intelligence, and includes an imaging unit, a communication unit that receives a parameter related to a detection target from a terminal device, and the artificial intelligence based on the parameter. And a processing unit configured to detect the detection target from a video image captured by the imaging unit, using the constructed artificial intelligence.
本開示の一態様に係る検知方法は、人工知能を備える監視カメラの検知方法であって、検知対象に関連するパラメータを端末装置から受信し、前記パラメータに基づいて前記人工知能を構築し、前記人工知能を用いて、撮像部が撮影する映像から前記検知対象を検知する。 A detection method according to an aspect of the present disclosure is a detection method for a surveillance camera having artificial intelligence, in which a parameter related to a detection target is received from a terminal device, and the artificial intelligence is constructed based on the parameter, The artificial intelligence is used to detect the detection target from the image captured by the imaging unit.
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 Note that these comprehensive or specific aspects may be realized by a system, a device, a method, an integrated circuit, a computer program, or a recording medium. The system, the device, the method, the integrated circuit, the computer program, and the recording medium. May be realized in any combination.
本開示の一態様によれば、ユーザは、監視カメラに対し、検知したい検知対象をフレキシブルに設定できる。 According to an aspect of the present disclosure, a user can flexibly set a detection target to be detected for a surveillance camera.
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。 Further advantages and effects of one aspect of the present disclosure will be apparent from the specification and the drawings. Such advantages and/or effects are provided by the features described in several embodiments and in the specification and drawings, respectively, but not necessarily all to obtain one or more of the same features. There is no.
以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed description of well-known matters and duplicate description of substantially the same configuration may be omitted. This is for avoiding unnecessary redundancy in the following description and for facilitating understanding by those skilled in the art.
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。 It should be noted that the accompanying drawings and the following description are provided for those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter described in the claims by these.
(第1の実施の形態)
図1は、第1の実施の形態に係る監視カメラシステムの一例を示した図である。図1に示すように、監視カメラシステムは、監視カメラ1と、端末装置2と、発報装置3と、を有している。
(First embodiment)
FIG. 1 is a diagram showing an example of a surveillance camera system according to the first embodiment. As shown in FIG. 1, the surveillance camera system includes a
図1には、監視カメラシステムの他に、構造物A1の一部と、端末装置2を使用するユーザU1と、が示してある。構造物A1は、例えば、建物の外壁または内壁である。または、構造物A1は、田畑等に設置された支柱等である。ユーザU1は、監視カメラ1を購入した購入者であってもよい。また、ユーザU1は、監視カメラ1を構造物A1に設置する施工業者等であってもよい。
In addition to the surveillance camera system, FIG. 1 shows a part of the structure A1 and a user U1 who uses the
監視カメラ1は、例えば、構造物A1に設置され、構造物A1の周囲を撮影する。監視カメラ1は、人工知能を搭載しており、搭載した人工知能を用いて、撮影する映像から検知対象(所定の映像)を検知する。以下では、人工知能を単にAIと呼ぶことがある。
The
検知対象には、例えば、人の検知(人であるか否かの区別)がある。また、検知対象には、例えば、特定の人物の検知(顔認証)がある。また、検知対象には、例えば、自転車、自動車、オートバイ等の車両の検知(車両であるか否かの区別)がある。また、検知対象には、例えば、自動車の車種またはオートバイの車種の検知がある。また、検知対象には、例えば、動物の検知(動物であるか否かの区別)がある。また、検知対象には、例えば、熊、狸、鹿、馬、猫、犬、カラス等の動物の種類の検知がある。また、検知対象には、例えば、昆虫の検知(昆虫であるか否かの区別)がある。また、検知対象には、例えば、スズメバチ、蝶、毛虫等の昆虫の種類の検知がある。また、検知対象には、例えば、花の開花の検知がある。 The detection target includes, for example, detection of a person (discrimination of whether a person is a person). The detection target includes, for example, detection of a specific person (face authentication). Further, the detection target includes, for example, detection of a vehicle such as a bicycle, an automobile, a motorcycle (discrimination as to whether or not it is a vehicle). Further, the detection target is, for example, detection of a car model or a motorcycle model. Further, the detection target includes, for example, detection of an animal (discrimination of whether or not it is an animal). Further, the detection target includes, for example, detection of types of animals such as bear, raccoon dog, deer, horse, cat, dog, and crow. Further, the detection target includes, for example, detection of an insect (distinguishing whether or not it is an insect). Further, the detection target includes, for example, detection of types of insects such as wasps, butterflies and caterpillars. Further, the detection target includes, for example, detection of flower bloom.
ユーザU1は、端末装置2を用いて、監視カメラ1の検知対象を設定できる。例えば、ユーザU1は、監視カメラ1を用いて、駐車場に駐車される自動車を検知したいとする。この場合、ユーザU1は、駐車場を撮影できる場所に監視カメラ1を設置し、端末装置2を用いて、監視カメラ1の検知対象を自動車に設定する。また、例えば、ユーザU1は、監視カメラ1を用いて、田畑に出没する猪を検知したいとする。この場合、ユーザU1は、田畑を撮影できる場所に監視カメラ1を設置し、端末装置2を用いて、監視カメラ1の検知対象を猪に設定する。
The user U1 can set the detection target of the
監視カメラ1は、検知結果を端末装置2および発報装置3のいずれか一方または両方に通知する。例えば、監視カメラ1は、駐車場を撮影する映像から自動車を検知すると、自動車を検知したことを示す情報を端末装置2に送信する。また、例えば、監視カメラ1は、田畑を撮影する映像から猪を検知すると、発報装置3に猪を検知したことを示す情報を送信する。
The
端末装置2は、例えば、パーソナルコンピュータ、スマートフォン、またはタブレット端末等の情報処理装置である。端末装置2は、有線または無線によって、監視カメラ1と通信する。
The
端末装置2は、例えば、ユーザU1によって所有される。端末装置2は、ユーザU1の操作に応じて、監視カメラ1の検知対象を設定する。また、端末装置2は、監視カメラ1の検知結果を受信する。端末装置2は、例えば、検知結果を表示装置に表示し、または、検知結果をスピーカ等で音声出力する。
The
発報装置3は、例えば、監視カメラ1が設置された構造物A1に設置される。発報装置3は、監視カメラ1が設置された構造物A1とは別の構造物に設置されてもよい。発報装置3は、有線または無線によって、監視カメラ1と通信する。
The
発報装置3は、例えば、スピーカである。発報装置3は、例えば、監視カメラ1から通知される検知結果に応じて音声を出力する。例えば、発報装置3は、監視カメラ1から猪を検知したことを示す情報を受信した場合、田畑から猪を追い出すための音を発する。
The
発報装置3は、スピーカに限られない。発報装置3は、例えば、投光器等であってもよい。例えば、発報装置3(投光器)は、監視カメラ1が侵入者を検知した場合、侵入者を警告するため、発光してもよい。
The
図1の監視カメラシステムの概略動作例について説明する。 A schematic operation example of the surveillance camera system in FIG. 1 will be described.
図2は、監視カメラシステムの概略動作例を説明する図である。図2において、図1と同じものには同じ符号が付してある。 FIG. 2 is a diagram illustrating a schematic operation example of the surveillance camera system. 2, the same parts as those in FIG. 1 are designated by the same reference numerals.
端末装置2には、学習モデルM1が記憶されている。学習モデルM1は、監視カメラ1に搭載されているAIの機能を特徴付けるパラメータ群である。すなわち、学習モデルM1は、監視カメラ1に搭載されているAIの検知対象を決定するパラメータ群である。監視カメラ1のAIは、学習モデルM1が変更されることによって、検知対象を変更できる。
A learning model M1 is stored in the
学習モデルM1は、例えば、監視カメラ1のニューラルネットワークN1の構造を決定するパラメータ群であってもよい。監視カメラ1のニューラルネットワークN1の構造を決定するパラメータ群には、例えば、ニューラルネットワークN1のユニット間の接続関係を示す情報または重み係数などが含まれる。なお、学習モデルは、学習済モデル、AIモデル、または検知モデル等と称されてもよい。
The learning model M1 may be, for example, a parameter group that determines the structure of the neural network N1 of the
端末装置2は、ユーザU1の操作に応じて、学習モデルM1を生成する。つまり、ユーザU1は、端末装置2を用いて、監視カメラ1によって検知したい検知対象を設定(選択)できる。
The
例えば、ユーザU1は、駐車場の自動車を監視カメラ1で検知したい場合、端末装置2を用いて、自動車を検知する学習モデルM1を生成する。また、例えば、ユーザU1は、田畑に出現する猪を監視カメラ1で検知したい場合、端末装置2を用いて、猪を検知する学習モデルM1を生成する。学習モデルの生成については、以下で詳述する。
For example, when the user U1 wants to detect a car in a parking lot with the
ユーザU1は、端末装置2を用いて学習モデルを生成すると、生成した学習モデルM1を監視カメラ1に送信する。監視カメラ1は、端末装置2から送信された学習モデルM1に基づいたAIを構築(形成)する。つまり、監視カメラ1は、学習モデルM1に基づいて、学習済みのAIを形成する。
When the user U1 generates a learning model using the
例えば、監視カメラ1は、端末装置2から受信した学習モデルM1が、自動車を検知する学習モデルである場合、映像から自動車を検知するニューラルネットワークを形成する。また、例えば、監視カメラ1は、端末装置2から受信した学習モデルM1が、猪を検知する学習モデルである場合、映像から猪を検知するニューラルネットワークを形成する。
For example, when the learning model M1 received from the
このように、監視カメラ1は、端末装置2から、検知対象を検知するAIを構築するための学習モデルM1を受信する。そして、監視カメラ1は、受信した学習モデルM1に基づいたAIを形成し、映像から検知対象を検知する。
In this way, the
これにより、ユーザU1は、監視カメラ1に対し、検知したい検知対象をフレキシブルに設定できる。例えば、ユーザU1は、監視カメラ1で自動車を検知したい場合、端末装置2を用いて自動車を検知する学習モデルM1を生成し、監視カメラ1に送信すればよい。また、例えば、ユーザU1は、監視カメラ1で猪を検知したい場合、端末装置2を用いて猪を検知する学習モデルM1を生成し、監視カメラ1に送信すればよい。
Thereby, the user U1 can flexibly set the detection target to be detected in the
なお、学習モデルM1は、端末装置2によって生成されるとしたがこれに限られない。例えば、学習モデルM1は、端末装置2とは別の情報処理装置によって生成されてもよい。情報処理装置が生成した学習モデルM1は、監視カメラ1と通信する端末装置2に転送され、端末装置2から監視カメラ1に送信されてもよい。
Although the learning model M1 is generated by the
図3は、監視カメラ1のブロック構成例を示した図である。図3には、監視カメラ1の他に、監視カメラ1に挿抜される外部記憶媒体31も示してある。外部記憶媒体31は、例えば、SDカード(登録商標)等の記憶媒体である。
FIG. 3 is a diagram showing a block configuration example of the
図3に示すように、監視カメラ1は、レンズ11と、撮像素子12と、映像処理部13と、制御部14と、記憶部15と、外部信号出力部16と、AI処理部17と、通信部18と、TOF(Time of Flight)センサ19と、マイク20と、USBI/F(USB:Universal Serial Bus、I/F:Interface)部21と、外部記憶媒体I/F部22と、を有している。
As shown in FIG. 3, the
レンズ11は、撮像素子12の受光面に被写体の像を結像する。レンズ11には、監視カメラ1の設置場所または撮影用途等に応じて、様々な焦点距離または撮影範囲のレンズを用いることができる。
The
撮像素子12は、受光面に受けた光を電気信号に変換する。撮像素子12は、例えば、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサである。撮像素子12は、受光面に受けた光に応じた電気信号(アナログ信号)を映像処理部13に出力する。
The
映像処理部13は、撮像素子12から出力されるアナログ信号をデジタル信号(デジタルの映像信号)に変換する。映像処理部13は、デジタルの映像信号を制御部14およびAI処理部17に出力する。レンズ11、撮像素子12、および映像処理部13は、撮像部と捉えてもよい。
The
制御部14は、監視カメラ1全体を制御する。制御部14は、例えば、CPU(Central Processing Unit)またはDSP(Digital signal Processer)によって構成されてもよい。
The control unit 14 controls the
記憶部15は、制御部14およびAI処理部17が動作するためのプログラムが記憶される。また、記憶部15には、制御部14およびAI処理部17が計算処理を行うためのデータ、または、制御部14およびAI処理部17が各部を制御するためのデータ等が記憶される。また、記憶部15には、監視カメラ1が撮影した映像データが記憶される。記憶部15は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、およびHDD(Hard Disk Drive)などの記憶装置によって構成されてもよい。
The
外部信号出力部16は、映像処理部13から出力される映像信号を外部に出力する出力端子である。
The external
AI処理部17は、映像処理部13から出力される映像信号の映像の中から、検知対象を検知する。AI処理部17は、例えば、CPUまたはDSPによって構成されてもよい。また、AI処理部17は、例えば、FPGA(Field-Programmable Gate Array)等のPLD(Programmable Logic Device)によって構成されてもよい。
The
AI処理部17は、AI演算エンジン17aと、復号エンジン17bと、学習モデル記憶部17cと、を有している。
The
AI演算エンジン17aは、学習モデル記憶部17cに記憶された学習モデルM1に基づいたAIを形成する。例えば、AI演算エンジン17aは、学習モデルM1に基づいたニューラルネットワークを形成する。AI演算エンジン17aには、映像処理部13から出力される映像信号が入力される。AI演算エンジン17aは、学習モデルM1に基づいたニューラルネットワークによって、入力された映像信号の映像の中から、検知対象を検知する。
The
端末装置2は、以下で詳述するが、学習モデルM1を生成する。端末装置2は、生成した学習モデルM1を暗号化して監視カメラ1に送信する。復号エンジン17bは、通信部18を介して、端末装置2から送信される学習モデルM1を受信し、受信した学習モデルM1を復号して、学習モデル記憶部17cに記憶する。
The
学習モデル記憶部17cには、復号エンジン17bによって復号された学習モデルM1が記憶される。学習モデル記憶部17cは、RAM、ROM、フラッシュメモリ、およびHDDなどの記憶装置によって構成されてもよい。
The learning
通信部18は、データ送信部18aと、データ受信部18bと、を有している。データ送信部18aは、例えば、Wi−Fi(登録商標)またはブルートゥース(登録商標)等の近距離無線通信によって、端末装置2に対し、データを送信する。データ受信部18bは、例えば、Wi−Fiまたはブルートゥース等の近距離無線通信によって、端末装置2から送信されるデータを受信する。
The
なお、データ送信部18aは、例えば、イーサネット(登録商標)ケーブル等のネットワークケーブル(有線)によって、端末装置2に対し、データを送信してもよい。データ受信部18bは、例えば、イーサネットケーブル等のネットワークケーブルによって、端末装置2から送信されるデータを受信してもよい。
The
TOFセンサ19は、例えば、検知対象との距離を計測する。TOFセンサ19は、計測した距離の信号(デジタル信号)を制御部14に出力する。
The
マイク20は、音声を電気信号(アナログ信号)に変換する。マイク20は、アナログ信号をデジタル信号に変換し、制御部14に出力する。 The microphone 20 converts voice into an electric signal (analog signal). The microphone 20 converts an analog signal into a digital signal and outputs the digital signal to the control unit 14.
USBI/F部21には、USBコネクタを介して、USBメモリまたは情報処理装置等の装置が接続される。USBI/F部21は、USBI/F部21に接続された装置から送信される信号を制御部14に出力する。また、USBI/F部21は、制御部14から出力される信号を、USBI/F部21に接続された装置に送信する。 A device such as a USB memory or an information processing device is connected to the USB I/F unit 21 via a USB connector. The USB I/F unit 21 outputs a signal transmitted from the device connected to the USB I/F unit 21 to the control unit 14. In addition, the USB I/F unit 21 transmits the signal output from the control unit 14 to the device connected to the USB I/F unit 21.
外部記憶媒体I/F部22には、SDカード等の外部記憶媒体31が挿抜される。
An
なお、学習モデルM1は、端末装置2から外部記憶媒体31に記憶されてもよい。復号エンジン17bは、外部記憶媒体I/F部22に装着された外部記憶媒体31から、学習モデルM1を取得し、取得した学習モデルM1を復号して、学習モデル記憶部17cに記憶してもよい。
The learning model M1 may be stored in the
また、学習モデルM1は、端末装置2からUSBメモリに記憶されてもよい。復号エンジン17bは、USBI/F部21に装着されたUSBメモリから、学習モデルM1を取得し、取得した学習モデルM1を復号して、学習モデル記憶部17cに記憶してもよい。USBメモリも外部記憶部媒体と捉えてもよい。
The learning model M1 may be stored in the USB memory from the
図4は、端末装置2のブロック構成例を示した図である。図4に示すように、端末装置2は、制御部41と、表示部42と、入力部43と、通信部44と、I/F部45と、記憶部46と、を有している。
FIG. 4 is a diagram showing a block configuration example of the
制御部41は、端末装置2全体を制御する。制御部41は、例えば、CPUによって構成されてもよい。
The
表示部42は、表示装置(図示せず)に接続されている。表示部42は、制御部41から出力される画像データを表示装置に出力する。
The
入力部43は、例えば、キーボートまたは表示装置の画面上に重畳されたタッチパネル等の入力装置(図示せず)に接続されている。また、入力部43は、例えば、マウス等の入力装置に接続されている。入力部43は、入力装置から出力された、ユーザの操作に応じた信号を受信し、制御部41に出力する。
The
通信部44は、監視カメラ1と通信を行う。通信部44は、例えば、Wi−Fiまたはブルートゥース等の近距離無線通信によって、監視カメラ1と通信を行ってもよい。また、通信部44は、例えば、イーサネットケーブル等のネットワークケーブルによって、監視カメラ1と通信を行ってもよい。
The
I/F部45には、例えば、外部記憶媒体31が挿抜される。また、I/F部45には、例えば、USBメモリが挿抜される。
The
記憶部46には、制御部41が動作するためのプログラムが記憶される。また、記憶部46には、制御部41が計算処理を行うためのデータ、または、制御部41が各部を制御するためのデータ等が記憶される。また、記憶部46には、監視カメラ1の映像データが記憶される。記憶部46は、RAM、ROM、フラッシュメモリ、およびHDDなどの記憶装置によって構成されてもよい。
The
図5は、学習モデルの生成および学習モデルの監視カメラ1への設定の一例を説明する図である。図5において、図1と同じものには同じ符号が付してある。監視カメラ1は、例えば、駐車場を撮影するように、構造物A1に設置されている。
FIG. 5 is a diagram illustrating an example of generation of a learning model and setting of the learning model in the
1.端末装置2は、ユーザU1の操作に応じて、学習モデルを生成するアプリケーションを起動する。端末装置2(起動された学習モデルを生成するアプリケーション)は、ユーザU1の操作に応じて、監視カメラ1から映像データを受信する。受信する映像データは、ライブデータであってもよいし、録画データであってもよい。
1. The
2.端末装置2は、監視カメラ1から受信した映像データの映像を表示装置に表示する。ユーザU1は、端末装置2の表示装置に表示されている映像から、監視カメラ1で検知したい検知対象を含む映像を探す。
2. The
例えば、ユーザU1は、監視カメラ1で自動車を検知したいとする。この場合、ユーザU1は、監視カメラ1から受信した駐車場の映像から、自動車を含む映像を探し、探した映像の静止画像を作成する。静止画像は、複数枚作成されるのが望ましい。作成された静止画像は、記憶部46に記憶される。
For example, the user U1 wants to detect an automobile with the
3.端末装置2は、ユーザU1の操作に応じて、記憶部46に記憶した静止画像から、学習モデルを生成する。例えば、端末装置2は、監視カメラ1が自動車を検知するための学習モデルを生成する。学習モデルの生成については、以下で詳述する。
3. The
4.端末装置2は、ユーザU1の操作に応じて、生成した学習モデルを監視カメラ1に送信(設定)する。監視カメラ1は、端末装置2から送信された、自動車を検知する学習モデルに従って、ニューラルネットワークを形成する。監視カメラ1は、形成したニューラルネットワークに基づいて、撮像素子12が撮影する映像データの映像から、自動車を検知する。
4. The
なお、図5では、自動車を検知する学習モデルを生成する例について説明したが、他の検知対象を検知する学習モデルも同様に生成できる。例えば、監視カメラ1は、田畑を撮影するように構造物A1に設置されているとする。ユーザU1は、監視カメラ1で猪を検知したいとする。この場合、ユーザU1は、監視カメラ1が撮影した映像データの映像から、猪を含む映像の静止画像を生成する。端末装置2は、ユーザU1の操作に応じて、記憶部46に記憶した静止画像から、猪を検知する学習モデルを生成する。そして、端末装置2は、生成した学習モデルを監視カメラ1に送信する。
In addition, in FIG. 5, an example in which a learning model for detecting a vehicle is generated has been described, but a learning model for detecting another detection target can be similarly generated. For example, it is assumed that the
図6は、学習モデルの生成の一例を説明する図である。図6に示す画面51は、端末装置2の表示装置に表示される。
FIG. 6 is a diagram illustrating an example of generation of a learning model. The
図5でも説明したように、端末装置2(学習モデルを生成するアプリケーション)は、監視カメラ1から受信した映像データの映像を表示装置に表示する。ユーザは、端末装置2を操作し、端末装置2の表示装置に表示されている映像から、監視カメラ1で検知したい検知対象を含む画像を探し、探した映像の静止画像を作成する。
As described with reference to FIG. 5, the terminal device 2 (application for generating the learning model) displays the video of the video data received from the
図6の画面51の画像一覧51aには、ユーザが監視カメラ1の映像から作成した静止画像のファイル名が表示されている。図6の例では、静止画像ファイルは、6つ生成されている。
In the
端末装置2は、ユーザの操作に応じて、画像一覧51aから静止画像ファイルが選択されると、選択された静止画像ファイルの画像を、端末装置2の表示装置に表示する。図6に示す静止画像51bは、ユーザによって選択された静止画像ファイル「0002.jpg」の画像を示している。
When a still image file is selected from the
ユーザは、静止画像51bから、監視カメラ1で検知したい検知対象を選択する。例えば、ユーザは、監視カメラ1で自動車を検知したいとする。この場合、ユーザは、静止画像51b上において、自動車を選択(マーキング)する。例えば、ユーザは、端末装置2を操作して、自動車を枠51c,51dで囲む。
The user selects a detection target to be detected by the
ユーザは、例えば、画像一覧51aに表示されている静止画像ファイルの全てまたは一部において自動車をマーキングする。ユーザは、静止画像ファイルの全てまたは一部において自動車をマーキングすると、「検知モデルを生成」のアイコン51eをクリックする。
The user marks the automobile in all or part of the still image files displayed in the
端末装置2は、アイコン51eがクリックされると、静止画像ファイルでマーキングされた画像(枠51c,51dで囲まれた画像)にラベルを付与する画面に遷移する。すなわち、端末装置2は、静止画像ファイルでマーキングされた画像が検知対象(自動車)であることを教示する画面に遷移する。
When the
図7は、学習モデルの生成の一例を説明する図である。図7に示す画面52は、端末装置2の表示装置に表示される。画面52は、図6に示したアイコン51eがクリックされると、端末装置2の表示装置に表示される。
FIG. 7 is a diagram illustrating an example of generation of a learning model. The
画面52には、ラベル52aが表示されている。ユーザは、ラベル52aの左横に表示されているチェックボックスを選択して、静止画像でマーキングした検知対象にラベルを付与する。
A
図6の例では、ユーザは、静止画像51bにおいて、自動車をマーキングしている。従って、ユーザは、図7の画面52において、車(自動車)のラベル52aに対応するチェックボックスを選択する。
In the example of FIG. 6, the user marks the automobile in the
ユーザは、ラベルを選択すると、ボタン52bをクリックする。端末装置2は、ボタン52bがクリックされると、学習モデルを生成する。
After selecting the label, the user clicks the
例えば、端末装置2は、ボタン52bがクリックされると、静止画像でマーキングされた画像と、ラベルとによって学習を行う。端末装置2は、静止画像でマーキングされた画像と、ラベルとの学習により、例えば、監視カメラ1のニューラルネットワークの構造を決定するパラメータ群を生成する。すなわち、端末装置2は、監視カメラ1のAIの機能を特徴づける学習モデルを生成する。
For example, when the
図8は、学習モデルの生成の一例を説明する図である。図8に示す画面53は、端末装置2の表示装置に表示される。画面53は、図7に示したボタン52bがクリックされ、学習モデルが生成されると端末装置2の表示装置に表示される。
FIG. 8 is a diagram illustrating an example of generation of a learning model. The
ユーザは、画面53において、端末装置2が生成した学習モデルにファイル名を付与できる。図8の例では、ファイル名は、「車.model」となっている。ユーザは、学習モデルにファイル名を付与すると、ボタン53aをクリックする。端末装置2は、ボタン53aがクリックされると、生成した学習モデルを記憶部46に記憶する。
The user can give a file name to the learning model generated by the
端末装置2は、ユーザの操作に応じて、記憶部46に記憶した学習モデルを監視カメラ1に送信(設定)する。
The
図9は、学習モデルの設定の一例を説明する図である。図6〜図8の画面例では、端末装置2の画面を、パーソナルコンピュータの画面を想定して説明したが、図9では、スマートフォンの画面を想定して説明する。図9の画面54は、学習モデルを生成するアプリケーションを起動すると表示される。
FIG. 9 is a diagram illustrating an example of setting a learning model. In the screen examples of FIGS. 6 to 8, the screen of the
学習モデル54aは、端末装置2の記憶部46に記憶されている学習モデルのファイル名を示している。学習モデル54aは、画面54のアイコン54bがタップされると、端末装置2の表示装置に表示される。
The
ユーザは、監視カメラ1に設定したい学習モデルを選択する。例えば、ユーザは、学習モデル54aの左横に表示されているチェックボックスを選択して、監視カメラ1に設定する学習モデルを選択する。図9の例では、ユーザは、ファイル名「車.model」を選択している。
The user selects a learning model to be set in the
ユーザは、学習モデルを選択すると、ボタン54cをタップする。端末装置2は、ボタン54cがタップされると、ユーザが選択した学習モデルを監視カメラ1に送信する。監視カメラ1は、学習モデルを受信すると、受信した学習モデルに従ったニューラルネットワークを形成する。
When selecting the learning model, the user taps the
図10は、端末装置2の学習モデル生成の動作例を示したフローチャートである。端末装置2の制御部41は、監視カメラ1の映像データを取得する(ステップS1)。映像データは、ライブデータであってもよいし、録画データであってもよい。端末装置2の制御部41は、監視カメラ1の映像を録画したレコーダから、監視カメラ1の映像データを取得してもよい。
FIG. 10 is a flowchart showing an operation example of the learning model generation of the
なお、ユーザは、端末装置2を操作して、監視カメラ1の映像から、検知対象を含む映像を探し、検知対象を含む静止画像を作成する。
The user operates the
端末装置2の制御部41は、ユーザから、検知対象にマーキングする静止画像の選択を受付ける(ステップS2)。例えば、端末装置2の制御部41は、図6の画像一覧51aから、検知対象にマーキングする静止画像の選択を受付ける。
The
端末装置2の制御部41は、ユーザから、検知対象に対するマーキング操作を受付ける。例えば、端末装置2の制御部41は、図6に示した枠51c,51dによるマーキング操作を受付ける。端末装置2の制御部41は、ユーザがマーキングした静止画像を、記憶部46に記憶する(ステップS3)。
The
端末装置2の制御部41は、ユーザから、学習モデルの生成指示があったか否かを判定する(ステップS4)。例えば、端末装置2の制御部41は、図6のアイコン51eがクリックされたか否かを判定する。端末装置2の制御部41は、ユーザから、学習モデルの生成指示がないと判定した場合(S4の「No」)、処理をステップS2に移行する。
The
一方、端末装置2の制御部41は、ユーザから、学習モデルの生成指示があったと判定した場合(S4の「Yes」)、ユーザからラベリングの操作を受付ける(図7を参照)。そして、端末装置2の制御部41は、記憶部46に記憶した静止画像と、機械学習アルゴリズムとにより、学習モデルを生成する(ステップS5)。機械学習アルゴリズムは、例えば、ディープラーニングであってもよい。
On the other hand, when the
端末装置2の制御部41は、ユーザの操作に応じて、生成した学習モデルを監視カメラ1に送信する(ステップS6)。
The
図11は、監視カメラ1の動作例を示したフローチャートである。監視カメラ1のAI処理部17は、監視カメラ1の起動に伴って、検知対象の検知動作を開始する(ステップS11)。例えば、監視カメラ1のAI処理部17は、端末装置2から送信された学習モデルに基づいたニューラルネットワークを形成し、検知対象の検知動作を開始する。
FIG. 11 is a flowchart showing an operation example of the
監視カメラ1の撮像素子12は、映像を1枚(1フレーム)撮像する(ステップS12)。
The
監視カメラ1の制御部14は、ステップS12にて撮像された映像をAI処理部17に入力する(ステップS13)。
The control unit 14 of the
監視カメラ1のAI処理部17は、ステップS13にて入力された映像に、検知対象が含まれるか否かを判定する(ステップS14)。
The
監視カメラ1の制御部14は、ステップS14にて、検知対象が含まれないと判定された場合(S14の「No」)、処理をステップS12に移行する。
When it is determined in step S14 that the detection target is not included (“No” in S14), the control unit 14 of the
一方、監視カメラ1の制御部14は、ステップS14にて、検知対象が含まれると判定された場合(S14の「Yes」)、発報条件を満たすか否かを判定する(ステップS15)。
On the other hand, when it is determined in step S14 that the detection target is included (“Yes” in S14), the control unit 14 of the
発報条件には、例えば、駐車場の自動車の駐車の検知がある。例えば、監視カメラ1の制御部14は、AI処理部17にて自動車が検知されると、発報条件を満たしたと判定してもよい。
The reporting condition includes, for example, detection of parking of a car in a parking lot. For example, the control unit 14 of the
また、発報条件には、例えば、害獣である猪の検知がある。例えば、監視カメラ1の制御部14は、AI処理部17にて猪が検知されると、発報条件を満たしたと判定してもよい。
In addition, the reporting condition includes, for example, detection of a boar that is a harmful beast. For example, the control unit 14 of the
また、発報条件には、例えば、来訪者の人数等がある。例えば、監視カメラ1の制御部14は、AI処理部17にて検知された人の数をカウントし、カウントした人数が予め設定された人数に達すると、発報条件を満たしたと判定してもよい。
Further, the reporting condition includes, for example, the number of visitors. For example, the control unit 14 of the
また、発報条件には、例えば、特定の人物の検知がある。例えば、監視カメラ1の制御部14は、AI処理部17にて特定の人物(特定の人物の顔)が検知されると、発報条件を満たしたと判定してもよい。
In addition, the notification condition includes, for example, detection of a specific person. For example, the control unit 14 of the
また、発報条件には、例えば、花の開花の検知がある。例えば、監視カメラ1の制御部14は、AI処理部17にて花の開花が検知されると、発報条件を満たしたと判定してもよい。
Further, the reporting condition includes, for example, detection of flower blooming. For example, the control unit 14 of the
監視カメラ1の制御部14は、ステップS15にて、発報条件を満たさないと判定した場合(S15の「No」)、処理をステップS12に移行する。
When the control unit 14 of the
一方、監視カメラ1の制御部14は、ステップS15にて、発報条件を満たすと判定した場合(S15の「Yes」)、発報装置3を用いて、例えば、音等を発報する(ステップS16)。
On the other hand, when the control unit 14 of the
以上説明したように、監視カメラ1の通信部18は、検知対象に関連する学習モデルを端末装置2から受信する。監視カメラ1のAI処理部17は、通信部18が受信した学習モデルに基づいてAIを構築し、構築したAIを用いて、撮像素子12が撮影する映像から、検知対象を検知する。これにより、ユーザは、監視カメラ1に対し、検知したい検知対象をフレキシブルに設定できる。
As described above, the
また、学習モデルは、構造物A1に設置された監視カメラ1が撮影した映像を用いて生成される。これにより、監視カメラ1は、監視カメラ1で撮影した映像から学習して生成された学習モデルに基づいてAIを構築するので、検知対象の精度のよい検知が可能となる。
Further, the learning model is generated using the video imaged by the
(変形例)
監視カメラ1の制御部14は、検知結果を外部記憶媒体I/F部22に挿入された外部記憶媒体14に記憶してもよい。監視カメラ1の制御部14は、検知結果をUSBI/F部21に挿入されたUSBメモリに記憶してもよい。監視カメラ1の制御部14は、検知結果を記憶部15に記憶し、記憶部15に記憶した検知結果を、外部記憶媒体I/F部22に挿入された外部記憶媒体31またはUSBI/F部21に挿入されたUSBメモリに転送してもよい。端末装置2の制御部41は、外部記憶部媒体またはUSBメモリに記憶された検知結果を、I/F部45を介して取得し、取得した検知結果の統計を取り、統計結果を解析してもよい。端末装置2の制御部41は、解析結果を学習モデルの作成に用いてもよい。
(Modification)
The control unit 14 of the
また、監視カメラ1の制御部14は、通信部18を介して、検知結果端末装置2に送信してもよい。端末装置2の制御部41は、監視カメラ1から送信された検知結果の統計を取り、統計結果を解析してもよい。端末装置2の制御部41は、解析結果を学習モデルの作成に用いてもよい。
Further, the control unit 14 of the
(第2の実施の形態)
第1の実施の形態では、端末装置2において、学習モデルを生成した。第2の実施の形態では、インターネット等の公衆ネットワークに接続されたサーバに学習モデルが記憶されている場合について説明する。
(Second embodiment)
In the first embodiment, the learning model is generated in the
図12は、第2の実施の形態に係る監視カメラシステムの一例を示した図である。図12において、図1と同じものには同じ符号が付してある。以下では、第1の実施の形態と異なる部分について説明する。 FIG. 12 is a diagram showing an example of a surveillance camera system according to the second embodiment. 12, the same parts as those in FIG. 1 are designated by the same reference numerals. In the following, parts different from the first embodiment will be described.
図12の監視カメラシステムは、図1の監視カメラシステムに対し、サーバ61を有する。サーバ61は、例えば、図4に示したブロック構成と同様のブロック構成を有してもよい。ただし、サーバ61の通信部は、例えば、有線によってネットワーク62に接続される。サーバ61は、情報処理装置と称されてもよい。
The surveillance camera system of FIG. 12 has a
ネットワーク62は、例えば、インターネット等の公衆ネットワークである。サーバ61は、例えば、ネットワーク62を介して、端末装置2と通信する。端末装置2の通信部44は、例えば、有線によってネットワーク62に接続されてもよいし、例えば、携帯電話等の無線通信ネットワークを介して、ネットワーク62に接続されてもよい。
The
サーバ61は、学習モデルを生成するアプリケーションを実装している。サーバ61は、監視カメラ1の映像から、学習モデルを生成し、記憶部に記憶する。
The
サーバ61は、例えば、監視カメラ1を製造する製造メーカによって管理されてもよい。例えば、監視カメラ1の製造メーカは、監視カメラ1を購入した購入者から、映像データの提供を受ける。監視カメラ1の製造メーカは、サーバ61を用いて、監視カメラ1の購入者から提供された映像データから、学習モデルを生成する。監視カメラ1の購入者は、監視カメラ1を用いて、様々な検知対象を撮影すると考えられ、監視カメラ1の製造メーカは、様々な検知対象を撮影した映像データから、様々な種類の学習モデルを生成できる。また、監視カメラ1の製造メーカは、多くの映像データから学習モデルを生成でき、検出精度のよい学習モデルを生成できる。
The
また、サーバ61は、例えば、監視カメラ1を構造物A1に設置する施工業者によって管理されてもよい。監視カメラ1の施工業者は、製造メーカと同様に、監視カメラ1の購入者から映像データの提供を受ける。監視カメラ1の施工業者は、様々な検知対象を撮影した映像データから、様々な種類の学習モデルを生成できる。また、監視カメラ1の施工業者は、多くの映像データから学習モデルを生成でき、検出精度のよい学習モデルを生成できる。
Further, the
監視カメラ1の施工業者は、例えば、特定の検知対象の検知を専門として、監視カメラ1を構造物A1に設置してもよい。例えば、監視カメラ1の施工業者は、害獣検知を専門として、監視カメラ1を構造物A1に設置してもよい。この場合、監視カメラ1の施工業者は、監視カメラ1の購入者から、害獣に関する映像データの提供を受けるため、害獣検知に特化した学習モデルを生成できる。
The contractor of the
端末装置2は、ユーザU1の操作に応じて、サーバ61にアクセスし、サーバ61から学習モデルを受信する。端末装置2は、サーバ61から受信した学習モデルを、例えば、Wi−Fiまたはブルートゥース等の近距離無線通信を介して、監視カメラ1に送信する。また、端末装置2は、サーバ61から受信した学習モデルを、例えば、ネットワークケーブルを介して、監視カメラ1に送信してもよい。
The
また、端末装置2は、ユーザU1の操作に応じて、サーバ61から受信した学習モデルを、I/F部45を介して、外部記憶媒体31に記憶してもよい。ユーザU1は、外部記憶媒体31を監視カメラ1の外部記憶媒体I/F部22に挿入し、外部記憶媒体31に記憶された学習モデルを、監視カメラ1に設定してもよい。
Further, the
図13は、サーバ61における学習モデルの選択の一例を説明する図である。図13の画面71は、端末装置2の表示装置に表示される。画面71は、学習モデルを生成するアプリケーションを起動すると表示される。
FIG. 13 is a diagram illustrating an example of learning model selection in the
画面71の学習モデル71aは、サーバ61に記憶されている学習モデルの名称を示している。学習モデル71aは、画面71のアイコン71bがタップされると、端末装置2の表示装置に表示される。
The
ユーザは、監視カメラ1に設定したい学習モデルを選択する。例えば、ユーザは、学習モデル71aの左横に表示されているチェックボックスを選択して、監視カメラ1に設定する学習モデルを選択する。図13の例では、ユーザは、学習モデル名「犬」を選択している。
The user selects a learning model to be set in the
ユーザは、学習モデルを選択すると、ボタン71cをタップする。端末装置2は、ボタン71cがタップされると、ユーザが選択した学習モデルをサーバ61から受信し、受信した学習モデルを監視カメラ1に送信する。監視カメラ1は、学習モデルを受信すると、受信した学習モデルに基づいたニューラルネットワークを形成する。
When selecting the learning model, the user taps the
図14は、端末装置2における学習モデルの監視カメラ1への設定動作例を示したフローチャートである。
FIG. 14 is a flowchart showing an example of setting operation of the learning model in the
端末装置2の制御部41は、ユーザの操作に応じて、学習モデルを監視カメラ1に設定するアプリケーションを起動する(ステップS21)。
The
端末装置2の制御部41は、ユーザの操作に応じて、学習モデルを設定する監視カメラ1に接続する(ステップS22)。
The
端末装置2の制御部41は、ユーザの操作に応じて、ネットワーク62に接続されたサーバ61に接続する(ステップS23)。
The
端末装置2の制御部41は、サーバ61に記憶されている学習モデルのうち、ステップS22にて接続した監視カメラ1に対応する学習モデルの名称を、表示装置に表示する(ステップS24)。例えば、端末装置2の制御部41は、図13の学習モデル71aに示すように、学習モデルの名称を、表示装置に表示する。
The
なお、サーバ61には、様々なタイプの監視カメラに対応した学習モデルが記憶されている。端末装置2の制御部41は、様々なタイプの監視カメラに対応した学習モデルのうち、ステップS22に接続した監視カメラ1に対応する学習モデルの名称を、表示装置に表示する。
Note that the
端末装置2の制御部41は、ユーザから、監視カメラ1に設定する学習モデルを受付ける(ステップS25)。例えば、端末装置2の制御部41は、図13の学習モデル71aの左横に表示されているチェックボックスにより、監視カメラ1に設定する学習モデルを受付ける。
The
端末装置2の制御部41は、ステップS25にて受け付けた学習モデルをサーバ61から受信し、受信した学習モデルを監視カメラ1に送信する(ステップS26)。
The
以上説明したように、サーバ61は、様々な監視カメラの映像データから、学習データを生成し、記憶してもよい。端末装置2は、サーバ61に記憶された学習データを取得し、監視カメラ1に設定してもよい。これにより、監視カメラ1は、様々な種類の学習モデルに基づいたAIを構築できる。
As described above, the
(変形例)
上記では、端末装置2の制御部41は、サーバ61から受信した学習モデルを、近距離無線通信、外部記憶媒体31、またはネットワークケーブルを介して監視カメラ1に送信したがこれに限られない。端末装置2の制御部41は、ネットワーク62を介して、サーバ61から受信した学習モデルを監視カメラ1に送信してもよい。
(Modification)
In the above description, the
図15は、監視カメラシステムの変形例を示した図である。図15において、図12と同じものには同じ符号が付してある。 FIG. 15 is a diagram showing a modification of the surveillance camera system. 15, the same components as those in FIG. 12 are designated by the same reference numerals.
図15では、監視カメラ1の通信部18は、ネットワーク62に接続されている。監視カメラ1の通信部18は、例えば、ネットワークケーブル等の有線を介してネットワーク62に接続されてもよいし、例えば、携帯電話等の無線通信ネットワークを介してネットワーク62に接続されてもよい。
In FIG. 15, the
端末装置2の制御部41は、図15の矢印B1に示すように、ネットワーク62を介して、サーバ61から学習モデルを受信する。端末装置2の制御部41は、図15の矢印B2に示すように、ネットワーク62を介して、サーバ61から受信した学習モデルを監視カメラ1に送信する。
The
このように、端末装置2の制御部41は、サーバ61から受信した学習モデルを、ネットワーク62を介して、監視カメラ1に送信してもよい。
In this way, the
なお、端末装置2の制御部41は、サーバ61に対し、学習モデルを監視カメラ1に送信するよう指示してもよい。すなわち、監視カメラ1は、端末装置2を経由せずに、サーバ61から学習データを受信してもよい。
The
(第3の実施の形態)
第3の実施の形態では、監視カメラ1は、発報条件を満足すると、予め設定されたアドレスにメールを送信する。すなわち、監視カメラ1は、発報条件を満足すると、ユーザにメールで発報条件を満たしたことを通知する。
(Third Embodiment)
In the third embodiment, the
図16は、第3の実施の形態に係る監視カメラシステムの一例を示した図である。図16において、図15と同じものには同じ符号が付してある。 FIG. 16 is a diagram showing an example of a surveillance camera system according to the third embodiment. 16, the same components as those in FIG. 15 are designated by the same reference numerals.
図16では、メールサーバ81が示してある。メールサーバ81は、ネットワーク62に接続されている。
In FIG. 16, the
監視カメラ1の制御部14は、発報条件を満足すると、矢印A11に示すように、端末装置2宛のメールをメールサーバ81に送信する。メールには、発報条件を満たしたことを示す内容と、監視カメラ1が検知した検知対象の画像とが含まれてもよい。
When the notification condition is satisfied, the control unit 14 of the
メールサーバ81は、監視カメラ1からメールを受信したことを端末装置2に通知する。メールサーバ81は、メールの受信通知を受信した端末装置2からの要求に応じて、監視カメラ1から送信されたメールを、矢印A12に示すように、端末装置2に送信する。
The
なお、監視カメラ1は、端末装置2によって、メールの送信先アドレスが設定されてもよい。メールの送信先アドレスは、端末装置2以外の端末装置のアドレスが設定されてもよい。例えば、メールの送信先アドレスは、ユーザU1が使用する端末装置2以外の端末装置のアドレスが設定されてもよい。また、メールの送信先アドレスは、複数であってもよい。
The
このように、監視カメラ1は、発報条件を満足すると、メールによって、発報条件を満たしたことをユーザに通知してもよい。これにより、ユーザは、例えば、監視カメラ1によって、検知対象が検知されたことを認識できる。
As described above, when the
(第4の実施の形態)
上記の各実施の形態では、1台の監視カメラ1に学習モデルを設定する例について説明した。第4の実施の形態では、複数台の監視カメラに学習モデルを設定する例について説明する。
(Fourth Embodiment)
In each of the above embodiments, an example in which the learning model is set in one
図17は、第4の実施の形態に係る監視カメラシステムの一例を示した図である。図17に示すように、監視カメラシステムは、監視カメラ91a〜91dと、端末装置92と、レコーダ93と、メールサーバ94と、を有している。監視カメラ91a〜91d、端末装置92、レコーダ93、およびメールサーバ94はそれぞれ、LAN(Local Area Network)95に接続されている。
FIG. 17 is a diagram showing an example of the surveillance camera system according to the fourth embodiment. As shown in FIG. 17, the surveillance camera system includes
監視カメラ91a〜91dは、図3に示した監視カメラ1の機能ブロックと同様の機能ブロックを有している。端末装置92は、図4に示した端末装置2と同様の機能ブロックを有している。監視カメラ91a〜91dには、同じ学習モデルが設定されてもよいし、異なる学習モデルが設定されてもよい。
The
レコーダ93は、監視カメラ91a〜91dの映像データを記憶する。端末装置92は、監視カメラ91a〜91dのライブ映像データから、監視カメラ91a〜91dの学習モデルを生成してもよい。また、端末装置92は、レコーダ93に記憶された監視カメラ91a〜91dの録画映像データから、監視カメラ91a〜91dの学習モデルを生成してもよい。端末装置92は、生成した学習モデルを、LAN95を介して、監視カメラ91a〜91dに送信する。
The
監視カメラ91a〜91dは、発報条件を満足すると、端末装置92宛のメールをメールサーバ94に送信する。メールサーバ94は、端末装置2からの要求に応じて、監視カメラ1から送信されたメールを、端末装置2に送信する。
When the alarm conditions are satisfied, the
このように、複数の監視カメラ91a〜91d、端末装置92、およびメールサーバ94は、LAN95によって接続されてもよい。そして、端末装置92は、複数の監視カメラ91a〜91dの学習モデルを生成し、監視カメラ91a〜91dに送信(設定)してもよい。これにより、ユーザは、複数の監視カメラ91a〜91dによって、検知対象を検知できる。
In this way, the plurality of
なお、監視カメラ91a〜91dの各AI(AI演算エンジン)は、監視カメラ91a〜91dの各々において、タイプが異なる場合がある。この場合、端末装置92は、監視カメラ91a〜91dの各々におけるAIのタイプに合った学習モデルを生成する。
The types of the AIs (AI arithmetic engines) of the
(変形例)
上記では、端末装置92が学習モデルを生成したが、インターネット等の公衆ネットワークに接続されたサーバに学習モデルが記憶されていてもよい。
(Modification)
Although the
図18は、監視カメラシステムの変形例を示した図である。図18において、図17と同じものには同じ符号が付してある。図18の監視カメラシステムは、サーバ101を有している。サーバ101は、例えば、インターネット等の公衆ネットワークであるネットワーク103と、ゲートウェイ102と、を介してLAN95に接続されている。
FIG. 18 is a diagram showing a modified example of the surveillance camera system. 18, the same parts as those in FIG. 17 are designated by the same reference numerals. The surveillance camera system of FIG. 18 has a
サーバ101は、図12で説明したサーバ61と同様の機能を有している。サーバ101は、監視カメラ91a〜91d以外の様々な監視カメラの映像データに基づいて学習モデルを生成し、記憶している。端末装置92は、サーバ101にアクセスして、サーバ101に記憶された学習データを取得し、監視カメラ91a〜91dに設定してもよい。
The
(第5の実施の形態)
第5の実施の形態では、監視カメラ1が複数の学習モデルを記憶する。そして、監視カメラ1は、端末装置2の指示に応じて、複数の学習モデルのうちの1つを選択し、選択した学習モデルに基づいて、検知対象を検知する。以下では、第1の実施の形態と異なる部分について説明する。
(Fifth Embodiment)
In the fifth embodiment, the
図19は、第5の実施の形態に係る監視カメラ1の動作例を示したフローチャートである。監視カメラ1の学習モデル記憶部17cには、複数の学習モデルが記憶されている。
FIG. 19 is a flowchart showing an operation example of the
監視カメラ1は、例えば、電源投入により起動する(ステップS31)。
The
監視カメラ1のAI処理部17は、学習モデル記憶部17cに記憶されている複数の学習モデルのうちの1つの学習モデルを、AI演算エンジン17aにセットする(ステップS32)。
The
なお、監視カメラ1のAI処理部17は、例えば、学習モデル記憶部17cに記憶されている複数の学習モデルのうち、前回の起動時にセットしていた学習モデルをAI演算エンジン17aにセットしてもよい。また、監視カメラ1のAI処理部17は、例えば、学習モデル記憶部17cに記憶されている複数の学習モデルのうち、端末装置2によって初期設定された学習モデルをAI演算エンジン17aにセットしてもよい。
It should be noted that the
監視カメラ1のAI処理部17は、端末装置2から、学習モデルの切替えの指示があったか否かを判定する(ステップS33)。
The
監視カメラ1のAI処理部17は、学習モデルの切替えの指示があったと判定した場合(S33の「Yes」)、学習モデル記憶部17cに記憶されている複数の学習モデルのうち、端末装置2から指示された学習モデルを、AI演算エンジン17aにセットする(ステップS34)。
When the
AI演算エンジン17aは、セットされた学習モデルにより(セットされた学習モデルに従ってニューラルネットを形成し)、映像データの映像から検知対象を検知する(ステップS35)。
The
なお、監視カメラ1のAI演算エンジン17aは、ステップS33において、学習モデルの切替えの指示がないと判定された場合(S33の「No」)、学習モデルを切替えず、すでにセットされている学習モデルにより、映像データの映像から検知対象を検知する(ステップS35)。
When it is determined in step S33 that there is no instruction to switch the learning model (“No” in S33), the
図20は、学習モデルの切替えによる検知対象の検知例を説明する図である。監視カメラ1の学習モデル記憶部17cには、学習モデルAと、学習モデルBと、学習モデルCと、が記憶されているとする。学習モデルAは、映像処理部13から出力される映像から、人を検知する学習モデルである。学習モデルBは、映像処理部13から出力される映像から、犬を検知する学習モデルである。学習モデルCは、映像処理部13から出力される映像から、猪を検知する学習モデルである。
FIG. 20 is a diagram illustrating an example of detection of a detection target by switching learning models. It is assumed that the learning
AI処理部17は、端末装置2から、学習モデルAの使用を指示する通知を受信する。AI処理部17は、端末装置2からの指示に応じて、学習モデル記憶部17cに記憶されている学習モデルAをAI演算エンジン17aに設定する。これにより、AI演算エンジン17aは、例えば、図20の「学習モデルA使用時」に示すように、映像処理部13から出力される映像から、人を検知する。
The
AI処理部17は、端末装置2から、学習モデルBの使用を指示する通知を受信する。AI処理部17は、端末装置2からの指示に応じて、学習モデル記憶部17cに記憶されている学習モデルBをAI演算エンジン17aに設定する。これにより、AI演算エンジン17aは、例えば、図20の「学習モデルB使用時」に示すように、映像処理部13から出力される映像から、犬を検知する。
The
AI処理部17は、端末装置2から、学習モデルCの使用を指示する通知を受信する。AI処理部17は、端末装置2からの指示に応じて、学習モデル記憶部17cに記憶されている学習モデルCをAI演算エンジン17aに設定する。これにより、AI演算エンジン17aは、例えば、図20の「学習モデルC使用時」に示すように、映像処理部13から出力される映像から、猪を検知する。
The
AI処理部17は、端末装置2から、学習モデルA,B,Cの使用を指示する通知を受信する。AI処理部17は、端末装置2からの指示に応じて、学習モデル記憶部17cに記憶されている学習モデルA,B,CをAI演算エンジン17aに設定する。これにより、AI演算エンジン17aは、例えば、図20の「学習モデルA+学習モデルB+学習モデルC使用時」に示すように、映像処理部13から出力される映像から、人、犬、猪を検知する。
The
図21は、学習モデルの設定の一例を説明する図である。図21において、図9と同じものには同じ符号が付してある。 FIG. 21 is a diagram illustrating an example of setting the learning model. 21, the same parts as those in FIG. 9 are designated by the same reference numerals.
ユーザは、監視カメラ1に送信したい学習モデルを選択する。例えば、ユーザは、学習モデル54aの左横に表示されているチェックボックスを選択して、監視カメラ1に設定する学習モデルを選択する。図21の例では、ユーザは、3つの学習モデルを選択している。
The user selects a learning model to send to the
ユーザは、3つの学習モデルを選択すると、ボタン54cをタップする。端末装置2は、ボタン54cがタップされると、ユーザが選択した3つの学習モデルを監視カメラ1に送信する。監視カメラ1は、3つの学習モデルを受信すると、受信した3つの学習モデルを学習モデル記憶部17cに記憶する。
When the user selects the three learning models, the user taps the
ユーザは、3つの学習モデルを監視カメラ1に送信した後、AI演算エンジン17aに設定する学習モデルを監視カメラ1に対し指示する。監視カメラ1のAI処理部17は、学習モデル記憶部17cに記憶されている3つの学習モデルのうち、端末装置2から指示された学習モデルをAI演算エンジン17aに設定する。
After transmitting the three learning models to the
なお、端末装置2は、ユーザの操作に応じて、学習モデル記憶部17cに記憶される学習モデルを追加、変更、または更新できる。また、端末装置2は、ユーザの操作に応じて、学習モデル記憶部17cに記憶される学習モデルを削除できる。
The
このように、監視カメラ1は、複数の学習モデルを記憶してもよい。そして、監視カメラ1は、端末装置2の指示に応じて、複数の学習モデルのうちの1つを選択し、選択した学習モデルに基づいたAIを形成してもよい。これにより、ユーザは、監視カメラ1の検知対象を容易に変更できる。
In this way, the
上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。 Each functional block used in the description of the above embodiment is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include some or all of them. The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、又は、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。 Further, the method of circuit integration is not limited to LSI, and it may be realized by a dedicated circuit or a general-purpose processor. A field programmable gate array (FPGA) that can be programmed after the LSI is manufactured, or a reconfigurable processor capable of reconfiguring the connection and setting of circuit cells inside the LSI may be used.
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。また、各実施の形態は組み合わされてもよい。 Furthermore, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. The application of biotechnology is possible. Further, the respective embodiments may be combined.
本開示は、AIを備える監視カメラにおいて有用である。 The present disclosure is useful in surveillance cameras with AI.
1,91a〜91d 監視カメラ
2,92 端末装置
3 発報装置
11 レンズ
12 撮像素子
13 映像処理部
14,41 制御部
15,46 記憶部
16 外部信号出力部
17 AI処理部
17a AI演算エンジン
17b 復号エンジン
17c 学習モデル記憶部
18 通信部
18a データ送信部
18b データ受信部
19 TOFセンサ
20 マイク
21 USBI/F部
22 外部記憶媒体I/F部
31 外部記憶媒体
42 表示部
43 入力部
44 通信部
45 I/F部
61,101 サーバ
62,103 ネットワーク
81,94 メールサーバ
93 レコーダ
95 LAN
102 ゲートウェイ
A1 構造物
U1 ユーザ
M1,M11 学習モデル
1, 91a to
102 gateway A1 structure U1 user M1, M11 learning model
Claims (6)
撮像部と、
検知対象に関連するパラメータを端末装置から受信する通信部と、
前記パラメータに基づいて前記人工知能を構築し、構築した前記人工知能を用いて、前記撮像部が撮影する映像から前記検知対象を検知する処理部と、
を有する監視カメラ。 A surveillance camera with artificial intelligence,
An imaging unit,
A communication unit that receives parameters related to the detection target from the terminal device,
Constructing the artificial intelligence based on the parameters, using the constructed artificial intelligence, a processing unit that detects the detection target from the image captured by the imaging unit,
Surveillance camera having.
請求項1に記載の監視カメラ。 The parameter is generated using an image captured by the image capturing unit,
The surveillance camera according to claim 1.
をさらに有する請求項1または2に記載の監視カメラ。 Based on the detection result of the detection target, it is determined whether or not the alarm condition is satisfied, and if the alarm condition is satisfied, the control unit that outputs alarm information to the alarm device or the terminal device,
The surveillance camera according to claim 1, further comprising:
前記処理部は、前記複数の異なるパラメータのうち、前記端末装置から指定されたパラメータに基づいて前記人工知能を構築する、
請求項1から3のいずれか一項に記載の監視カメラ。 The communication unit receives a plurality of different parameters from the terminal device,
The processing unit, among the plurality of different parameters, constructs the artificial intelligence based on the parameters specified from the terminal device,
The surveillance camera according to any one of claims 1 to 3.
をさらに有する請求項1から4のいずれか一項に記載の監視カメラ。 An interface unit that receives the parameter from an external storage medium that stores the parameter,
The surveillance camera according to any one of claims 1 to 4, further comprising:
検知対象に関連するパラメータを端末装置から受信し、
前記パラメータに基づいて前記人工知能を構築し、
前記人工知能を用いて、撮像部が撮影する映像から前記検知対象を検知する、
検知方法。 A method of detecting a surveillance camera having artificial intelligence,
Receives parameters related to the detection target from the terminal device,
Build the artificial intelligence based on the parameters,
Using the artificial intelligence, detecting the detection target from the image captured by the imaging unit,
Detection method.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019005279A JP6573297B1 (en) | 2019-01-16 | 2019-01-16 | Surveillance camera and detection method |
US16/743,403 US10950104B2 (en) | 2019-01-16 | 2020-01-15 | Monitoring camera and detection method |
US17/162,756 US11380177B2 (en) | 2019-01-16 | 2021-01-29 | Monitoring camera and detection method |
US17/841,292 US20220309890A1 (en) | 2019-01-16 | 2022-06-15 | Monitoring camera and detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019005279A JP6573297B1 (en) | 2019-01-16 | 2019-01-16 | Surveillance camera and detection method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019131887A Division JP2020113964A (en) | 2019-07-17 | 2019-07-17 | Monitoring camera and detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6573297B1 JP6573297B1 (en) | 2019-09-11 |
JP2020113945A true JP2020113945A (en) | 2020-07-27 |
Family
ID=67909528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019005279A Active JP6573297B1 (en) | 2019-01-16 | 2019-01-16 | Surveillance camera and detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6573297B1 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7453772B2 (en) * | 2019-11-01 | 2024-03-21 | キヤノン株式会社 | Information processing device and its control method, imaging device system, program |
JP2021093568A (en) * | 2019-12-06 | 2021-06-17 | キヤノン株式会社 | Imaging apparatus, information processing apparatus, and method for controlling these, and program and learned model selection system |
EP4099263A4 (en) * | 2020-03-04 | 2023-01-25 | Mitsubishi Electric Corporation | Labeling device and learning device |
JP7521772B2 (en) | 2020-03-17 | 2024-07-24 | i-PRO株式会社 | Surveillance camera, image encoding method, destination prediction frame display method and program |
JP7399306B2 (en) * | 2020-09-17 | 2023-12-15 | 株式会社日立国際電気 | Surveillance system, camera, analysis device and AI model generation method |
JP7492595B2 (en) | 2020-09-17 | 2024-05-29 | 株式会社日立国際電気 | Monitoring system, analysis device, and AI model generation method |
JP7331815B2 (en) * | 2020-09-29 | 2023-08-23 | 横河電機株式会社 | Surveillance device, surveillance system, program and method |
WO2022270114A1 (en) * | 2021-06-25 | 2022-12-29 | 福田 博美 | Method for preventing unauthorized access to information device or communication device |
JP2023004852A (en) * | 2021-06-25 | 2023-01-17 | 福田 博美 | Unauthorized access prevention method for information apparatus or communication apparatus |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011055262A (en) * | 2009-09-02 | 2011-03-17 | Mitsubishi Electric Corp | Image detector |
WO2014208575A1 (en) * | 2013-06-28 | 2014-12-31 | 日本電気株式会社 | Video monitoring system, video processing device, video processing method, and video processing program |
US20150221194A1 (en) * | 2012-08-22 | 2015-08-06 | Connect-In Ltd | Monitoring system |
KR101553000B1 (en) * | 2015-03-31 | 2015-09-15 | (주)블루비스 | Video surveillance system and method using beacon, and object managing apparatus therefor |
JP2016157219A (en) * | 2015-02-24 | 2016-09-01 | 株式会社日立製作所 | Image processing method, and image processor |
JP2017538999A (en) * | 2014-12-17 | 2017-12-28 | ノキア テクノロジーズ オーユー | Object detection by neural network |
-
2019
- 2019-01-16 JP JP2019005279A patent/JP6573297B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011055262A (en) * | 2009-09-02 | 2011-03-17 | Mitsubishi Electric Corp | Image detector |
US20150221194A1 (en) * | 2012-08-22 | 2015-08-06 | Connect-In Ltd | Monitoring system |
WO2014208575A1 (en) * | 2013-06-28 | 2014-12-31 | 日本電気株式会社 | Video monitoring system, video processing device, video processing method, and video processing program |
JP2017538999A (en) * | 2014-12-17 | 2017-12-28 | ノキア テクノロジーズ オーユー | Object detection by neural network |
JP2016157219A (en) * | 2015-02-24 | 2016-09-01 | 株式会社日立製作所 | Image processing method, and image processor |
KR101553000B1 (en) * | 2015-03-31 | 2015-09-15 | (주)블루비스 | Video surveillance system and method using beacon, and object managing apparatus therefor |
Also Published As
Publication number | Publication date |
---|---|
JP6573297B1 (en) | 2019-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6573297B1 (en) | Surveillance camera and detection method | |
US11380177B2 (en) | Monitoring camera and detection method | |
JP6229656B2 (en) | Control device and storage medium | |
US9386050B2 (en) | Method and apparatus for filtering devices within a security social network | |
CN101057491A (en) | Wireless image capture device with biometric readers | |
JP2014033307A (en) | Data storage device and program | |
JP2004304602A (en) | Network connection camera and image display method | |
JP6150627B2 (en) | Information device, image file generation method and program | |
US9167048B2 (en) | Method and apparatus for filtering devices within a security social network | |
JP2011215767A (en) | Server device, method of using security camera images, program for using security camera images, and security camera system | |
US11811976B2 (en) | Information processing system to obtain and manage images of a property | |
JP7452832B2 (en) | Surveillance camera and detection method | |
JP2020113964A (en) | Monitoring camera and detection method | |
JP4618176B2 (en) | Monitoring device | |
JP6268904B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2014106695A (en) | Information processor | |
KR20070059832A (en) | Digital photo contents system and method adn device for transmitting/receiving digital photo contents in digital photo contents system | |
JP2020098965A (en) | Remote monitoring system and monitoring server | |
US20140273989A1 (en) | Method and apparatus for filtering devices within a security social network | |
JP2021064825A (en) | Imaging device, learning device, control method, learning method, and computer program | |
JP2019086825A (en) | Server, information acquisition device, information provision method, information transmission method and program | |
WO2023090036A1 (en) | Information processing device, information processing method, and program | |
JP5473034B2 (en) | Terminal device and program | |
JP5218987B2 (en) | Terminal device and program | |
TW201436578A (en) | Wireless video and audio delivery system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190516 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190516 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190530 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190731 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6573297 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190902 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |