JP2012010233A - Image processing apparatus, image processing system and image processing method - Google Patents
Image processing apparatus, image processing system and image processing method Download PDFInfo
- Publication number
- JP2012010233A JP2012010233A JP2010146097A JP2010146097A JP2012010233A JP 2012010233 A JP2012010233 A JP 2012010233A JP 2010146097 A JP2010146097 A JP 2010146097A JP 2010146097 A JP2010146097 A JP 2010146097A JP 2012010233 A JP2012010233 A JP 2012010233A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image analysis
- analysis region
- imaging device
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、画像を解析して特定の事象を検知する画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing system, an image processing method, and a program that analyze an image to detect a specific event.
近年、インターネットなどIP(Internet Protocol)ネットワークを利用した配信システムが増加してきており、スキー場や動物園の状況を配信するインターネットサイトや、店舗やビルの監視などにも採用されている。例えば、店舗やビルの監視においては、撮像画像を解析して特定の事象を検知し、事象が発生した際に画像を蓄積したり、管理者が閲覧して確認したりすることが行われている。 In recent years, a distribution system using an IP (Internet Protocol) network such as the Internet has been increasing, and it is also used for an Internet site that distributes the state of a ski resort or a zoo, a store or a building, and the like. For example, in the monitoring of a store or a building, a captured event is analyzed to detect a specific event, and when the event occurs, an image is accumulated or an administrator browses and confirms the event. Yes.
画像解析する特定の事象としては、例えば、撮像画像上に物体が出現したかどうかを検知する物体検知や、カメラ制御と連動して検知した物体を追いかける物体追尾が存在する。また、不審物等が置かれたことを検知する置き去り検知、監視対象が持ち去られたことを検知する持ち去り検知、撮像画像からネットワークカメラに対していたずらがされたことを検知するいたずら検知等も存在する。 Specific events for image analysis include, for example, object detection for detecting whether an object has appeared on a captured image, and object tracking for tracking an object detected in conjunction with camera control. Also, leaving detection that detects that a suspicious object has been placed, removal detection that detects that a monitoring target has been removed, tampering detection that detects that a network camera has been tampered with from a captured image, etc. Exists.
例えば、特許文献1には、ネットワークカメラの追尾機能の設定方法が開示されている。特許文献1に記載の技術を用いると、ネットワークカメラが配信した画像データと、画像上の動きがあった領域とを重畳表示することにより、追尾機能を容易に設定することができる。
For example,
上述の特許文献1に開示された従来技術では、ユーザが画面上で指定する領域は必ず矩形であることを前提とした技術であり、その領域はネットワークカメラ側で解析処理を行う領域と同一である。そして、ユーザが監視対象に合わせて矩形以外の検知対象領域を指定する場合であっても、ネットワークカメラが行う解析処理は撮像画像をある一定サイズに分割した領域毎に行う。ところが、ユーザが画面上で指定した領域と、ネットワークカメラ側で解析処理を行う領域とが一致せず、ユーザが意図した通りに設定することが難しく、特定事象を誤検知する場合がある。
In the prior art disclosed in
本発明は前述の問題点に鑑み、画像解析における特定事象の誤検知を低減できるようにすることを目的としている。 The present invention has been made in view of the above-described problems, and an object thereof is to reduce erroneous detection of a specific event in image analysis.
本発明の画像処理装置は、監視対象を撮像して画像解析する撮像装置から、前記監視対象を含む画像データを受信する画像処理装置であって、前記画像データに基づく画像を表示装置に表示する表示制御手段と、ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定手段と、前記指定手段により指定された画像解析領域の情報を前記撮像装置に送信する送信手段と、前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得手段とを備え、前記表示制御手段は、前記取得手段によって取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする。 An image processing apparatus according to the present invention is an image processing apparatus that receives image data including a monitoring target from an imaging apparatus that images the monitoring target and analyzes the image, and displays an image based on the image data on a display device. Display control means, designation means for designating an image analysis area in an image displayed on the display device in accordance with a user operation, and information on the image analysis area designated by the designation means is transmitted to the imaging apparatus. A transmission unit; and an acquisition unit that acquires setting information including information on an image analysis region from the imaging device. The display control unit is configured to display the image and the image based on the setting information acquired by the acquisition unit. The analysis area is superimposed and displayed on the display device.
本発明によれば、ユーザは、カメラが画像解析を行う画像解析領域を確認することができるので、特定事象の誤検知を低減することができる。 According to the present invention, since the user can confirm the image analysis region where the camera performs image analysis, it is possible to reduce erroneous detection of specific events.
(第1の実施形態)
以下、本発明の実施形態に好適な画像処理システムの構成及び動作について、図面を参照しながら説明する。
図2は、本実施形態における画像処理システムのシステム構成例を示す図である。
図2に示すように、第1のカメラサーバ200、第2のカメラサーバ210、及びクライアント端末220がネットワーク230を介して相互に接続されている。第1のカメラサーバ200及び第2のカメラサーバ210は、撮影画角が固定もしくは変更可能なカメラを備え、撮影した画像データを、ネットワーク230を介して配信するものである。第1のカメラサーバ200及び第2のカメラサーバ210は独立に動作しており、クライアント端末220は、第1のカメラサーバ200、または第2のカメラサーバ210にアクセスし、画像データを取得する。なお、説明を簡略化するためにカメラサーバは2台としているが、3台以上であっても構わない。
(First embodiment)
Hereinafter, the configuration and operation of an image processing system suitable for an embodiment of the present invention will be described with reference to the drawings.
FIG. 2 is a diagram illustrating a system configuration example of the image processing system according to the present embodiment.
As shown in FIG. 2, the
また、図2に示すクライアント端末220以外にも第1のカメラサーバ200、または第2のカメラサーバ210にアクセスして画像データの受信や蓄積を行う他のクライアント端末があっても構わない。ネットワーク230は、Ethernet(登録商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されている。本実施形態においては、各サーバ・クライアント端末間の通信が支障なく行うことができるのであればその通信規格、規模、構成を問わず、インターネットや、LAN(Local Area Network)などが適用可能である。
In addition to the client terminal 220 shown in FIG. 2, there may be other client terminals that access the
図3(A)は、本実施形態の第1のカメラサーバ200のハードウェア構成の一例を示すブロック図である。なお、第2のカメラサーバ210も同様の構成であるため、第2のカメラサーバ210のハードウェア構成の説明は省略する。
図3(A)に示すように、CPU300、1次記憶装置310、2次記憶装置320、画像キャプチャI/F330、及びネットワークI/F335が内部バス301を介して相互に接続されている。
FIG. 3A is a block diagram illustrating an example of a hardware configuration of the
As shown in FIG. 3A, a
1次記憶装置310は、RAMなどの書き込み可能な高速の記憶装置であり、OSや各種プログラム及び各種データがロードされ、またOSや各種プログラムの作業領域としても使用される。2次記憶装置320は、FDDやHDD、フラッシュメモリ、CD−ROMドライブなどの不揮発性の記憶装置であり、OSや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。なお、第1のカメラサーバ200の1次記憶装置310及び2次記憶装置320に展開される各種プログラム等の詳細については後述する。
The
画像キャプチャI/F330にはカメラ340が接続されており、カメラ340が撮影した画像データを所定のフォーマットに変換・圧縮して1次記憶装置310に転送する。ネットワークI/F335はネットワーク230と接続するためのI/Fであり、通信媒体を介してクライアント端末220等との通信を行う。
A
図3(B)は、クライアント端末220のハードウェア構成の一例を示すブロック図である。
図3(B)に示すように、CPU350、1次記憶装置360、2次記憶装置370、ユーザ入力I/F380、ユーザ出力I/F390、及びネットワークI/F395が内部バス351を介して相互に接続されている。
FIG. 3B is a block diagram illustrating an example of a hardware configuration of the client terminal 220.
As shown in FIG. 3B, a
1次記憶装置360は、RAMなどの書き込み可能な高速の記憶装置であり、OSや各種プログラム及び各種データがロードされ、またOSや各種プログラムの作業領域としても使用される。2次記憶装置370は、FDDやHDD、フラッシュメモリ、CD−ROMドライブなどの不揮発性の記憶装置であり、OSや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。なお、クライアント端末220の1次記憶装置360及び2次記憶装置370に展開される各種プログラム等の詳細については後述する。
The
ユーザ入力I/F380には、キーボード、マウスなどの入力機器381が接続されており、ユーザからの指示を入力する。ユーザ出力I/F390には、ディスプレイなどの出力機器391が接続されており、表示用の画像データなどが出力される。ネットワークI/F395は、前述のネットワーク230と接続するためのI/Fであり、通信媒体を介して第1のカメラサーバ200等との通信を行う。
The user input I /
図1(a)は、第1のカメラサーバ200のソフトウェア構成の一例を示すブロック図である。なお、第2のカメラサーバ200も同様の構成であるため、第2のカメラサーバ210のソフトウェア構成の説明は省略する。
1次記憶装置310上には、OS100、撮像処理プログラム110、画像解析プログラム111、配信処理プログラム112、及び一時記憶部113がロードされる。OS100は第1のカメラサーバ200全体を制御する基本プログラムである。
FIG. 1A is a block diagram illustrating an example of a software configuration of the
On the
撮像処理プログラム110は、画像キャプチャI/F330を経由して、カメラ340で生成された画像フレームを入力し、画像フレームを符号化して、一時記憶部113に保存する。画像解析プログラム111は、2次記憶装置320に保存されている画像解析に関連する設定情報を一時記憶部113にロードする。また、一時記憶部113に記憶された画像フレームを解析し、画像上のどこにどんな形の物体がどれぐらいの時間存在しているのか、といった内容を検出する。さらに、予め設定された1つまたは複数の閾値を超えたことにより特定の事象が発生したことを検出する。また、画像解析プログラム111は、クライアント端末220から新たな設定情報をネットワークI/F335を通して受信すると、一時記憶部113または2次記憶装置320に保存し、新しい設定情報により画像解析を開始する。
The
配信処理プログラム112は、外部からの要求に応じ、ネットワークI/F335を制御することにより、一時記憶部113に記憶されている画像フレームを、ネットワーク230を介してクライアント端末220などへ送信する。また、各プログラム同士の連携は、必要に応じてOS100が提供する機能を用いる。
The
図1(b)は、クライアント端末220のソフトウェア構成の一例を示すブロック図である。
1次記憶装置360上には、OS150、入力制御プログラム160、設定管理プログラム161、受信処理プログラム162、出力制御プログラム163、解析領域決定プログラム164、及び一時記憶部165がロードされる。OS150はクライアント端末220全体を制御する基本プログラムである。
FIG. 1B is a block diagram illustrating an example of a software configuration of the client terminal 220.
On the
入力制御プログラム160は、ユーザがキーボードやマウスなど入力機器381を操作することにより、設定管理プログラム161を起動する。本実施形態では、ユーザがキーボードやマウスなどを直接操作する以外に、ネットワーク経由の操作や、自動実行プログラムでも実現可能である。設定管理プログラム161は、第1のカメラサーバ200または第2のカメラサーバ210が処理する解析領域を表示するために解析領域決定プログラム164を起動し、さらに画像フレームを取得するため受信処理プログラム162を起動する。また、設定管理プログラム161は、出力制御プログラム163を起動し、画像フレームを表示させたり、ユーザの操作により決定した解析領域の情報を第1のカメラサーバ200または第2のカメラサーバ210に送信させたりする。
The
解析領域決定プログラム164は、第1のカメラサーバ200または第2のカメラサーバ210から画像解析領域等を含む設定情報を取得し、カメラサーバ内で実行される画像解析領域を決定する。そして、出力制御プログラム163により解析領域を表示させる。受信処理プログラム162は、ネットワークI/F395を制御することにより、ネットワーク230を介して第1のカメラサーバ200または第2のカメラサーバ210から画像フレームを受信し、一時記憶部165に保存する。出力制御プログラム163は、受信処理プログラム162や解析領域決定プログラム164の指示に従い、画像フレームや解析領域をディスプレイ等の出力機器391に表示制御する。なお、各プログラム同士の連携は、必要に応じてOS100が提供する機能を用いることとする。
The analysis
図4(a)は、クライアント端末220が出力機器391であるディスプレイに表示する画像解析処理の設定画面の一例を示す図である。
図4(a)においては、監視対象410が映っている撮像画像400上に画像解析領域420を指定した時を示している。本実施形態では、クライアント端末220は第1のカメラサーバ200または第2のカメラサーバ210から取得した画像フレーム(解像度:640×480)を表示し、その画像上の4点A、B、C、Dからなる閉領域を指定する。
FIG. 4A is a diagram illustrating an example of a setting screen for image analysis processing displayed on the display which is the
FIG. 4A shows a case where the
図4(b)は、第1のカメラサーバ200及び第2のカメラサーバ210での画像解析処理ブロックの一例を示す図である。
図4(b)においては、図4(a)の画面における4点A、B、C、Dを指定した場合に、どの領域を画像処理対象とするのかを示している。クライアント端末220の出力機器391に表示される画像解析領域420に相当する画像解析領域470に対し、第1のカメラサーバ200及び第2のカメラサーバ210が解析処理を行う領域はブロック領域460となる。
FIG. 4B is a diagram illustrating an example of an image analysis processing block in the
In FIG. 4B, when four points A, B, C, and D on the screen of FIG. 4A are designated, which region is to be processed is shown. In contrast to the
本実施形態では、第1のカメラサーバ200及び第2のカメラサーバ210は、解像度が320×240の画像フレームに対し、8×8の単位で分割した40×30の粒度で画像解析処理を実施する。このように、クライアント端末220上では640×480の粒度で解析領域を指定するのに対し、第1のカメラサーバ200及び第2のカメラサーバ210上では40×30の粒度で画像解析処理を実施する。
In the present embodiment, the
図5は、クライアント端末220のディスプレイに、カメラサーバが実際に画像解析処理する領域を重畳表示した例を示す図である。
図5においては、監視対象510が映っている撮像画像500上に画像解析領域520を指定した時のカメラサーバが画像解析処理を行う画像解析領域530を示している。
FIG. 5 is a diagram illustrating an example in which a region where the camera server actually performs image analysis processing is superimposed and displayed on the display of the client terminal 220.
FIG. 5 shows an
このように、クライアント端末220側にユーザが指定した領域に対して実際に画像解析する領域を重畳して表示することにより、ユーザが意図した領域に対して画像解析処理が行われるのか否かを確認することができる。本実施形態では、四角形の単位で解析領域を設けているが、監視対象に合わせて四角形以外の多角形で指定してもよい。また、図5では、カメラサーバが画像解析処理を行う領域をそのまま重畳表示しているが、画像解析領域が確認できるのであれば、枠表示など別の表示方法でもよい。 As described above, whether or not the image analysis processing is performed on the area intended by the user is displayed by superimposing and displaying the area to be actually analyzed on the area designated by the user on the client terminal 220 side. Can be confirmed. In the present embodiment, the analysis area is provided in units of a rectangle, but may be specified by a polygon other than a rectangle in accordance with the monitoring target. In FIG. 5, the area where the camera server performs image analysis processing is superimposed and displayed as it is. However, if the image analysis area can be confirmed, another display method such as frame display may be used.
図6は、クライアント端末220上の設定管理プログラム161により実行される処理手順の一例を示すフローチャートである。
まず、設定管理プログラム161は、ユーザによりキーボードやマウスなど入力機器381が操作され、画像解析処理を設定するときに起動される。そして、設定管理プログラム161は、解析領域決定プログラム164を起動し、解析領域決定処理を開始可能な状態にする(ステップS601)。次に、受信処理プログラム162を起動し、ネットワークI/F395を制御することにより、第1のカメラサーバ200または第2のカメラサーバ210から画像データの受信を開始可能な状態にする(ステップS602)。そして、設定管理プログラム161に対して何らかのイベントが発生するまで待機する(ステップS603)。
FIG. 6 is a flowchart illustrating an example of a processing procedure executed by the
First, the
イベントが発生すると、設定管理プログラム161は、イベントの種別を判定する(ステップS604)。この判定の結果、画像データの受信を通知するイベントである場合は、出力制御プログラム163により受信した画像データ(画像フレーム)をディスプレイ等の出力機器391に表示させる(ステップS605)。この結果、図4(a)に示す撮像画像400を表示することになる。
When an event occurs, the
一方、ステップS604の判定の結果、ユーザにより入力機器381が操作されたことによる設定情報を保存するイベントである場合は、現在表示している画像解析領域の情報を解析領域決定プログラム164により取得する(ステップS606)。そして、出力制御プログラム163によりネットワークI/F395を制御することによりカメラサーバに設定情報を送信させる(ステップS607)。ここで、画像解析領域の情報とは、図4(a)に示す画像解析領域420の各頂点(4点A、B、C、D)の座標のことである。また、ステップS604の判定の結果、ユーザにより入力機器381が操作され、設定処理の終了を通知するイベントである場合は、終了フラグをON状態にする(ステップS608)。
On the other hand, if it is determined in step S604 that the setting information is stored when the
次に、終了フラグがON状態になっているか否かを判定する(ステップS609)、この判定の結果、ON状態でない場合は、ステップS603に戻り、再度、イベントが発生するまで待機する。一方、ステップS609の判定の結果、終了フラグがON状態である場合は、受信処理プログラム162により終了イベントを発生させる(ステップS610)。そして、解析領域決定プログラム164により終了イベントを発生させ(ステップS611)、処理を終了する。 Next, it is determined whether or not the end flag is in the ON state (step S609). If the result of this determination is that it is not in the ON state, the process returns to step S603 and waits again until an event occurs. On the other hand, if the result of determination in step S609 is that the end flag is in the ON state, an end event is generated by the reception processing program 162 (step S610). Then, an end event is generated by the analysis region determination program 164 (step S611), and the process is ended.
図7は、クライアント端末220上の解析領域決定プログラム164により実行される処理手順の一例を示すフローチャートである。
図6のステップS601において設定管理プログラム161により解析領域決定プログラム164が起動され、まず第1のカメラサーバ200または第2のカメラサーバ210に対して現在の画像解析領域を含む設定情報の取得要求を送信する(ステップS701)。そして、解析領域決定プログラム164に対して何らかのイベントが発生するまで待機する(ステップS702)。
FIG. 7 is a flowchart illustrating an example of a processing procedure executed by the analysis
In step S601 in FIG. 6, the analysis
イベントが発生すると、解析領域決定プログラム164はイベントの種別を判定する(ステップS703)。この判定の結果、設定情報の受信を通知するイベントである場合は、受信した設定情報から現在カメラサーバが画像解析している領域の情報を取得する。そして、出力制御プログラム163によりその画像解析領域をディスプレイ等の出力機器391に表示させる(ステップS704)。この結果、図5に示す撮像画像500を表示することになる。
When an event occurs, the analysis
一方、ステップS703の判定の結果、ユーザにより入力機器381が操作されて画像解析領域の指定を通知するイベントである場合は、指定された全頂点を繋げて閉領域になったかどうかを判定(ステップS705)する。ここで、閉領域になった時とは、ユーザにより例えば図5に示すような頂点をA、B、C、D、Aの順に指定し、2回目のAを指定した時である。この判定の結果、閉領域になっていない場合は、次の機会に新たな頂点を指定されることに備え、指定された頂点座標の情報を一時記憶部165に記憶する(ステップS707)。また、ステップS705の判定の結果、閉領域になった場合は、出力制御プログラム163により指定された領域をカメラサーバが実施することになる画像解析領域としてディスプレイ等の出力機器391に表示させる(ステップS706)。なお、ステップS704とステップS706とでは、領域は異なるが処理内容は同じである。
On the other hand, as a result of the determination in step S703, if the
一方、ステップS703の判定の結果、設定管理プログラム161からの終了を通知するイベントである場合は、終了フラグをON状態にする(ステップS708)。次に、終了フラグがON状態になっているか否かを判定する(ステップS709)。この判定の結果、終了フラグがON状態でない場合は、ステップS702に戻り、再度イベントが発生するまで待機する。一方、ステップS709の判定の結果、終了フラグがON状態である場合は、処理を終了する。
On the other hand, if the result of determination in step S703 is an event that notifies the end from the
図8は、画像解析領域を変更する際の表示例を示す図である。図8(a)は、画像解析領域を変更する前の状態を示しており、マウスなどの入力機器381を用いて、点B(35、26)をドラッグして左に移動させることを示している。
一方、図8(b)は、点Bを座標(34、26)にドロップした後の状態を示しており、点Bを移動させたことによって、3つのブロックが画像解析の対象になったことがわかる。
FIG. 8 is a diagram illustrating a display example when changing the image analysis region. FIG. 8A shows a state before the image analysis area is changed, and shows that the point B (35, 26) is dragged and moved to the left by using the
On the other hand, FIG. 8B shows a state after the point B is dropped on the coordinates (34, 26). By moving the point B, three blocks are subjected to image analysis. I understand.
このように、クライアント側で自由な形の検知対象領域を指定し、カメラサーバが実施する画像解析領域を表示することにより、ユーザは容易に意図通りの設定を指定することができ、特定事象の誤検知を低減することができる。 In this way, by specifying a free-form detection target area on the client side and displaying an image analysis area implemented by the camera server, the user can easily specify the setting as intended, and the specific event False detection can be reduced.
(第2の実施形態)
以下、本発明の第2の実施形態による画像処理システムについて説明する。本実施形態では、図7のステップS701において取得要求を行う設定情報に画像解析領域決定アルゴリズムが加わっている。なお、その他については、第1の実施形態と同様であるため、説明は省略する。
(Second Embodiment)
The image processing system according to the second embodiment of the present invention will be described below. In the present embodiment, an image analysis region determination algorithm is added to the setting information for which an acquisition request is made in step S701 in FIG. Since the rest is the same as in the first embodiment, description thereof is omitted.
図9は、図7のステップS704及びS706で実施する画像解析領域を表示する処理手順の一例を示すフローチャートである。
まず、受信した第1のカメラサーバ200または第2のカメラサーバ210の設定情報から、カメラサーバの解析領域決定アルゴリズムを判定する(ステップS901)。そして、ステップS901で判定した解析領域決定アルゴリズムと、指定される領域情報とからカメラサーバが実際に画像解析を行う領域を算出する(ステップS902)。この算出処理は解析領域決定アルゴリズム毎に異なるものである。そして、出力制御プログラム163により算出した画像解析領域を表示させ(ステップS903)、処理を終了する。
FIG. 9 is a flowchart illustrating an example of a processing procedure for displaying the image analysis area performed in steps S704 and S706 of FIG.
First, the analysis region determination algorithm of the camera server is determined from the received setting information of the
このように本実施形態では、カメラサーバによって異なる解析領域決定アルゴリズムを採用している場合でも、設定情報に解析領域決定アルゴリズムを含め、そのアルゴリズムに従った画像解析領域を算出する。これにより、さまざまな種類のカメラサーバの画像解析領域を正しく表示することができる。 As described above, in the present embodiment, even when an analysis region determination algorithm that differs depending on the camera server is adopted, the analysis region determination algorithm is included in the setting information, and an image analysis region according to the algorithm is calculated. Thereby, the image analysis areas of various types of camera servers can be correctly displayed.
(第3の実施形態)
以下、本発明の第3の実施形態における画像処理システムについて説明する。本実施形態では、画像解析粒度に応じた画像解析領域の算出手順について説明する。なお、その他については、第1の実施形態と同様であるため、説明は省略する。
(Third embodiment)
The image processing system according to the third embodiment of the present invention will be described below. In the present embodiment, a procedure for calculating an image analysis area corresponding to the image analysis granularity will be described. Since the rest is the same as in the first embodiment, description thereof is omitted.
図10は、図7のステップS704及びS706で実施する画像解析領域を表示する処理手順の一例を示すフローチャートである。
まず、第1のカメラサーバ200または第2のカメラサーバ210の画像解析粒度とクライアント端末220の画像表示粒度とを比較する(ステップS1001)。なお、画像解析粒度の情報は、設定情報として受信したものとする。例えば、画像解析粒度は40×30で、画像表示粒度は640×480である場合は、画像解析粒度の方が大きい。このように画像解析粒度の方が大きい場合は、カメラサーバの画像解析領域を算出する(ステップS1002)。逆に、画像解析粒度が画像表示粒度以下の場合は、カメラサーバの画像解析粒度と画像表示粒度とを同一、つまりカメラサーバの画像解析領域は撮像画像500上でユーザが指定した領域と同じとみなす(ステップS1003)。そして、出力制御プログラム163により算出した画像解析領域を表示させ(ステップS1004)、処理を終了する。
FIG. 10 is a flowchart illustrating an example of a processing procedure for displaying the image analysis area performed in steps S704 and S706 of FIG.
First, the image analysis granularity of the
このように、画像解析粒度と画像表示粒度とを比較し、小さい方の粒度に合わせて画像解析領域をユーザに指定させることにより、カメラサーバ及びクライアント端末の処理能力に合わせて、画像解析領域を表示することができる。 In this way, the image analysis granularity is compared with the image display granularity, and the image analysis area is matched with the processing capability of the camera server and the client terminal by allowing the user to specify the image analysis area according to the smaller granularity. Can be displayed.
(第4の実施形態)
以下、本発明の第4の実施形態における画像処理システムについて説明する。本実施形態では、第1の実施形態と比べて解析領域決定プログラム164により実行される処理が異なっており、カメラサーバに画像解析領域を計算させている。なお、その他については、第1の実施形態と同様であるため、説明は省略する。
(Fourth embodiment)
The image processing system according to the fourth embodiment of the present invention will be described below. In the present embodiment, the processing executed by the analysis
図11は、本実施形態における解析領域決定プログラム164により実行される処理手順の一例を示すフローチャートである。
図11において、ステップS1101〜S1105、S1107はそれぞれ、図7のステップS701〜S705、S707と同様である。
FIG. 11 is a flowchart illustrating an example of a processing procedure executed by the analysis
11, steps S1101 to S1105 and S1107 are the same as steps S701 to S705 and S707 in FIG. 7, respectively.
ステップS1105の判定の結果、閉領域になった場合は、画像指定領域の情報を、設定情報を送信したカメラサーバに送信し、そのカメラサーバに実際に実施する画像解析領域の情報を要求する(ステップ1106)。また、ステップS1103の判定の結果、イベントとして画像解析領域の応答を受信した場合は、出力制御プログラム163により応答に含まれる解析領域リストが示す画像解析領域をディスプレイ等の出力機器391に表示させる(ステップS1108)。なお、ステップS1109及びS1110はそれぞれ、図7のステップS708及びS709である。
If the result of determination in step S1105 is that the region is a closed region, information on the image designation region is transmitted to the camera server that transmitted the setting information, and information on the image analysis region to be actually executed is requested from the camera server ( Step 1106). If the response of the image analysis area is received as an event as a result of the determination in step S1103, the
図12は、本実施形態における解析領域リストの一例を示す図である。なお、本実施形態における第1のカメラサーバ200及び第2のカメラサーバ210の画像解析粒度は40×30であるものとする。そこで、撮像画像を40×30の1200個の領域に分割し、各分割領域に通し番号0から1199を割り振る。
図12においては、撮像画像を1200個のブロックに分割し、図5における閉領域ABCDを指定した場合を示している。図12に示すように、解析領域は番号996、番号1036、番号1037、番号1075、番号1076、番号1077、番号1116、番号1117、番号1118、番号1156、及び番号1157の合計11ブロックが画像解析領域である。この場合、カメラサーバが画像解析領域に対する応答で送信する解析領域リストは、番号996、番号1036、番号1037、番号1075、番号1076、番号1077、番号1116、番号1117、番号1118、番号1156、番号1157の情報となる。
FIG. 12 is a diagram showing an example of the analysis area list in the present embodiment. It is assumed that the image analysis granularity of the
FIG. 12 shows a case where the captured image is divided into 1200 blocks and the closed region ABCD in FIG. 5 is designated. As shown in FIG. 12, the analysis area includes image analysis of a total of 11 blocks of
本実施形態では、画像を1200個の領域に分割してそれぞれの位置に通し番号を割り当てたが、座標値をそのまま使用することも可能である。また、解析領域リストは性質上、対象となるブロック領域が連番となることが多いため、開始番号と連続するブロック数とで表現する等、一般的なデータ圧縮技法を適用することも有効である。 In this embodiment, the image is divided into 1200 areas and serial numbers are assigned to the respective positions. However, the coordinate values can be used as they are. In addition, because the analysis area list is often characterized by the sequential number of block areas, it is also effective to apply general data compression techniques such as expressing the start number and the number of consecutive blocks. is there.
このように本実施形態では、クライアント端末220側で第1のカメラサーバ200及び第2のカメラサーバ210の画像解析領域を計算するのではなく、第1のカメラサーバ200及び第2のカメラサーバ210自身に画像解析領域を計算させている。これにより、クライアント端末を変更することなく新しい画像領域決定アルゴリズムを持ったカメラサーバにも対応することができる。
As described above, in this embodiment, instead of calculating the image analysis areas of the
(第5の実施形態)
以下、本発明の第5の実施形態における画像処理システムについて説明する。
本実施形態では、第1のカメラサーバ200または第2のカメラサーバ210の画像解析粒度がクライアント端末220の画像表示粒度の1/2、つまり画像解析粒度が1280×960、画像表示粒度が640×480の場合について説明する。なお、その他については、第1の実施形態と同様であるため、説明は省略する。
(Fifth embodiment)
Hereinafter, an image processing system according to a fifth embodiment of the present invention will be described.
In this embodiment, the image analysis granularity of the
図13は、本実施形態におけるクライアント端末220側で、カメラサーバが画像解析処理を行う領域を重畳表示した例を示す図である。
クライアント端末220側では、第1のカメラサーバ200または第2のカメラサーバ210の撮像画像1300を表示する。さらに、ユーザが指定した座標(図13の例では320、200)を頂点の1つとした拡大元画像1301を2倍に広げた拡大画像1302を表示する。このとき、拡大画像1302は第1のカメラサーバ200または第2のカメラサーバ210が画像解析できる単位で表示されているので、ユーザは拡大画像1302上で画像解析領域ABCDEFGHIJKを指定することができる。
FIG. 13 is a diagram illustrating an example in which a region where the camera server performs image analysis processing is superimposed and displayed on the client terminal 220 side in the present embodiment.
On the client terminal 220 side, the captured
図14は、本実施形態における解析領域決定プログラム164により実行される処理手順の一例を示すフローチャートである。
図6のステップS601において設定管理プログラム161により解析領域決定プログラム164が起動される。そして、第1のカメラサーバ200または第2のカメラサーバ210に対して現在の画像解析領域、画像解析粒度等を含む設定情報の取得要求を送信する(ステップS1401)。ステップS1402及びS1403はそれぞれ、図7のステップS702及びS703と同様である。
FIG. 14 is a flowchart illustrating an example of a processing procedure executed by the analysis
In step S601 of FIG. 6, the analysis
ステップS1403の判定の結果、設定情報の受信を通知するイベントである場合は、受信した設定情報から現在カメラサーバが画像解析している領域の情報を取得する。そして、受信した設定情報における画面表示粒度に合わせて変換する(ステップS1404)。本実施形態では、粒度の比は1/2なので値を1/2にする。そして、出力制御プログラム163により変換した画像解析領域をディスプレイ等の出力機器391に表示させる(ステップS1405)。この結果、図5に示す撮像画像500を表示することになる。
If the result of determination in step S1403 is an event notifying the reception of setting information, information on the area currently analyzed by the camera server is acquired from the received setting information. Then, conversion is performed according to the screen display granularity in the received setting information (step S1404). In the present embodiment, since the particle size ratio is 1/2, the value is set to 1/2. Then, the image analysis region converted by the
一方、ステップS1403の判定の結果、ユーザにより入力機器381が操作されて拡大画像を作成するイベントである場合は、指定座標を頂点とした拡大画像を作成する。そして、出力制御プログラム163により拡大画像をディスプレイ等の出力機器391に表示させる(ステップS1409)。図13に示す例では、指定座標を(320、200)として拡大画像1302を作成し、表示する。そして、指定座標(320、200)を基準座標としてその情報を一時記憶部165に記憶する(ステップS1410)。本実施形態では、画像解析粒度は画像表示粒度の1/2なので、2倍した座標(640、400)を基準座標として記憶する。
On the other hand, if the result of determination in step S1403 is an event in which the user operates the
また、ステップS1403の判定の結果、ユーザにより入力機器381が操作されて画像解析領域の指定を通知するイベントである場合は、ステップS1406に進む。ステップS1406〜S1408はそれぞれ、図7のステップS705〜S707と同様である。ただし、ステップS1408においては、基準座標を考慮した座標値で記憶する。本実施形態では、拡大画像1302上の点(320、240)の場合、基準座標(640、400)を足した座標(960、640)を指定座標として記憶する。
If it is determined in step S1403 that the
また、ステップS1403の判定の結果、ユーザにより入力機器381が操作され、設定管理プログラム161からの終了を通知するイベントである場合、終了フラグをON状態にする(ステップS1409)。なお、ステップS1412は、図7のステップS709と同様である。
If the
このように本実施形態によれば、第1のカメラサーバ200または第2のカメラサーバ210の画像解析粒度が画像表示粒度より小さい場合は、表示領域を拡大し、その領域に対して画像解析領域を指定する。これにより、処理能力の高いカメラサーバにも対応することができる。また、第3の実施形態と組み合わせ、画像解析粒度が画像表示粒度より大きい場合は、画像解析粒度に合わせて画像解析領域を指定するようにしてもよい。
As described above, according to the present embodiment, when the image analysis granularity of the
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
160 入力制御プログラム、161 設定管理プログラム、162 受信処理プログラム、163 出力制御プログラム、164 解析領域決定プログラム 160 input control program, 161 setting management program, 162 reception processing program, 163 output control program, 164 analysis area determination program
Claims (9)
前記画像データに基づく画像を表示装置に表示する表示制御手段と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定手段と、
前記指定手段により指定された画像解析領域の情報を前記撮像装置に送信する送信手段と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得手段とを備え、
前記表示制御手段は、前記取得手段によって取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする画像処理装置。 An image processing device that receives image data including the monitoring target from an imaging device that images the monitoring target and analyzes the image,
Display control means for displaying an image based on the image data on a display device;
A designation means for designating an image analysis region in an image displayed on the display device in accordance with a user operation;
Transmitting means for transmitting information of the image analysis area designated by the designation means to the imaging device;
Obtaining means for obtaining setting information including information of an image analysis region from the imaging device;
The image processing apparatus, wherein the display control unit superimposes the image and the image analysis region on the display device based on the setting information acquired by the acquisition unit.
前記指定手段は、前記撮像装置の画像解析粒度が前記表示制御手段によって表示される際の表示粒度を超える場合は、前記撮像装置の画像解析粒度で前記画像解析領域を指定し、前記撮像装置の画像解析粒度が前記表示制御手段によって表示される際の表示粒度以下の場合は、前記表示粒度で前記画像解析領域を指定することを特徴とする請求項1に記載の画像処理装置。 The acquisition means further acquires image analysis particle size information for image analysis by the imaging device,
If the image analysis granularity of the imaging device exceeds the display granularity when displayed by the display control means, the designation means designates the image analysis region with the image analysis granularity of the imaging device, and 2. The image processing apparatus according to claim 1, wherein when the image analysis granularity is equal to or smaller than the display granularity when displayed by the display control means, the image analysis region is designated by the display granularity.
前記撮像装置は、
監視対象を撮像して画像データを生成する撮像手段と、
前記撮像手段によって生成された画像データから前記監視対象の画像解析を行う画像解析手段と、
前記撮像手段によって生成された画像データを送信するとともに、前記画像解析手段によって解析される画像解析領域の情報を含む設定情報を前記画像処理装置に送信する通信手段とを備え、
前記画像解析手段は、前記画像処理装置から前記画像解析領域の情報を受信した場合は、前記受信した画像解析領域に従って画像解析を行い、
前記画像処理装置は、
前記画像データに基づく画像を表示装置に表示する表示制御手段と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定手段と、
前記指定手段により指定された画像解析領域の情報を前記撮像装置に送信する送信手段と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得手段とを備え、
前記表示制御手段は、前記取得手段によって取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする画像処理システム。 An image processing system in which an imaging device that images a monitoring target and analyzes the image, and an image processing device that receives image data including the monitoring target from the imaging device are connected to a network,
The imaging device
Imaging means for imaging a monitoring target and generating image data;
Image analysis means for performing image analysis of the monitoring target from image data generated by the imaging means;
A communication unit that transmits the image data generated by the imaging unit and transmits setting information including information on an image analysis region analyzed by the image analysis unit to the image processing apparatus;
When the image analysis unit receives the image analysis area information from the image processing device, the image analysis unit performs image analysis according to the received image analysis area,
The image processing apparatus includes:
Display control means for displaying an image based on the image data on a display device;
A designation means for designating an image analysis region in an image displayed on the display device in accordance with a user operation;
Transmitting means for transmitting information of the image analysis area designated by the designation means to the imaging device;
Obtaining means for obtaining setting information including information of an image analysis region from the imaging device;
The image processing system, wherein the display control unit superimposes the image and the image analysis region on the display device based on the setting information acquired by the acquisition unit.
前記画像データに基づく画像を表示装置に表示する表示制御工程と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定工程と、
前記指定工程において指定された画像解析領域の情報を前記撮像装置に送信する送信工程と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得工程とを備え、
前記表示制御工程においては、前記取得工程において取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする画像処理方法。 An image processing method for receiving image data including the monitoring target from an imaging device that images the monitoring target and analyzes the image,
A display control step of displaying an image based on the image data on a display device;
A designation step of designating an image analysis region in an image displayed on the display device in accordance with a user operation;
A transmission step of transmitting information of the image analysis region designated in the designation step to the imaging device;
An acquisition step of acquiring setting information including information of an image analysis region from the imaging device,
In the display control step, based on the setting information acquired in the acquisition step, the image and the image analysis region are superimposed and displayed on the display device.
前記画像データに基づく画像を表示装置に表示する表示制御工程と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定工程と、
前記指定工程において指定された画像解析領域の情報を前記撮像装置に送信する送信工程と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得工程とをコンピュータに実行させ、
前記表示制御工程においては、前記取得工程において取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とするプログラム。 A program for controlling an image processing device that receives image data including the monitoring target from an imaging device that images the monitoring target and analyzes the image,
A display control step of displaying an image based on the image data on a display device;
A designation step of designating an image analysis region in an image displayed on the display device in accordance with a user operation;
A transmission step of transmitting information of the image analysis region designated in the designation step to the imaging device;
An acquisition step of acquiring setting information including information on an image analysis region from the imaging device is executed by a computer,
In the display control step, the image and the image analysis region are superimposed and displayed on the display device based on the setting information acquired in the acquisition step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010146097A JP5697369B2 (en) | 2010-06-28 | 2010-06-28 | Image processing apparatus, image processing system, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010146097A JP5697369B2 (en) | 2010-06-28 | 2010-06-28 | Image processing apparatus, image processing system, and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012010233A true JP2012010233A (en) | 2012-01-12 |
JP5697369B2 JP5697369B2 (en) | 2015-04-08 |
Family
ID=45540241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010146097A Active JP5697369B2 (en) | 2010-06-28 | 2010-06-28 | Image processing apparatus, image processing system, and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5697369B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103065519A (en) * | 2012-12-28 | 2013-04-24 | 苏州苏迪智能系统有限公司 | Detecting system of ramp fixed point stopping and starting and detecting method of ramp fixed point stopping and starting |
CN103065520A (en) * | 2012-12-28 | 2013-04-24 | 苏州苏迪智能系统有限公司 | Detection system for backing car into storage and detection method thereof |
JP2014236312A (en) * | 2013-05-31 | 2014-12-15 | キヤノン株式会社 | Setting device and setting method |
CN109413346A (en) * | 2012-05-23 | 2019-03-01 | 杭州阿尔法红外检测技术有限公司 | Thermal imagery camera and thermal imagery method for imaging |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000099705A (en) * | 1998-09-25 | 2000-04-07 | Hitachi Ltd | Image processing system |
JP2004248089A (en) * | 2003-02-14 | 2004-09-02 | Canon Inc | Image change detection system |
JP2004304556A (en) * | 2003-03-31 | 2004-10-28 | Toshiba Corp | Imaging device, system for the same, and imaging method |
JP2005051664A (en) * | 2003-07-31 | 2005-02-24 | Toshiba Corp | Imaging apparatus and imaging method |
JP2005128999A (en) * | 2003-05-16 | 2005-05-19 | Hitachi Kokusai Electric Inc | Change detecting apparatus |
JP2007531934A (en) * | 2004-03-26 | 2007-11-08 | イーストマン コダック カンパニー | Discrimination of important areas in images |
JP2010028608A (en) * | 2008-07-23 | 2010-02-04 | Sanyo Electric Co Ltd | Image processor, image sensing device, reproducer and method for processing image |
-
2010
- 2010-06-28 JP JP2010146097A patent/JP5697369B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000099705A (en) * | 1998-09-25 | 2000-04-07 | Hitachi Ltd | Image processing system |
JP2004248089A (en) * | 2003-02-14 | 2004-09-02 | Canon Inc | Image change detection system |
JP2004304556A (en) * | 2003-03-31 | 2004-10-28 | Toshiba Corp | Imaging device, system for the same, and imaging method |
JP2005128999A (en) * | 2003-05-16 | 2005-05-19 | Hitachi Kokusai Electric Inc | Change detecting apparatus |
JP2005051664A (en) * | 2003-07-31 | 2005-02-24 | Toshiba Corp | Imaging apparatus and imaging method |
JP2007531934A (en) * | 2004-03-26 | 2007-11-08 | イーストマン コダック カンパニー | Discrimination of important areas in images |
JP2010028608A (en) * | 2008-07-23 | 2010-02-04 | Sanyo Electric Co Ltd | Image processor, image sensing device, reproducer and method for processing image |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109413346A (en) * | 2012-05-23 | 2019-03-01 | 杭州阿尔法红外检测技术有限公司 | Thermal imagery camera and thermal imagery method for imaging |
CN109413346B (en) * | 2012-05-23 | 2021-01-26 | 杭州阿尔法红外检测技术有限公司 | Thermal image photographing device and thermal image photographing method |
CN103065519A (en) * | 2012-12-28 | 2013-04-24 | 苏州苏迪智能系统有限公司 | Detecting system of ramp fixed point stopping and starting and detecting method of ramp fixed point stopping and starting |
CN103065520A (en) * | 2012-12-28 | 2013-04-24 | 苏州苏迪智能系统有限公司 | Detection system for backing car into storage and detection method thereof |
JP2014236312A (en) * | 2013-05-31 | 2014-12-15 | キヤノン株式会社 | Setting device and setting method |
Also Published As
Publication number | Publication date |
---|---|
JP5697369B2 (en) | 2015-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6957215B2 (en) | Information processing equipment, information processing methods and programs | |
CN106454065B (en) | Information processing apparatus and control method thereof | |
JP5523027B2 (en) | Information transmitting apparatus and information transmitting method | |
JP7023696B2 (en) | Information processing equipment, information processing methods and programs | |
JP2020014159A (en) | File generation device and video generation device on the basis of file | |
CN108063879A (en) | Remote support system and its control method support device, information processing unit and medium | |
JP2019191989A (en) | System for, method of, and program for generating virtual viewpoint image | |
WO2011145539A1 (en) | Multiple-site drawn-image sharing apparatus, multiple-site drawn-image sharing system, method executed by multiple-site drawn-image sharing apparatus, program, and recording medium | |
JP5697369B2 (en) | Image processing apparatus, image processing system, and image processing method | |
CN110557607B (en) | Image processing apparatus, information processing method, and recording medium | |
KR20220007172A (en) | Image synchronization method and device, device, computer storage medium | |
WO2015165023A1 (en) | Screen sharing method, device and system | |
EP3156895A1 (en) | Image processing apparatus and image processing system | |
JP2015197846A (en) | Monitoring system for printer and control method of the same, and program | |
JP7208713B2 (en) | Image analysis device and image analysis method | |
JP6261191B2 (en) | Display control apparatus, display control method, and program | |
CN107423187A (en) | A kind of screen monitor method, apparatus and system | |
JP7328849B2 (en) | IMAGING DEVICE, SYSTEM, CONTROL METHOD OF IMAGING DEVICE, AND PROGRAM | |
CN113168706A (en) | Object position determination in frames of a video stream | |
JP7073120B2 (en) | Video transmitters, information processing devices, systems, information processing methods and programs | |
CN114339071A (en) | Image processing circuit, image processing method and electronic device | |
JP2012220840A (en) | Image display device and image display method | |
JP6362090B2 (en) | How to display the preset position of the network camera | |
KR102608208B1 (en) | Method, device and system for providing streaming service with improved visibility of image of interest | |
JP2014174643A (en) | Image processing system, control method therefor, image processing device, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140415 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140729 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150210 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5697369 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |