JP2015104050A - Automatic tracking apparatus - Google Patents

Automatic tracking apparatus Download PDF

Info

Publication number
JP2015104050A
JP2015104050A JP2013244888A JP2013244888A JP2015104050A JP 2015104050 A JP2015104050 A JP 2015104050A JP 2013244888 A JP2013244888 A JP 2013244888A JP 2013244888 A JP2013244888 A JP 2013244888A JP 2015104050 A JP2015104050 A JP 2015104050A
Authority
JP
Japan
Prior art keywords
wiper
subject
tracking
operating
automatic tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013244888A
Other languages
Japanese (ja)
Other versions
JP6317573B2 (en
Inventor
健司 影井
Kenji Kagei
健司 影井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013244888A priority Critical patent/JP6317573B2/en
Publication of JP2015104050A publication Critical patent/JP2015104050A/en
Application granted granted Critical
Publication of JP6317573B2 publication Critical patent/JP6317573B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an automatic tracking apparatus which suppresses deterioration of tracking performance and realizes a tracking operation with reduced discomfort even when a wiper is operated during automatic tracking.SOLUTION: The automatic tracking apparatus comprises: a photographing apparatus; a universal head apparatus which changes the photographing direction of the photographing apparatus; a wiper which wipes the optical surface of the photographing device; control means which controls driving of the photographing apparatus and the universal head apparatus; and recognition means which recognizes a subject within a photographic image photographed by the photographing apparatus. The control means controls driving of the universal head apparatus so as to keep tracking of the subject, on the basis of whether the wiper operates or not.

Description

本発明は自動追尾装置に関し、特にワイパ機能が付加された自動追尾装置に関するものである。   The present invention relates to an automatic tracking device, and more particularly to an automatic tracking device to which a wiper function is added.

従来、ズーム・チルト・パンを動作させることで、特定の被写体を自動で追尾する自動追尾装置が知られている。自動追尾装置は、まず追尾すべき被写体を特定することで自動追尾を開始し、ズーム・チルト・パンを動作させることで、被写体が画面内のある領域にとどまるように制御し続けるものである。自動追尾装置は、屋外でハウジング内に設置され、被写体を該ハウジングのガラス等の透明部材越しで撮影するように構成される場合が有り、そのような構成においてはガラスの表面を払拭するワイパ装置を備えることによって撮影状態を維持している。ここで、自動追尾中にワイパを動作させると、被写体がワイパブレードによって隠されてしまうことによって、一時的に画面に被写体が存在しない状態となり、追尾停止状態となる。このため、被写体が一定の速度で動作していたとしても、一度停止するような違和感のある追尾動作になることに加え、再度被写体の決定処理を行うことによる処理の増大など、追尾性能の低下を招いてしまう。   Conventionally, an automatic tracking device that automatically tracks a specific subject by operating zoom, tilt, and pan is known. The automatic tracking device starts automatic tracking by first specifying a subject to be tracked, and continues to control the subject to remain in a certain area in the screen by operating zoom, tilt, and pan. In some cases, an automatic tracking device is installed in a housing outdoors and is configured to photograph a subject through a transparent member such as glass of the housing. In such a configuration, a wiper device that wipes the surface of the glass The shooting state is maintained by providing Here, if the wiper is operated during automatic tracking, the subject is hidden by the wiper blade, so that the subject temporarily does not exist on the screen, and the tracking stop state is entered. For this reason, even if the subject is moving at a constant speed, the tracking performance is degraded, such as a tracking operation with a sense of incongruity that stops once, and an increase in processing by performing subject determination processing again. Will be invited.

このように、ワイパ装置を動作させると、ワイパブレードが撮像装置の前面を通過することで、動作前と取得される映像が異なることから、ワイパ動作中は動作前と異なる制御を行うシステムが知られている。例えば、特許文献１では、雨滴センサが降雨を自動で検知していれば自動的にワイパを駆動させるシステムにおいて、ワイパ動作によってワイパブレードを雨滴と誤って検知しないように、ワイパ動作中は映像出力を一時停止する例が開示されている。   As described above, when the wiper device is operated, the wiper blade passes through the front surface of the imaging device, so that the acquired image is different from that before the operation. It has been. For example, in Patent Document 1, in a system that automatically drives a wiper if a raindrop sensor automatically detects rainfall, video output is performed during the wiper operation so that the wiper blade does not mistakenly detect it as raindrops by the wiper operation. An example of pausing the process is disclosed.

特許４４５６４４４号Japanese Patent No. 4456444

しかしながら、特許文献１に開示された従来技術では、ワイパ動作中は映像がフリーズしてしまう。このため、自動追尾装置にこの方法を適用すると、映像が更新されないことに加え、ワイパの動作中は追尾動作を行うことができなくなってしまう。   However, in the prior art disclosed in Patent Document 1, the video freezes during the wiper operation. For this reason, when this method is applied to the automatic tracking device, the video is not updated and the tracking operation cannot be performed while the wiper is operating.

そこで、本発明の目的は、自動追尾中にワイパを動作させた場合でも、追尾性能の低下を抑え、より違和感のない追尾動作を実現することを可能にした自動追尾装置を提供することである。   Accordingly, an object of the present invention is to provide an automatic tracking device that can suppress a decrease in tracking performance even when a wiper is operated during automatic tracking, and can realize a tracking operation without a sense of incongruity. .

上記目的を達成するために、本発明による撮影映像中の被写体を自動追尾するための自動追尾装置は、撮影装置と、前記撮影装置の撮影方向を変更する雲台装置と、前記撮影装置の光学面を払拭するワイパと、前記撮影装置及び前記雲台装置の駆動を制御する制御手段と、前記撮影装置で撮影された撮影画像内で被写体を認識する認識手段と、を有し、前記制御手段は、前記ワイパの動作の有無に基づき、被写体を追尾し続けるように、前記雲台装置の駆動を制御する、ことを特徴とする。   In order to achieve the above object, an automatic tracking device for automatically tracking a subject in a captured image according to the present invention includes an imaging device, a pan / tilt head device for changing the imaging direction of the imaging device, and an optical of the imaging device. A wiper for wiping the surface, control means for controlling driving of the photographing device and the pan head device, and recognition means for recognizing a subject in a photographed image photographed by the photographing device, the control means Controls the driving of the pan head device so as to keep track of the subject based on the presence or absence of the operation of the wiper.

本発明によれば、自動追尾中にワイパを動作させた場合でも、追尾性能の低下を抑え、より違和感のない追尾動作を実現することを可能にした自動追尾装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, even when a wiper is operated during automatic tracking, it is possible to provide an automatic tracking device that can suppress a decrease in tracking performance and can realize a tracking operation without a sense of incongruity.

実施例１の概略図である。1 is a schematic diagram of Example 1. FIG. 実施例１のブロック図である。1 is a block diagram of Example 1. FIG. 実施例１の基準画像の例である。3 is an example of a reference image according to the first embodiment. 実施例１の取得映像の例である。It is an example of the acquisition image | video of Example 1. FIG. 実施例１の追尾処理装置ＣＰＵの処理のフローチャートである。3 is a flowchart of processing performed by a tracking processing device CPU according to the first embodiment. 実施例１の追尾処理１のフローチャートである。3 is a flowchart of tracking processing 1 according to the first embodiment. 実施例１のワイパ動作中の取得映像の例である。6 is an example of an acquired image during the wiper operation of the first embodiment. 実施例１の更新禁止領域の例である。3 is an example of an update prohibition area according to the first embodiment. 実施例２の追尾処理２のフローチャートである。10 is a flowchart of tracking processing 2 according to the second embodiment. 実施例２のワイパ動作中の取得映像の例である。10 is an example of an acquired image during the wiper operation of the second embodiment. 実施例３の追尾処理３のフローチャートである。10 is a flowchart of tracking processing 3 according to the third embodiment. 実施例４の追尾処理４のフローチャートである。10 is a flowchart of tracking processing 4 according to the fourth embodiment. 実施例４の更新禁止領域の例である。14 is an example of an update prohibition area according to the fourth embodiment.

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は本発明の実施形態に係る追尾システムの概略図、図２はそのブロック図である。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a schematic diagram of a tracking system according to an embodiment of the present invention, and FIG. 2 is a block diagram thereof.

以下、図１および図２を参照して、本発明の第１の実施例による構成について説明する。   The configuration according to the first embodiment of the present invention will be described below with reference to FIGS.

本実施例の追尾システムは、撮影映像内の被写体を自動追尾するための自動追尾装置である。本実施例の追尾システムは、操作器１、雲台１０、カメラ２０、レンズ３０、追尾処理装置４０およびフロントガラス（光学面）５１とフロントガラスを清掃する（払拭する）ためのワイパブレード５２とワイパブレードを回転させるためのワイパモータ５３とから構成される。   The tracking system of this embodiment is an automatic tracking device for automatically tracking a subject in a captured video. The tracking system of the present embodiment includes an operating device 1, a pan head 10, a camera 20, a lens 30, a tracking processing device 40, a windshield (optical surface) 51, and a wiper blade 52 for cleaning (wiping) the windshield. It comprises a wiper motor 53 for rotating the wiper blade.

雲台１０は雲台ＣＰＵ１１、追尾処理装置間通信部１２、パン制御部１３ａ、チルト制御部１３ｂ、雲台駆動手段であるパンモータ１４ａ及びチルトモータ１４ｂ、レンズ制御部１５、カメラ制御部１６、ワイパ制御部１７から構成される。   The pan head 10 includes a pan head CPU 11, a tracking processing device communication unit 12, a pan control unit 13a, a tilt control unit 13b, a pan motor 14a and a tilt motor 14b as pan head driving means, a lens control unit 15, a camera control unit 16, and a wiper. The control unit 17 is configured.

雲台は、まず追尾処理装置間通信部で追尾処理装置からの操作信号を受信する。受信した操作信号を雲台ＣＰＵが解釈し、操作信号に適した動作を行う。操作信号がパン・チルトの駆動命令であった場合には、パン・チルト制御部を制御することによって、パン・チルトモータを駆動させ、撮影する方向を変更する。ズーム・フォーカスの駆動命令であった場合には、レンズ制御部を制御することによって、レンズを駆動させる。各種カメラの制御命令であった場合には、カメラ制御部を制御し、カメラを制御する。ワイパの駆動命令であった場合には、ワイパ制御部を制御することで、ワイパモータを駆動させ、ワイパブレードを回転させる。   First, the pan head receives an operation signal from the tracking processing device in the communication unit between tracking processing devices. The pan / tilt head CPU interprets the received operation signal and performs an operation suitable for the operation signal. When the operation signal is a pan / tilt drive command, the pan / tilt control unit is controlled to drive the pan / tilt motor to change the shooting direction. In the case of a zoom / focus drive command, the lens is driven by controlling the lens control unit. If the control command is for various cameras, the camera control unit is controlled to control the camera. If the wiper drive command is received, the wiper control unit is controlled to drive the wiper motor and rotate the wiper blade.

追尾処理装置４０は、画像処理部４１、画像処理メモリ４２、画像処理プロセッサ４３、テンプレートメモリ４４、追尾処理装置ＣＰＵ４５、操作器間通信部４６、雲台間通信部４７から構成される。   The tracking processing device 40 includes an image processing unit 41, an image processing memory 42, an image processing processor 43, a template memory 44, a tracking processing device CPU 45, an inter-operator communication unit 46, and a pan-head communication unit 47.

追尾処理装置４０は、まずカメラ２０から受信した映像信号を画像処理部４１が１フレームごとの画像データに変換し画像処理メモリ４２に保存する。画像処理プロセッサ４３（認識手段）は、テンプレートメモリ４４に保存されている画像を基準画像とし、画像処理メモリ４２に保存されている画像に対してパターンマッチングを行うことで、追尾すべき被写体の有無を判定する。画像処理メモリ４２の中に基準画像との整合の度合いがあらかじめ設定されている被写体認識の閾値THを上回る領域がある場合には、被写体が存在するとし、その重心座標(Xobj, Yobj)を計算し、これらの抽出した被写体情報を追尾処理装置ＣＰＵ４５に送る。一方、閾値THを超えるような領域が存在しない場合には、被写体が存在しないものとし、その結果を追尾処理装置ＣＰＵ４５に送る。 In the tracking processing device 40, first, the image processing unit 41 converts the video signal received from the camera 20 into image data for each frame and stores the image data in the image processing memory 42. The image processing processor 43 (recognition means) uses the image stored in the template memory 44 as a reference image, and performs pattern matching on the image stored in the image processing memory 42 to determine whether there is a subject to be tracked. Determine. If there is a region in the image processing memory 42 where the degree of matching with the reference image exceeds a preset subject recognition threshold value TH, it is assumed that the subject exists and its barycentric coordinates (X obj , Y obj ) And the extracted subject information is sent to the tracking processor CPU45. On the other hand, if there is no region exceeding the threshold TH, it is assumed that there is no subject and the result is sent to the tracking processing unit CPU 45.

例えば、テンプレートメモリ４４に図３のような画像データが保存されているものとする。その際に、図４（ａ）のような映像が取得された際には、被写体が存在するという情報に加え、被写体の重心座標（Xobj, Yobj）を追尾処理装置ＣＰＵ４５に送信する。一方、図４（ｂ）のような映像が取得された際には、基準画像と一致する領域が無いため、被写体が存在しないという情報を追尾処理装置ＣＰＵ４５に送信する。 For example, it is assumed that the image data as shown in FIG. At that time, when a video as shown in FIG. 4A is acquired, in addition to the information that the subject exists, the center-of-gravity coordinates (X obj , Y obj ) of the subject are transmitted to the tracking processing unit CPU 45. On the other hand, when a video as shown in FIG. 4B is acquired, information indicating that no subject is present is transmitted to the tracking processing device CPU 45 because there is no region that matches the reference image.

以下に、追尾処理装置ＣＰＵ４５の処理の流れについて、図５のフローチャートをもとに説明する。   Hereinafter, the processing flow of the tracking processing device CPU 45 will be described with reference to the flowchart of FIG.

まず、操作器間通信部４６から操作器１からの操作命令があるかを判定し（Ｓ１１）、操作命令がある場合には、雲台１０へ操作信号を送信する（Ｓ１２）。次に、現在、追尾中かどうかを判定し（Ｓ１３）、追尾中でない場合には、追尾を開始するかの判定を行う（Ｓ１４）。操作器１から追尾開始命令を受信し、かつ追尾被写体を認識した際のように、追尾開始条件を満たした場合には、追尾中に移行する（Ｓ１５）。その後、後述の追尾処理を行う（Ｓ１６）。最後に追尾終了の判定を行い（Ｓ１７）、操作器１から追尾終了命令を受信する、または追尾すべき被写体が画面外に移動してしまった場合のように、追尾終了条件を満たした場合には、追尾停止中へ移行する（Ｓ１８）。以上のＳ１１〜Ｓ１８の処理を繰り返すことで、被写体の追尾動作を行う。   First, it is determined whether there is an operation command from the controller 1 from the inter-operator communication unit 46 (S11), and when there is an operation command, an operation signal is transmitted to the pan head 10 (S12). Next, it is determined whether tracking is currently in progress (S13). If tracking is not in progress, it is determined whether tracking is to be started (S14). When the tracking start command is received from the controller 1 and the tracking start condition is satisfied as in the case where the tracking subject is recognized, the process proceeds to tracking (S15). Thereafter, a tracking process described later is performed (S16). Finally, the tracking end is determined (S17), and when the tracking end command is received from the controller 1, or when the tracking end condition is satisfied as in the case where the subject to be tracked has moved out of the screen. Shifts to tracking stop (S18). The subject tracking operation is performed by repeating the processes of S11 to S18.

次に、追尾処理Ｓ１６の詳細である追尾処理１について、図６のフローチャートをもとに説明する。追尾処理１は、図７に示すような、ズーム位置を広角にして撮影している場合のように、ワイパを動作させるとワイパブレード５２によって被写体が一時的に画面上に存在しなくなるような状況を想定している。   Next, the tracking process 1 which is the detail of the tracking process S16 is demonstrated based on the flowchart of FIG. The tracking process 1 is a situation in which the subject is temporarily absent from the screen by the wiper blade 52 when the wiper is operated, as in the case where the zoom position is taken at a wide angle as shown in FIG. Is assumed.

追尾処理装置ＣＰＵ４５は追尾処理のはじめに、操作器１からのワイパ駆動命令を雲台１０へ送信した時間からの経過時間によって、ワイパが動作中であるか非動作中であるかを判定する（Ｓ２１）。ワイパが動作中で無かった場合には、前述の画像処理プロセッサ４３から被写体情報を受信し、画面内に被写体が存在するか、存在する場合にはその位置情報を受信する（Ｓ２２）。受信された被写体の情報から、画面内に被写体が存在するかの判定を行い（Ｓ２３）、画面内に被写体が存在する場合には、予め設定されている更新禁止領域内かを判定する（Ｓ２４）。被写体の位置が更新禁止領域外の場合は、雲台をパン・チルト動作させる駆動速度ｖの再計算を行い（Ｓ２５）、更新禁止領域内の場合は駆動速度の再計算を行わないようにする。例えば、図８(a)のように、対角の座標が（Xmin, Ymin）及び（Xmax, Ymax）で表される更新禁止領域Ｒに対して被写体位置（Xobj, Yobj）が領域内にある場合には、駆動速度ｖを再計算しない。一方、図８(b)のように、被写体位置が更新禁止領域外の場合には、駆動速度ｖを再計算する。被写体が更新禁止領域内に入るよう、被写体位置Xobjと更新禁止領域の中心(Xmax-Xmin)/2との差が大きいほど、現在の駆動速度ｖとの相対速度の差が大きくなるように駆動速度ｖの値を更新する。また、画面内に被写体が存在しない場合には、雲台１０を停止させるようにv = 0とし、追尾終了条件フラグをＯＮとする（Ｓ２６）。一方、ワイパが動作中であった場合には、上記の駆動速度ｖの再計算を行わず、前回の駆動速度ｖの操作信号を雲台１０へ送信する。このように、ワイパが動作していない場合は、通常の追尾動作を行い、ワイパが動作している場合には、直前の駆動速度のまま一定速で雲台を動作させる。このように、ワイパで被写体認識ができない場合が想定されても、被写体が直前の運動を維持していることを前提として、被写体を撮影画面内に捕捉し続けることを優先する雲台装置、レンズ装置の制御をしている。これにより、ワイパ動作中に追尾制御を停止させるような場合に比べ、被写体が撮影画面内に捕捉できなくなってしまうリスクを低減させている。 At the beginning of the tracking process, the tracking processing device CPU 45 determines whether the wiper is operating or not operating based on the elapsed time from the time when the wiper driving command from the operating device 1 is transmitted to the camera platform 10 (S21). ). If the wiper is not in operation, the subject information is received from the image processor 43 described above, and if the subject exists on the screen or if it exists, the position information is received (S22). From the received subject information, it is determined whether or not there is a subject in the screen (S23). If there is a subject in the screen, it is determined whether or not it is within a preset update prohibition region (S24). ). If the position of the subject is outside the update prohibition area, recalculation of the driving speed v for panning / tilting the pan head is performed (S25), and if it is within the update prohibition area, the drive speed is not recalculated. . For example, as shown in FIG. 8A, the subject position (X obj , Y obj ) is within the region with respect to the update prohibited region R whose diagonal coordinates are represented by (Xmin, Ymin) and (Xmax, Ymax). If it is, the drive speed v is not recalculated. On the other hand, as shown in FIG. 8B, when the subject position is outside the update prohibited area, the driving speed v is recalculated. As the difference between the subject position X obj and the center (Xmax-Xmin) / 2 of the update prohibited area increases so that the subject enters the update prohibited area, the difference in relative speed with the current drive speed v increases. The value of the driving speed v is updated. If there is no subject in the screen, v = 0 is set so as to stop the camera platform 10, and the tracking end condition flag is turned ON (S26). On the other hand, when the wiper is in operation, the operation signal of the previous drive speed v is transmitted to the camera platform 10 without recalculating the drive speed v. Thus, when the wiper is not operating, a normal tracking operation is performed, and when the wiper is operating, the pan head is operated at a constant speed with the previous driving speed. As described above, even if it is assumed that the subject cannot be recognized by the wiper, the camera platform device and the lens give priority to continuously capturing the subject in the shooting screen on the assumption that the subject keeps the previous movement. The device is being controlled. As a result, the risk that the subject cannot be captured in the shooting screen is reduced as compared with the case where the tracking control is stopped during the wiper operation.

上記のように処理を行うことで、ワイパブレード５２に被写体が隠れることにより一時的に被写体が存在しなくなる場合でも、雲台１０が一度停止してしまうような違和感のある動作を防止し、再度、追尾開始処理を行うことなく追尾動作を継続させることができる。   By performing the processing as described above, even when the subject temporarily disappears due to the wiper blade 52 being hidden, an uncomfortable operation that causes the camera platform 10 to stop once is prevented, and again The tracking operation can be continued without performing the tracking start process.

本実施例の派生するシステムとして、上記では被写体の位置情報からパン・チルトを動作させる場合について説明しているが、被写体の撮影画像内での大きさに基づいて求められた速度でズームレンズを駆動し、被写体の大きさを撮影画像内で一定に保つような追尾動作を行ってもよい。また、雲台１０の構成において、追尾処理装置間通信部１２、パン制御部１３ａ、チルト制御部１３ｂ、レンズ制御部１５、カメラ制御部１６、ワイパ制御部１７と雲台ＣＰＵ１１を別のものとしているが、いずれかもしくは全てをひとつのＣＰＵで処理してもよい。同様に、追尾処理装置４０の構成において、画像処理プロセッサ４３、操作器間通信部４６と追尾処理装置ＣＰＵ４５を別のものとしているが、ひとつのＣＰＵで処理してもよいし、テンプレートメモリ４４については、ＣＰＵの内蔵のメモリを使用してもよい。さらに、雲台内部に追尾処理装置の機能を組み込んでもよい。また、実施例では追尾被写体の認識方法にパターンマッチングを用いた例としたが、色相を用いる方法でもよいし、動体検知によるものとしてもよい。さらに、ワイパが動作中かどうかの判定については、ワイパモータ５３を駆動中の場合でもよいし、ワイパ動作開始からの時間から推測される、画面内（撮影画角内）をワイパブレードが遮る場合のみとしてもよい。もしくは、エンコーダやポテンショメータなどの位置検出手段を用いることで、ワイパブレード５２の位置を検出し、画面内（撮影画角内）を遮る位置にある場合のみとしてもよい。   As a system derived from the present embodiment, the case where pan / tilt is operated from the position information of the subject has been described above, but the zoom lens is used at a speed determined based on the size of the subject in the captured image. It may be driven to perform a tracking operation that keeps the size of the subject constant in the captured image. In the configuration of the camera platform 10, the tracking processor inter-communication unit 12, the pan control unit 13a, the tilt control unit 13b, the lens control unit 15, the camera control unit 16, the wiper control unit 17, and the camera platform CPU 11 are separated. However, any or all of them may be processed by one CPU. Similarly, in the configuration of the tracking processing device 40, the image processing processor 43, the inter-operator communication unit 46, and the tracking processing device CPU 45 are different from each other. May use a memory built in the CPU. Furthermore, the function of the tracking processing device may be incorporated in the pan head. In the embodiment, pattern matching is used as the method for recognizing the tracking subject. However, a method using hue may be used, or motion detection may be used. Further, whether or not the wiper is in operation may be determined only when the wiper motor 53 is being driven, or only when the wiper blade blocks the screen (within the shooting angle of view) estimated from the time from the start of the wiper operation. It is good. Alternatively, the position of the wiper blade 52 may be detected by using position detection means such as an encoder or a potentiometer, and only when the position is within the screen (within the shooting angle of view).

以下、本発明の第２の実施例について説明する。   The second embodiment of the present invention will be described below.

構成は図１、２に示した実施例１と同様である。追尾処理装置ＣＰＵの処理の流れは、追尾処理（Ｓ１６）の部分が異なるため、実施例２の追尾処理の詳細である追尾処理２について、図９のフローチャートにもとづいて説明する。追尾処理２は、図１０に示すような、ズーム位置を望遠にして撮影している場合のように、ワイパを動作させるとワイパブレード５２によって画面内が暗く、解像度が落ちることで、被写体の認識が通常時よりも困難になるような状況を想定している。   The configuration is the same as that of the first embodiment shown in FIGS. Since the process flow of the tracking processing device CPU is different in the tracking process (S16), the tracking process 2 which is the details of the tracking process of the second embodiment will be described with reference to the flowchart of FIG. In tracking processing 2, as shown in FIG. 10, when the wiper is operated, the screen is darkened by the wiper blade 52, and the resolution is lowered. Is assumed to be more difficult than usual.

実施例１と同様に、追尾処理装置ＣＰＵ４５は、ワイパが動作中であるかを判定する（Ｓ２１）。ワイパが動作していない場合には、被写体認識の閾値THを通常の値THNormalとする（Ｓ３２）。一方、ワイパが動作している場合には、THを通常のTHNormalよりも低いTHWiperとする（Ｓ３１）。すなわち、ワイパの動作中の被写体認識の閾値THWiperをワイパの非動作中の閾値THNormalよりも低く設定し、ワイパの動作中はワイパの非動作中に対してより容易に被写体として認識することを可能とする設定とする。こうして決定したTHを画像処理プロセッサ４３に設定し（Ｓ３３）、被写体の認識処理を行わせた後、実施例１と同様の被写体情報を受信する（Ｓ２２）。以下、Ｓ２３〜Ｓ２７は実施例１と同様である。 As in the first embodiment, the tracking processing device CPU 45 determines whether the wiper is operating (S21). If the wiper is not operating, the subject recognition threshold value TH is set to the normal value TH Normal (S32). On the other hand, when the wiper is operating, TH is set to TH Wiper lower than normal TH Normal (S31). That is, the threshold TH Wiper for subject recognition while the wiper is operating is set lower than the threshold TH Normal when the wiper is not operating, and the wiper is recognized as a subject more easily than when the wiper is not operating. Is set to be possible. The TH thus determined is set in the image processor 43 (S33), subject recognition processing is performed, and then subject information similar to that in the first embodiment is received (S22). Hereinafter, S23 to S27 are the same as those in the first embodiment.

上記のような処理を行うことで、ワイパブレード５２が前面を通過することによって、映像の解像度が低下する場合でも、雲台１０が一度停止してしまうような違和感のある動作を防止し、再度、追尾開始処理を行うことなく追尾動作を継続させることができる。   By performing the processing as described above, even if the resolution of the image is lowered due to the wiper blade 52 passing through the front surface, an uncomfortable operation that stops the pan head 10 once is prevented. The tracking operation can be continued without performing the tracking start process.

また、このように、ワイパで被写体認識ができない場合が想定されても、被写体が直前の運動を維持しているであろうことを前提として、被写体を撮影画面内に捕捉し続けることを優先する雲台装置、レンズ装置の制御をしている。これにより、ワイパ動作中に追尾制御を停止させるような場合に比べ、被写体が撮影画面内に捕捉できなくなってしまうリスクを低減させている。   In addition, even if it is assumed that the subject cannot be recognized by the wiper as described above, priority is given to continuously capturing the subject in the shooting screen on the assumption that the subject will maintain the previous movement. Controls the pan head device and lens device. As a result, the risk that the subject cannot be captured in the shooting screen is reduced as compared with the case where the tracking control is stopped during the wiper operation.

以下、本発明の第３の実施例について説明する。   The third embodiment of the present invention will be described below.

構成は図１、２に示した実施例１と同様である。追尾処理装置ＣＰＵ４５の処理の流れは、追尾処理（Ｓ１６）の部分が異なるため、実施例３の追尾処理の詳細である追尾処理３について、図１１のフローチャートにもとづいて説明する。   The configuration is the same as that of the first embodiment shown in FIGS. Since the process flow of the tracking processing device CPU 45 is different in the tracking process (S16), the tracking process 3 which is the details of the tracking process of the third embodiment will be described with reference to the flowchart of FIG.

追尾処理装置のＣＰＵは、まず、雲台１０から現在のズーム位置Zcurrentを取得する（Ｓ４１）。次に、Zcurrentと予め設定されている所定の閾値Zthを比較し（Ｓ４２）、現在のズーム位置Zcurrentが閾値Zthよりも広角側（Zcurrent＜Zth）の場合には、実施例１に記載の追尾処理１を行う（Ｓ４３）。すなわち、ワイパ動作中は雲台の駆動速度を更新（変更）せず、ワイパの非動作中のみ被写体が更新禁止領域内にない場合に雲台の駆動速度を再計算し更新する処理を実施する。現在のズーム位置Zcurrentが閾値Zthよりも望遠側（Zcurrent≧Zth）の場合には、実施例２に記載の追尾処理２を行う（Ｓ４４）。すなわち、すなわち、ワイパの動作中の被写体認識の閾値THWiperをワイパの非動作中の閾値THNormalよりも低く設定し、ワイパの動作中はワイパの非動作中に対してより容易に被写体として認識することを可能とする設定とする。 The CPU of the tracking processing device first acquires the current zoom position Z current from the camera platform 10 (S41). Next, Z current is compared with a predetermined threshold value Zth (S42), and when the current zoom position Z current is on the wide-angle side (Z current <Zth) with respect to the threshold value Zth, Example 1 is used. The described tracking process 1 is performed (S43). That is, the head driving speed is not updated (changed) during the wiper operation, and the process is performed to recalculate and update the head driving speed when the subject is not within the update prohibited area only when the wiper is not operating. . When the current zoom position Z current is on the telephoto side (Z current ≧ Zth) with respect to the threshold value Zth, the tracking process 2 described in the second embodiment is performed (S44). In other words, the threshold TH Wiper for recognition of the subject while the wiper is operating is set lower than the threshold TH Normal when the wiper is not operating, and the wiper is recognized as a subject more easily than when the wiper is not operating. It is set so that it can be performed.

ズーム位置が広角側である場合は、図７に示すように被写体がワイパブレードで隠されてしまい、撮影画像から被写体を認識することができなくなる傾向が強い。また、ズーム位置が望遠側である場合は、ワイパブレードの動作中には図４に示すようにワイパブレードによって画面内が暗くなりコントラストが低下するので、パターンマッチング等の画像処理による被写体の認識がしにくくなる傾向がある。本実施例においては、ズーム位置の閾値に対し望遠側か又は広角側かに応じて、適切な被写体追尾処理を実行可能とする。上記のような処理を行うことで、ワイパブレード５２が前面を通過することによる映像の変化に合わせた動作を行うことができ、ワイパを動作させた際にも、より精度の高い効果的な追尾動作を継続することができる。   When the zoom position is on the wide-angle side, the subject is hidden by the wiper blade as shown in FIG. 7, and there is a strong tendency that the subject cannot be recognized from the captured image. In addition, when the zoom position is on the telephoto side, the screen is darkened by the wiper blade and the contrast is lowered by the wiper blade as shown in FIG. 4 during the operation of the wiper blade, so that the object is recognized by image processing such as pattern matching. Tend to be difficult to do. In this embodiment, appropriate subject tracking processing can be executed depending on whether the zoom position threshold is on the telephoto side or the wide-angle side. By performing the processing as described above, it is possible to perform an operation in accordance with a change in the image due to the wiper blade 52 passing through the front surface, and even when the wiper is operated, more accurate and effective tracking is possible. The operation can be continued.

本実施例の派生するシステムとして、上記では、ズーム位置についてのみを記述しているが、フォーカス位置についても考慮してもよい。また、上記では閾値Zthを１つとしたが、複数もってもよいし、Zcurrentの値によって、処理２のTHWiperの値を変更するようにしてもよい。また、Zthは外部から変更できるようにしてもよい。 In the above description, only the zoom position is described as a system derived from this embodiment, but the focus position may also be considered. In the above description, the threshold value Zth is one. However, a plurality of threshold values Zth may be used, and the value of TH Wiper in process 2 may be changed according to the value of Z current . Zth may be changed from the outside.

以下、本発明の第４の実施例について説明する。   The fourth embodiment of the present invention will be described below.

構成は図１、２に示した実施例１と同様である。追尾処理装置ＣＰＵ４５の処理の流れは、追尾処理（Ｓ１６）の部分が異なるため、実施例４の追尾処理の詳細である追尾処理４について、図１２のフローチャートにもとづいて説明する。   The configuration is the same as that of the first embodiment shown in FIGS. Since the processing flow of the tracking processing device CPU 45 is different in the tracking processing (S16), the tracking processing 4 which is the details of the tracking processing of the fourth embodiment will be described based on the flowchart of FIG.

実施例１と同様に、追尾処理装置ＣＰＵ４５は、ワイパが動作中であるかを判定する（Ｓ２１）。ワイパが動作していない場合には、図１３(a)のように更新禁止領域Rを通常の領域RNormalとする（Ｓ５２）。一方、ワイパが動作している場合には、図１３(b)のように更新禁止領域Rを通常のRNormalよりも撮影画像中心側に狭めたRWiperとする（Ｓ５１）。以下、Ｓ２２〜Ｓ２７は実施例１と同様である。 As in the first embodiment, the tracking processing device CPU 45 determines whether the wiper is operating (S21). When the wiper is not operating, the update prohibition area R is set to the normal area R Normal as shown in FIG. 13A (S52). On the other hand, when the wiper is operating, the update prohibition area R is set to R Wiper narrower to the center of the captured image than the normal R Normal as shown in FIG. 13B (S51). Hereinafter, S22 to S27 are the same as those in the first embodiment.

このように、ワイパ動作中は被写体をより画面（撮影映像内）の中心に近づけておくという、画面内で被写体を捕捉し続けることを優先させた制御を実施することで、被写体の速度が急変しても画面外に出てしまうリスクを低減させることができる。   In this way, the speed of the subject changes abruptly by performing control giving priority to keeping the subject captured in the screen, such as keeping the subject closer to the center of the screen (in the captured video) during the wiper operation. Even so, the risk of going out of the screen can be reduced.

また、ワイパの動作中の更新禁止領域RWiperを、ワイパの非動作中の更新禁止領域RNormalよりも撮影画像中心側に狭めた領域としたが、本発明はこれに限定されることはない。被写体の、予測される速度の変化する方向が既知である場合は、撮影画面から被写体を逸脱させることなく、より確実に撮影画面内で被写体を追尾し続けるために、更新禁止領域の中心位置を画面中心以外のより適切な位置に設定しても良い。例えば、右から左へある速度で移動中の被写体が急減速する可能性がある場合は、予め更新禁止領域を撮影画面内の中心より左側に設定しておくことで、被写体が急減速してそれに応じて後からパン速度を変更して追尾する場合でも撮影画面から被写体を逸脱させにくくなる。 Further, although the update prohibition area R Wiper during operation of the wiper is set to be narrower to the center of the captured image than the update prohibition area R Normal during wiper operation, the present invention is not limited to this. . If the direction of the predicted speed change of the subject is known, the center position of the update prohibited area should be set in order to keep track of the subject within the shooting screen more reliably without deviating from the shooting screen. It may be set at a more appropriate position other than the center of the screen. For example, if there is a possibility that a subject moving at a certain speed from right to left will suddenly decelerate, the subject will suddenly decelerate by setting the update prohibited area to the left of the center of the shooting screen in advance. Accordingly, even if the pan speed is changed later for tracking, it is difficult for the subject to deviate from the shooting screen.

本実施例の派生するシステムとして、上記では、ワイパ動作中の更新禁止領域RWiperを一定としているが、ワイパの位置によって、変化させてもよい。更新禁止領域RNormalおよびRWiperの値は、固定値としてもよいし、外部から変更可能としてもよい。 In the above description, the update prohibition area R Wiper during the wiper operation is fixed as a system derived from the present embodiment, but may be changed depending on the position of the wiper. The values of the update prohibition areas R Normal and R Wiper may be fixed values or may be changed from the outside.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。   As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.

１０ 雲台
２０ カメラ
３０ レンズ
４０ 追尾処理装置
５１ フロントガラス（光学面）
５２ ワイパブレード
５３ ワイパモータ 10 pan head 20 camera 30 lens 40 tracking processing device 51 windshield (optical surface)
52 Wiper blade 53 Wiper motor

Claims (11)

撮影装置と、
前記撮影装置の撮影方向を変更する雲台装置と、
前記撮影装置の光学面を払拭するワイパと、
前記撮影装置及び前記雲台装置の駆動を制御する制御手段と、
前記撮影装置で撮影された撮影画像内で被写体を認識する認識手段と、
を有し、
前記制御手段は、前記ワイパの動作の有無に基づき、被写体を追尾し続けるように、前記雲台装置の駆動を制御する、
ことを特徴とする自動追尾装置。 A photographing device;
A pan head device for changing a photographing direction of the photographing device;
A wiper for wiping the optical surface of the photographing device;
Control means for controlling the driving of the imaging device and the pan head device;
Recognizing means for recognizing a subject in a photographed image photographed by the photographing device;
Have
The control means controls the driving of the pan head device so as to keep track of the subject based on the presence or absence of the operation of the wiper.
An automatic tracking device characterized by that. 前記雲台装置は、チルト、パンの少なくとも一方を動作させる雲台駆動手段を有し、
前記制御手段は、前記ワイパの非動作中は前記被写体の撮影画像内での位置に基づく駆動速度で前記雲台駆動手段を駆動し、前記ワイパの動作中は該駆動速度を変更しない、
ことを特徴とする請求項１に記載の自動追尾装置。 The pan head device has a pan head driving means for operating at least one of tilt and pan.
The control means drives the pan head driving means at a driving speed based on the position of the subject in the captured image while the wiper is not operating, and does not change the driving speed while the wiper is operating.
The automatic tracking device according to claim 1. 前記制御手段は、前記ワイパの動作中は、前記認識手段が前記被写体が撮影画像内に存在することを認識するための閾値を、前記ワイパの非動作中の閾値よりも低く設定する、ことを特徴とする請求項１に記載の自動追尾装置。   The control means sets, during the operation of the wiper, a threshold for the recognition means to recognize that the subject is present in the captured image, lower than a threshold during the non-operation of the wiper. The automatic tracking device according to claim 1, wherein 前記撮影装置は、ズームレンズを有し、
前記制御手段は、ワイパの動作中は、ズーム位置が所定の閾値より広角側の場合には、被写体を追尾するときの前記雲台装置の駆動速度を変更せず、ズーム位置が前記所定の閾値より望遠側の場合には、前記認識手段が、前記被写体が撮影画像内に存在することを認識するための閾値を、ワイパの非動作中よりも低く設定する、
ことを特徴とする、請求項１又は２に記載の自動追尾装置。 The photographing apparatus has a zoom lens,
While the wiper is operating, the control means does not change the driving speed of the pan head device when tracking the subject and the zoom position is the predetermined threshold value when the zoom position is on the wide angle side from the predetermined threshold value. In the case of the telephoto side, the recognition means sets a threshold value for recognizing that the subject is present in the captured image, lower than when the wiper is not operating.
The automatic tracking device according to claim 1, wherein the automatic tracking device is provided. 前記制御手段は、撮影画像内の前記被写体の位置が更新禁止領域内にある場合には被写体を追尾するときの前記雲台装置の駆動速度を変更せず、ワイパの動作中は、前記更新禁止領域をワイパの非動作中よりも狭く設定する、ことを特徴とする請求項１乃至４のいずれか１項に記載の自動追尾装置。   The control means does not change the driving speed of the pan head device when tracking the subject when the position of the subject in the captured image is within the update prohibited area, and the update prohibition is performed during the operation of the wiper. The automatic tracking device according to any one of claims 1 to 4, wherein the area is set to be narrower than that when the wiper is not operating. 前記制御手段は、撮影画像内の前記被写体の位置が更新禁止領域内にある場合には被写体を追尾するときの前記雲台装置の駆動速度を変更せず、ワイパの動作中は、前記更新禁止領域をワイパの非動作中の更新禁止領域よりも撮影画像中心側の狭い領域に設定する、ことを特徴とする請求項５に記載の自動追尾装置。   The control means does not change the driving speed of the pan head device when tracking the subject when the position of the subject in the captured image is within the update prohibited area, and the update prohibition is performed during the operation of the wiper. 6. The automatic tracking device according to claim 5, wherein the area is set to a narrower area closer to the center of the captured image than the update prohibition area when the wiper is not operating. 前記制御手段は、前記ワイパの駆動中を前記ワイパの動作中と判定する、ことを特徴とする請求項１乃至６のいずれか１項に記載の自動追尾装置。   The automatic tracking device according to claim 1, wherein the control unit determines that the wiper is being driven as the wiper is being operated. 前記ワイパのワイパブレードの位置検出手段を有し、
前記制御手段は、前記ワイパのワイパブレードが撮影画像内を移動している間、を前記ワイパの動作中と判定する、ことを特徴とする請求項１乃至６のいずれか１項に記載の自動追尾装置。 A wiper blade position detecting means for the wiper;
The automatic controller according to any one of claims 1 to 6, wherein the control unit determines that the wiper is operating while the wiper blade of the wiper is moving in a captured image. Tracking device. 前記撮影装置は、ズームレンズを有し、
前記制御手段は、前記ワイパの動作の有無に基づき、被写体を撮影画像内で所定の大きさで撮影し続けるように、前記雲台装置の駆動を制御する、
ことを特徴とする請求項１乃至８のいずれか１項に記載の自動追尾装置。 The photographing apparatus has a zoom lens,
The control means controls the driving of the pan head device so that the subject is continuously photographed at a predetermined size in the photographed image based on the presence or absence of the operation of the wiper.
The automatic tracking device according to any one of claims 1 to 8, wherein 前記制御手段は、前記ワイパの非動作中は撮影画像内の前記被写体の大きさに基づく速度で前記ズームレンズを駆動し、前記ワイパの動作中は該速度を変更しない、
ことを特徴とする請求項９に記載の自動追尾装置。 The control means drives the zoom lens at a speed based on the size of the subject in the captured image while the wiper is not operating, and does not change the speed while the wiper is operating.
The automatic tracking device according to claim 9. 前記認識手段は、パターンマッチング、色相を用いる方法、又は、動体検知による方法により撮影画像内に被写体を認識する、ことを特徴とする請求項１乃至１１のいずれか１項に記載の自動追尾装置。   The automatic tracking device according to any one of claims 1 to 11, wherein the recognition means recognizes a subject in a captured image by a method using pattern matching, hue, or a method based on moving object detection. .
JP2013244888A 2013-11-27 2013-11-27 Tracking device Expired - Fee Related JP6317573B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013244888A JP6317573B2 (en) 2013-11-27 2013-11-27 Tracking device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013244888A JP6317573B2 (en) 2013-11-27 2013-11-27 Tracking device

Publications (2)

Publication Number Publication Date
JP2015104050A true JP2015104050A (en) 2015-06-04
JP6317573B2 JP6317573B2 (en) 2018-04-25

Family

ID=53379405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013244888A Expired - Fee Related JP6317573B2 (en) 2013-11-27 2013-11-27 Tracking device

Country Status (1)

Country Link
JP (1) JP6317573B2 (en)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04138792A (en) * 1990-09-28 1992-05-13 Isuzu Motors Ltd Image detector for vehicle
JPH089227A (en) * 1994-06-17 1996-01-12 Hitachi Ltd Image pickup device with automatic tracking function
JPH09286279A (en) * 1996-04-18 1997-11-04 Motohiro Okada Method for controlling vehicular motion picture camera
JP2000123151A (en) * 1998-10-15 2000-04-28 Nec Corp Image processing method
JP2001305645A (en) * 2000-04-21 2001-11-02 Fuji Photo Film Co Ltd Camera and camera platform
JP2005004287A (en) * 2003-06-10 2005-01-06 Fuji Photo Film Co Ltd Face image detecting device and its control method
JP2005005799A (en) * 2003-06-09 2005-01-06 Mitsubishi Electric Corp Moving object identification system
JP2006086846A (en) * 2004-09-16 2006-03-30 Hitachi Kokusai Electric Inc Monitoring system
JP2007166313A (en) * 2005-12-14 2007-06-28 Matsushita Electric Ind Co Ltd Camera device and wiper control method
JP2009234344A (en) * 2008-03-26 2009-10-15 Fuji Heavy Ind Ltd Adjustment device for photographing means and object detection device
JP2010010729A (en) * 2008-06-24 2010-01-14 Casio Comput Co Ltd Image pickup apparatus, and program
JP2012104971A (en) * 2010-11-08 2012-05-31 Toa Corp Mobile body monitoring apparatus
JP2013223220A (en) * 2012-04-19 2013-10-28 Canon Inc Automatic tracking device

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04138792A (en) * 1990-09-28 1992-05-13 Isuzu Motors Ltd Image detector for vehicle
JPH089227A (en) * 1994-06-17 1996-01-12 Hitachi Ltd Image pickup device with automatic tracking function
JPH09286279A (en) * 1996-04-18 1997-11-04 Motohiro Okada Method for controlling vehicular motion picture camera
JP2000123151A (en) * 1998-10-15 2000-04-28 Nec Corp Image processing method
JP2001305645A (en) * 2000-04-21 2001-11-02 Fuji Photo Film Co Ltd Camera and camera platform
JP2005005799A (en) * 2003-06-09 2005-01-06 Mitsubishi Electric Corp Moving object identification system
JP2005004287A (en) * 2003-06-10 2005-01-06 Fuji Photo Film Co Ltd Face image detecting device and its control method
JP2006086846A (en) * 2004-09-16 2006-03-30 Hitachi Kokusai Electric Inc Monitoring system
JP2007166313A (en) * 2005-12-14 2007-06-28 Matsushita Electric Ind Co Ltd Camera device and wiper control method
JP2009234344A (en) * 2008-03-26 2009-10-15 Fuji Heavy Ind Ltd Adjustment device for photographing means and object detection device
JP2010010729A (en) * 2008-06-24 2010-01-14 Casio Comput Co Ltd Image pickup apparatus, and program
JP2012104971A (en) * 2010-11-08 2012-05-31 Toa Corp Mobile body monitoring apparatus
JP2013223220A (en) * 2012-04-19 2013-10-28 Canon Inc Automatic tracking device

Also Published As

Publication number Publication date
JP6317573B2 (en) 2018-04-25

Similar Documents

Publication Publication Date Title
US7830415B2 (en) Camera having an image stabilizer
JP4218670B2 (en) Front shooting device
JP5848507B2 (en) Image capturing apparatus and method with tracking function
CN107566741B (en) Focusing method, focusing device, computer readable storage medium and computer equipment
JP4697810B2 (en) Automatic tracking device and automatic tracking method
JP5809538B2 (en) Automatic tracking camera system
WO2007111220A1 (en) Road division line detector
JP6081034B2 (en) In-vehicle camera control device
JP6257308B2 (en) Automatic tracking system
JP2016201626A (en) Shift element controller, shift element control program and optical apparatus
US20130222651A1 (en) Drive unit, camera system, and non-transitory machine readable medium
WO2007066580A1 (en) Camera device and wiper control method
JP6579807B2 (en) Imaging control apparatus, imaging apparatus, and imaging control program
JP2009035162A (en) Rear view monitoring device
JP2017204795A (en) Tracking apparatus
US7796874B2 (en) Imaging system with mechanical and electrical anti-shake mode determined according to remaining available charge of power source
US7917021B2 (en) Portable apparatus
JP2009159262A (en) Hand shake correction apparatus, hand shake correction program, image pickup apparatus, and image pickup program
JP2016033571A (en) Camera universal head device
JP6317573B2 (en) Tracking device
JP2005189634A (en) Focus detector for camera
JP6179410B2 (en) IMAGING DEVICE AND METHOD OF DETERMINING WATER DROP ADJUSTMENT IN IMAGING DEVICE IMAGING WINDOW
KR102010407B1 (en) Smart Rear-view System
JP2022184109A (en) Imaging system, mobile device, control method, and program
JP2007052114A (en) Photographing device, photographing controller and photographing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170810

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180330

R151 Written notification of patent or utility model registration

Ref document number: 6317573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees