JP2016110501A - 画像生成装置 - Google Patents

画像生成装置 Download PDF

Info

Publication number
JP2016110501A
JP2016110501A JP2014249105A JP2014249105A JP2016110501A JP 2016110501 A JP2016110501 A JP 2016110501A JP 2014249105 A JP2014249105 A JP 2014249105A JP 2014249105 A JP2014249105 A JP 2014249105A JP 2016110501 A JP2016110501 A JP 2016110501A
Authority
JP
Japan
Prior art keywords
area
image
image generation
shooting
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014249105A
Other languages
English (en)
Other versions
JP6398675B2 (ja
JP2016110501A5 (ja
Inventor
真悟 井村
Shingo Imura
真悟 井村
博彦 柳川
Hirohiko Yanagawa
博彦 柳川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014249105A priority Critical patent/JP6398675B2/ja
Priority to PCT/JP2015/080506 priority patent/WO2016092967A1/ja
Priority to US15/534,435 priority patent/US10266114B2/en
Priority to EP15868180.9A priority patent/EP3232400B1/en
Priority to CN201580067234.0A priority patent/CN107004250B/zh
Publication of JP2016110501A publication Critical patent/JP2016110501A/ja
Publication of JP2016110501A5 publication Critical patent/JP2016110501A5/ja
Application granted granted Critical
Publication of JP6398675B2 publication Critical patent/JP6398675B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ドライバが自車両周辺に存在する物体を容易に認識できるようにする。【解決手段】ＥＣＵは、複数の撮影エリアから構成される自車両周辺の撮影領域を、広角レンズを通して撮影して得られた撮影画像データを取得する取得手段（Ｓ２２０，Ｓ２２５）と、自車両周辺に存在する物体の検出結果に基づき撮影エリアに該物体が存在するか否かを判定する判定手段（Ｓ２００〜Ｓ２１５）と、判定手段による判定結果に基づき対象エリアを決定する決定手段（Ｓ２２０，Ｓ２２５）と、撮影画像データを補正して撮影領域全体を映す表示画像データを生成する手段であって、該補正において、対象エリアの画像が他の撮影エリアの画像に比べて視認容易となるよう、これらの画像の縮小の度合いを調整するにする生成手段（Ｓ２２０，Ｓ２２５）と、を備える。【選択図】図５

Description

本発明は、画像生成装置に関する。
一台の広角カメラにより撮影された自車両周辺の歪曲した画像に補正を加え、該広角カメラの真正面，左方，右方を映した歪曲の無い３つの画像を生成し、これらを１つの画面上に並べて表示することが知られている（特許文献１）。
特開２０１０−１０９４８３号公報
しかしながら、運転中のドライバは、通常は自車両の正面を視認しているため、単に自車両周辺の画像を歪曲の無い状態で表示するだけでは、自車両周辺に存在する物体を認識できない可能性がある。
本発明は、ドライバが自車両周辺に存在する物体を容易に認識できるようにすることを目的とする。
本発明の画像生成装置（１０）は、複数の撮影エリア（１１１〜１１３）から構成される自車両周辺の撮影領域（１１０）を、カメラ（２０）により広角レンズを通して撮影して得られた撮影画像データを取得する取得手段（Ｓ２２０，Ｓ２２５）と、自車両周辺に存在する物体を検出し、検出結果に基づき撮影エリアに該物体が存在するか否かを判定する判定手段（Ｓ２００〜Ｓ２１５）と、判定手段による判定結果に基づき、視認容易な状態で表示すべき撮影エリアである対象エリアを決定する決定手段（Ｓ２２０，Ｓ２２５）と、撮影画像データを補正することで、撮影領域全体を表示するための表示画像データを生成する手段であって、補正において、対象エリアの画像が他の撮影エリアの画像に比べて視認容易となるよう、これらの画像の縮小の度合いを調整する生成手段（Ｓ２２０，Ｓ２２５）と、表示画像データに基づく画像を表示させる表示手段（Ｓ２２０，Ｓ２２５）と、を備える。
このような構成によれば、自車両周辺を見渡す撮影画像を表示しつつも、いずれかの撮影エリアに物体が存在する場合には、該撮影画像上で該撮影エリアを視認容易な態様で表示できる。このため、ドライバは、自車両周辺に存在する物体を容易に認識できる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
第１実施形態の撮影システムの構成を示すブロック図である。 第１実施形態における撮影領域及び撮影エリアの説明図である。 第１実施形態における通常画像の説明図である。 第１実施形態における警告画像の説明図である。 第１実施形態における撮影画像表示処理のフローチャートである。 第２実施形態における撮影領域及び撮影エリアの説明図である。
以下、本発明の実施形態について図面を用いて説明する。
［第１実施形態］
［構成の説明］
第１実施形態の撮影システム１は、車両に搭載され、自車両前方の撮影画像をディスプレイに表示するものであり、ＥＣＵ１０と、カメラ２０と、検出センサ３０と、ディスプレイ４０等を有する（図１）。
カメラ２０は、自車両１００の前方に設けられた撮影領域１１０を含む領域を、広角レンズを通して撮影し、映像信号をカメラ２０に出力する（図２）。撮影領域は、３つの撮影エリア１１１〜１１３から構成されている。
検出センサ３０は、自車両前方の撮影領域１１０を含む領域に存在する物体（例えば、歩行者，車両等の移動体や、道路上の障害物や、道路に沿って設けられたガードレール，信号機，電柱等）を検出するためのセンサである。検出センサ３０は、例えば、レーダやソナー等として構成されており、探査波を送信してその反射波を検出することで、自車両前方に存在する物体の位置，大きさ，種別等を検出する。そして、検出結果を示す検出信号をＥＣＵ１０に送信する。
この他にも、検出センサ３０は、例えばステレオカメラ等として構成されていても良いし、カメラ２０を検出センサ３０として用い、カメラ２０による撮影画像を解析することで、自車両前方の物体を検出する構成としても良い。
ＥＣＵ１０は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等から構成された制御部１１を有している。制御部１１のＣＰＵは、ＲＯＭに格納されたプログラムを実行することで、ＥＣＵ１０を統括制御し、各種処理を実施する。
また、ＣＰＵは、プログラムに従い動作することで、障害物検出部１１ａと、表示制御部１１ｂと、危険度判定部１１ｃとして機能する。
障害物検出部１１ａは、検出センサ３０からの検出信号に基づき自車両前方に存在する物体の位置，大きさ，種別等を検出する。
また、表示制御部１１ｂは、カメラ２０からの映像信号に基づき撮影画像データを生成する。そして、該撮影画像データに補正を加え、撮影領域を映し出す表示画像データを生成すると共に、表示画像データに基づく画像を表示するための映像信号をディスプレイ４０に出力する。
また、危険度判定部１１ｃは、検出センサ３０による検出結果に基づき、自車両前方に存在する物体が自車両に衝突する危険性を判定する。
ディスプレイ４０は、液晶ディスプレイや有機ＥＬ等として構成された周知の表示装置であり、ＥＣＵ１０からの映像信号に基づき撮影領域の撮影画像を表示する。
［動作の説明］
次に、撮影システム１の動作について説明する。以後、自車両の進行方向（カメラ２０の正面方向）に向かって右，左を、単に右，左と記載する。
自車両１００の前方に広がる撮影領域１１０は、平面視すると中心角が１８０°の扇状となっており、扇状に形成された３つの撮影エリア１１１〜１１３から構成されている。無論、中心角の角度は１８０°に限定されることは無い。また、撮影領域１１０の左右の両端に位置する撮影エリア１１１，１１３（右，左縁部エリア）の中心角は、同じになっている。
ＥＣＵ１０は、カメラ２０から取得した撮影画像データに基づき、撮影領域１１０の撮影画像をディスプレイ４０に表示する。なお、ディスプレイに表示される撮影画像は、左右方向に並ぶ３つの領域（右領域，中領域，左領域）に分割される。そして、右領域には右縁部エリア１１１の画像が、中領域には中央の撮影エリア１１２（中央エリア１１２）の画像が、左領域には左縁部エリア１１３の画像が表示される。
ここで、カメラ２０は広角レンズを通して撮影領域１１０を撮影しているため、カメラ２０の映像信号からそのまま撮影画像を生成すると、撮影画像の右側，左側の部分がゆがんだ状態になる。そこで、ＥＣＵ１０は、撮影画像データに対し補正を行って表示画像データを生成し、該表示画像データに基づきディスプレイ４０に撮影領域１１０の撮影画像を表示する。この時、ＥＣＵ１０は、検出センサ３０による物体の検出結果に応じた内容の補正を行う。
具体的には、運転中のドライバは、中央エリア１１２に比べ、右，左縁部エリア１１１，１１３を直接視認するのが困難だが、中央エリア１１２に物体が存在しない場合、ＥＣＵ１０は、中央エリア１１２に比べ右，左縁部エリア１１１，１１３の視認が容易な通常画像１５０をディスプレイ４０に表示する（図３）。
通常画像１５０の中領域１５２には、中央エリア１１２の撮影画像が、中央エリア１１２の中央を通過する中央線（一例として、当該エリアの中心角を２等分する水平な直線）と直交する水平な方向に所定の縮小率で縮小された状態（縮小状態）で表示される。
一方、右，左領域１５１，１５３では、それぞれ、右，左縁部エリア１１１，１１３の画像が通常状態で表示される。通常状態で表示された画像は、縮小状態で表示された画像よりも視認が容易となるよう、縮小がなされていない状態（直接視認される画像に近い状態）、又は、縮小状態よりも低い縮小率で縮小された状態となっている。
これに対し、中央エリア１１２に物体１２０が存在する場合には、ＥＣＵ１０は、右，左縁部エリア１１１，１１３に比べ、中央エリア１１２の視認が容易な警告画像１６０を表示する（図４）。
警告画像１６０では、中領域１６２に、中央エリア１１２の撮影画像が通常状態で表示され、右，左領域１６１，１６３に、それぞれ、右，左縁部エリア１１１，１１３の撮影画像が縮小状態で表示される。
次に、ＥＣＵ１０がカメラ２０からの映像信号に基づき撮影領域１１０の撮影画像を生成し、ディスプレイ４０に表示する撮影画像表示処理について、図５のフローチャートを用いて説明する。なお、本処理は、ＥＣＵ１０の制御部１１にて定期的に実行される。
Ｓ２００では、制御部１１のＣＰＵは、検出センサ３０からの検出信号に基づき、自車両前方に存在する物体の位置，大きさ，種別等を検出し、Ｓ２０５に移行する。
Ｓ２０５では、ＣＰＵは、自車両前方に物体が存在するか否かを判定し、肯定判定が得られた場合には（Ｓ２０５：Ｙｅｓ）、Ｓ２１０に移行すると共に、否定判定が得られた場合には（Ｓ２０５：Ｎｏ）、Ｓ２２５に移行する。
Ｓ２１０では、ＣＰＵは、検出された物体の重心位置を算出し、Ｓ２１５に移行する。具体的には、ＣＰＵは、例えば、自車両が存在する水平面上において、検出された物体が存在する領域（物体領域）を特定し、該領域の中心を重心位置とみなしても良い。
Ｓ２１５では、ＣＰＵは、重心位置が中央エリアに位置するか否かを判定する。そして、肯定判定が得られた場合には（Ｓ２１５：Ｙｅｓ）、Ｓ２２０に移行して警告画像を表示する。一方、否定判定が得られた場合には（Ｓ２１５：Ｎｏ）、Ｓ２２５に移行して通常画像を表示する。
なお、Ｓ２１５における判定にヒステリシスを設けても良い。すなわち、中央エリアに物体が新たに進入したと判定する条件を進入条件とすると共に、中央エリアに存在していた物体が該エリアの外部に移動したと判定する条件を退場条件とし、進入条件と退場条件とのうちの一方は、他方に比べ、充足されるのが困難としても良い。
具体的には、例えば、中央エリア外に存在していた物体の物体領域の少なくとも一部が中央エリアに位置するようになったことを、該物体の進入条件としても良い。また、中央エリアに存在していた物体の物体領域が全て中央エリアの外部に位置するようになったことや、該物体の重心位置が中央エリアの外部に位置するようになったことを、該物体の退場条件としても良い。
反対に、例えば、中央エリア外に存在していた物体の物体領域が全て中央エリアに位置するようになったことや、該物体の重心位置が中央エリアに位置するようになったことを、該物体の進入条件としても良い。また、中央エリアに存在していた物体の物体領域の少なくとも一部が中央エリアの外部に位置するようになったことを、該物体の退場条件としても良い。
そして、Ｓ２１５において、ＣＰＵは、中央エリアに物体が存在しない場合、進入条件が充足された場合にはＳ２２０に、充足されていない場合にはＳ２２５に移行しても良い。一方、中央エリアに物体が存在する場合には、該物体により退場条件が充足されていない場合にはＳ２２０に、充足された場合にはＳ２２５に移行しても良い。
こうすることにより、物体が中央エリアの境界付近に存在する際に、ディスプレイ４０に表示される撮影画像の種類（通常画像と警告画像）が頻繁に切り替わるのを防止できる。
Ｓ２２０では、ＣＰＵは、カメラ２０からの映像信号に基づき撮影画像データを生成すると共に、該撮影画像データに補正を加え、警告画像（中央エリアを通常状態で、縁部エリアを縮小状態で表示した画像）を生成するための表示画像データを生成する。そして、表示画像データを表示させるための映像信号をディスプレイ４０に出力し、ディスプレイ４０に警告画像を表示させ、本処理を終了する。
なお、中央エリアに加え、右，左縁部エリアの一方にさらに物体が存在する場合には、ＣＰＵは、中央エリアと、物体が存在する縁部エリアを通常状態で表示し、他方の縁部エリアを縮小状態で表示した警告画像を表示する表示画像データを生成しても良い。
一方、Ｓ２２５では、ＣＰＵは、カメラ２０からの映像信号に基づき撮影画像データを生成すると共に、該撮影画像データに補正を加え、通常画像（中央エリアを縮小状態で、右，左縁部エリアを通常状態で表示した画像）を生成するための表示画像データを生成する。そして、表示画像データを表示させるための映像信号をディスプレイ４０に出力し、ディスプレイ４０に通常画像を表示させ、本処理を終了する。
［効果］
第１実施形態の撮影システム１によれば、自車両周辺を見渡す撮影画像をディスプレイ４０に表示しつつも、中央エリアに物体が存在する場合には、中央エリアが通常状態で表示され、縁部エリアが縮小状態で表示された警告画像が表示される。また、縁部エリアに物体が存在する場合には、中央エリアが縮小状態で表示され、右，左縁部エリアの双方が通常状態で表示された通常画像が表示される。このため、ドライバは、撮影領域に存在する物体を容易に認識できる。
また、中央エリアと右，左縁部エリアは、扇状になっており、カメラ２０の正面方向に交差して水平方向に一列に並んでいる。そして、物体が存在する撮影エリアは通常状態で表示されるが、物体が存在しない撮影エリアは、水平方向に縮小された縮小状態で表示される。このため、自車両周辺を見渡す１つの撮影画像を表示しつつも、撮影エリアに物体が存在する場合には、ドライバが視認容易な状態でこの撮影画像上に物体を表示することができる。
また、物体が検出されていない場合や、縁部エリアにしか物体が存在しない場合には、撮影画像では、運転中のドライバによる視認が困難な縁部エリアの画像が拡大された状態になる。このため、運転中、ドライバは、縁部エリアを容易に視認することができる。
［第２実施形態］
第２実施形態の撮影システム１は、第１実施形態と同様に構成されているが、ＥＣＵ１０は、予め定められた観点により物体が自車両に衝突する危険度を判定し、該危険度を加味して、ディスプレイ４０に表示する撮影画像の種別を決定する点で相違している。
ここで、危険度の判定方法について説明する。第２実施形態では、一例として、自車両と物体との距離という観点で物体の危険度が判定される。
すなわち、各撮影エリアは、自車両からの距離により３つのＡ〜Ｃ区域に分割され、各撮影エリアに存在する物体は、該物体が位置する区域に基づき危険度が判定される（図６）。
具体的には、例えば、右，左縁部エリア１１１，１１３では、Ａ区域１１１ａ，１１３ａには危険度として３が、Ｂ区域１１１ｂ，１１３ｂには２が、Ｃ区域１１１ｃ，１１３ｃには１が設定されている。また、中央エリア１１２では、Ａ区域１１２ａには危険度として４が、Ｂ区域１１２ｂには３が、Ｃ区域１１２ｃには２が設定されている。そして、物体が存在する区域に設定された危険度が、該物体の危険度として判定される。
このほかにも、例えば、検出センサからの検出信号から特定される物体の移動方向，移動速度や、物体の種別（歩行者か車両か等）等といった観点で危険度を判定しても良い。具体的には、自車両に向かって移動している物体は、自車両から離れる方向に移動している物体よりも高い危険度を有していると判定しても良い。また、所定値以上の移動速度で移動している物体は、そうでない物体よりも高い危険度を有していると判定しても良い。また、歩行者，自転車，オートバイ等である物体は、普通自動車や大型自動車等といった四輪の自動車である物体よりも高い危険度を有していると判定しても良い。
無論、複数の観点で物体の危険度を判定することも考えられるが、このような場合には、１つの物体について各観点で判定された危険度の総和を、該物体の危険度と判定しても良い。
そして、第２実施形態の撮影画像表示処理のＳ２１０では、ＣＰＵは、第１実施形態での処理に加え、さらに、上述した方法で検出された物体の危険度を判定する。
続くＳ２１５では、ＣＰＵは、各物体が存在する撮影エリアと該物体の危険度とに基づき、撮影画像の種類を決定する。
具体的には、ＣＰＵは、中央エリア１１２と右，左縁部エリア１１１，１１３とのうちの一方にのみ物体が存在する場合には、第１実施形態と同様にして撮影画像の種類を決定する。
一方、複数の撮影エリアに物体が存在する場合には、これらの撮影エリアの各々について、存在する全ての物体の危険度の総和を算出する。そして、例えば、中央エリアについて算出された危険度の総和が所定値以上の場合には、Ｓ２２０に移行して警告画像を表示し、そうでない場合には、Ｓ２２５に移行して通常画像を表示しても良い。また、例えば、中央エリアについて算出された危険度の総和が、各縁部エリアについて算出された危険度の総和よりも高い場合にはＳ２２０に、そうでない場合にはＳ２２５に移行しても良い。
［効果］
第２実施形態の撮影システム１によれば、第１実施形態の効果に加え、以下の効果が得られる。すなわち、撮影領域に複数の物体が存在する場合には、これらの物体がどの撮影エリアに存在するかに加え、これらの物体の危険度を加味して撮影画像の種類が切り替えられる。このため、自車両に衝突する危険性の高い物体が存在する撮影エリアを拡大して表示することができ、ドライバの注意を喚起することができる。
［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
（１）第１，第２実施形態では、自車両の前方に撮影領域が設けられているが、これに限らず、自車両の後方や側方に撮影領域を設けても良い。
また、第１，第２実施形態では、撮影領域の形状は平面視すると扇状となっているが、これに限らず、撮影領域は、例えば、カメラの正面方向と水平に交差する方向に広がる領域となっていても良い。
また、撮影領域を構成する撮影エリアの形状は扇状に限定されることは無く、また、撮影領域は、カメラの正面方向に水平に交差するように一列に並ぶ２つ、又は、４つ以上の撮影エリアから構成されていても良い。このような場合には、運転中のドライバにとって視認が容易な撮影エリアを、第１，第２実施形態における中央エリアと同様に扱うと共に、視認が困難な撮影エリアを縁部エリアと同様に扱って、撮影画像表示処理を行うことが考えられる。
特に、自車両の後方に撮影領域が設けられている場合であれば、自車両の真後ろに位置する撮影エリアを中央エリアとすると共に、中央エリアの左右両側に位置する撮影エリアを右，左縁部エリアとし、撮影画像表示処理を行うことが考えられる。なお、この時、自車両前方を撮影領域とする場合に比べ、警告画面における中領域を大きくし、中央エリアがより大きく表示されるようにしても良い。
このような場合であっても、第１，第２実施形態と同様の効果を得ることができる。
（２）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
（３）上述した撮影システム１の他、当該撮影システム１の構成要素、当該撮影システム１としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、撮影画像表示処理を実現するための方法など、種々の形態で本発明を実現することもできる。
［特許請求の範囲との対応］
上記実施形態の説明で用いた用語と、特許請求の範囲の記載に用いた用語との対応を示す。
ＥＣＵ１０が画像生成装置の一例に相当する。
また、撮影画像表示処理のＳ２００〜Ｓ２１５が、判定手段の一例に、Ｓ２２０，Ｓ２２５が、取得手段，決定手段，生成手段，表示手段の一例に相当する。
また、中央エリアが視認容易エリアの一例に、右，左縁部エリアが視認困難エリアの一例に相当する。
１…撮影システム、１０…ＥＣＵ、１１…制御部、２０…カメラ、３０…検出センサ、４０…ディスプレイ、１００…自車両、１１０…撮影領域。

Claims (5)

  1. 複数の撮影エリア（１１１〜１１３）から構成される自車両周辺の撮影領域（１１０）を、カメラ（２０）により広角レンズを通して撮影して得られた撮影画像データを取得する取得手段（Ｓ２２０，Ｓ２２５）と、
    自車両周辺に存在する物体を検出し、検出結果に基づき前記撮影エリアに該物体が存在するか否かを判定する判定手段（Ｓ２００〜Ｓ２１５）と、
    前記判定手段による判定結果に基づき、視認容易な状態で表示すべき前記撮影エリアである対象エリアを決定する決定手段（Ｓ２２０，Ｓ２２５）と、
    前記撮影画像データを補正することで、前記撮影領域全体を表示するための表示画像データを生成する手段であって、前記補正において、前記対象エリアの画像が他の前記撮影エリアの画像に比べて視認容易となるよう、これらの画像の縮小の度合いを調整する生成手段（Ｓ２２０，Ｓ２２５）と、
    前記表示画像データに基づく画像を表示させる表示手段（Ｓ２２０，Ｓ２２５）と、
    を備えることを特徴とする画像生成装置（１０）。
  2. 請求項１に記載の画像生成装置において、
    前記撮影領域は、自車両周辺に水平に広がっており、
    前記撮影エリアは、前記カメラの正面方向に交差して水平方向に一列に並んでおり、
    前記生成手段は、前記補正において、水平方向の前記縮小の度合いを調整すること、
    を特徴とする画像生成装置。
  3. 請求項１または請求項２に記載の画像生成装置において、
    前記判定手段は、さらに、前記物体が自車両に衝突する危険度を判定し、
    前記決定手段は、前記物体の前記危険度をさらに加味して前記対象エリアを決定すること、
    を特徴とする画像生成装置。
  4. 請求項１から請求項３のうちのいずれか１項に記載の画像生成装置において、
    前記撮影エリアのうち、運転中のドライバが直接視認するのが相対的に困難なものを視認困難エリアとし、
    前記決定手段は、前記判定手段によりいずれの前記撮影エリアにも前記物体が存在しないと判定された場合には、前記視認困難エリアを前記対象エリアとして決定すること、
    を特徴とする画像生成装置。
  5. 請求項４に記載の画像生成装置において、
    前記撮影エリアのうち、運転中のドライバが直接視認するのが相対的に容易なものを視認容易エリアとし、
    前記判定手段が、前記物体が新たに前記視認容易エリアに存在するようになったと判定する条件を進入条件とすると共に、前記視認容易エリアに存在していた前記物体が該エリアの外部に移動したと判定する条件を退場条件とし、
    前記進入条件と前記退場条件とのうちの一方は、他方に比べ、充足されるのが困難であること、
    を特徴とする画像生成装置。
JP2014249105A 2014-12-09 2014-12-09 画像生成装置 Active JP6398675B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014249105A JP6398675B2 (ja) 2014-12-09 2014-12-09 画像生成装置
PCT/JP2015/080506 WO2016092967A1 (ja) 2014-12-09 2015-10-29 画像生成装置及び画像生成方法
US15/534,435 US10266114B2 (en) 2014-12-09 2015-10-29 Image generating device and image generating method
EP15868180.9A EP3232400B1 (en) 2014-12-09 2015-10-29 Image generation device and image generation method
CN201580067234.0A CN107004250B (zh) 2014-12-09 2015-10-29 图像生成装置及图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014249105A JP6398675B2 (ja) 2014-12-09 2014-12-09 画像生成装置

Publications (3)

Publication Number Publication Date
JP2016110501A true JP2016110501A (ja) 2016-06-20
JP2016110501A5 JP2016110501A5 (ja) 2016-10-27
JP6398675B2 JP6398675B2 (ja) 2018-10-03

Family

ID=56107162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014249105A Active JP6398675B2 (ja) 2014-12-09 2014-12-09 画像生成装置

Country Status (5)

Country Link
US (1) US10266114B2 (ja)
EP (1) EP3232400B1 (ja)
JP (1) JP6398675B2 (ja)
CN (1) CN107004250B (ja)
WO (1) WO2016092967A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180304813A1 (en) * 2017-04-20 2018-10-25 Subaru Corporation Image display device
WO2020085101A1 (ja) * 2018-10-23 2020-04-30 ソニーセミコンダクタソリューションズ株式会社 画像処理装置と画像処理方法およびプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6623906B2 (ja) * 2015-09-08 2019-12-25 株式会社Ｊｖｃケンウッド 車両用表示装置及び車両用表示方法
JP6551336B2 (ja) * 2016-08-12 2019-07-31 株式会社デンソー 周辺監査装置
JP6332383B2 (ja) * 2016-09-29 2018-05-30 マツダ株式会社 車両用物標検出システム
US11508156B2 (en) * 2019-12-27 2022-11-22 Magna Electronics Inc. Vehicular vision system with enhanced range for pedestrian detection

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06227318A (ja) * 1993-02-08 1994-08-16 Hitachi Ltd 車両の後方モニタ装置及び方法
JP2002225628A (ja) * 2001-02-02 2002-08-14 Nissan Motor Co Ltd 車両用表示装置
JP2004142557A (ja) * 2002-10-23 2004-05-20 Toyota Motor Corp 車両用周辺監視装置
JP2007237785A (ja) * 2006-03-06 2007-09-20 National Univ Corp Shizuoka Univ 車載用情報提示システム
JP2007288586A (ja) * 2006-04-18 2007-11-01 Matsushita Electric Ind Co Ltd 車両周囲状況確認装置
JP2010116086A (ja) * 2008-11-14 2010-05-27 Alpine Electronics Inc 車載用表示装置、表示方法および表示プログラム
JP2011048829A (ja) * 2009-08-27 2011-03-10 Robert Bosch Gmbh 車両の運転者に案内情報を提供するためのシステム及び方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02225628A (ja) * 1989-02-28 1990-09-07 Kawasaki Steel Corp 焼結原料の事前処理方法
JPH07288586A (ja) * 1994-04-18 1995-10-31 Toshiba Corp 電子交換システム
JP2004304415A (ja) * 2003-03-31 2004-10-28 Mazda Motor Corp 車両用監視装置
JP4855158B2 (ja) * 2006-07-05 2012-01-18 本田技研工業株式会社 運転支援装置
JP4955471B2 (ja) * 2007-07-02 2012-06-20 株式会社デンソー 画像表示装置及び車載用画像表示装置
JP2010109483A (ja) 2008-10-28 2010-05-13 Honda Motor Co Ltd 車両周辺表示方法
WO2016014966A2 (en) * 2014-07-24 2016-01-28 Brubaker Curtis M Systems, methods, and devices for generating critical mass in a mobile advertising, media, and communications platform
WO2011086807A1 (ja) * 2010-01-14 2011-07-21 本田技研工業株式会社 車両周辺監視装置
EP2544162B1 (en) * 2010-03-01 2015-04-29 Honda Motor Co., Ltd. Surrounding area monitoring device for vehicle
WO2013046408A1 (ja) 2011-09-29 2013-04-04 トヨタ自動車株式会社 画像表示装置及び画像表示方法
EP2773532B1 (en) * 2011-11-01 2019-12-25 Magna Mirrors Of America, Inc. Vision system with door mounted exterior mirror and display
US10457209B2 (en) * 2012-02-22 2019-10-29 Magna Electronics Inc. Vehicle vision system with multi-paned view
WO2013126715A2 (en) * 2012-02-22 2013-08-29 Magna Electronics, Inc. Vehicle camera system with image manipulation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06227318A (ja) * 1993-02-08 1994-08-16 Hitachi Ltd 車両の後方モニタ装置及び方法
JP2002225628A (ja) * 2001-02-02 2002-08-14 Nissan Motor Co Ltd 車両用表示装置
JP2004142557A (ja) * 2002-10-23 2004-05-20 Toyota Motor Corp 車両用周辺監視装置
JP2007237785A (ja) * 2006-03-06 2007-09-20 National Univ Corp Shizuoka Univ 車載用情報提示システム
JP2007288586A (ja) * 2006-04-18 2007-11-01 Matsushita Electric Ind Co Ltd 車両周囲状況確認装置
JP2010116086A (ja) * 2008-11-14 2010-05-27 Alpine Electronics Inc 車載用表示装置、表示方法および表示プログラム
JP2011048829A (ja) * 2009-08-27 2011-03-10 Robert Bosch Gmbh 車両の運転者に案内情報を提供するためのシステム及び方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180304813A1 (en) * 2017-04-20 2018-10-25 Subaru Corporation Image display device
JP2018182646A (ja) * 2017-04-20 2018-11-15 株式会社Ｓｕｂａｒｕ 画像表示装置
US10919450B2 (en) 2017-04-20 2021-02-16 Subaru Corporation Image display device
WO2020085101A1 (ja) * 2018-10-23 2020-04-30 ソニーセミコンダクタソリューションズ株式会社 画像処理装置と画像処理方法およびプログラム

Also Published As

Publication number Publication date
JP6398675B2 (ja) 2018-10-03
US10266114B2 (en) 2019-04-23
WO2016092967A1 (ja) 2016-06-16
US20170368993A1 (en) 2017-12-28
EP3232400B1 (en) 2019-04-03
EP3232400A4 (en) 2017-11-01
CN107004250B (zh) 2020-10-23
CN107004250A (zh) 2017-08-01
EP3232400A1 (en) 2017-10-18

Similar Documents

Publication Publication Date Title
JP6398675B2 (ja) 画像生成装置
JP5810773B2 (ja) 二輪車の後方映像表示装置
US9704404B2 (en) Lane detection apparatus and operating method for the same
EP3150443B1 (en) Display device for vehicle and display method for vehicle
JP5505702B2 (ja) 車両周辺監視装置
JP6291866B2 (ja) 運転支援装置、および運転支援方法
JP6379967B2 (ja) 画像生成装置および画像生成方法
JP6744236B2 (ja) 画像表示装置
JP2007274377A (ja) 周辺監視装置、プログラム
JP5760999B2 (ja) 画像処理装置及び画像処理方法
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2009073250A (ja) 車両後方表示装置
JP5477394B2 (ja) 車両周辺監視装置
JP2007182201A (ja) 車線変更支援装置
JP2005182305A (ja) 車両走行支援装置
JP2018113622A (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JP2015011665A (ja) 走行路面標示検知装置および走行路面標示検知方法
JP4598011B2 (ja) 車両用表示装置
JP2012178639A (ja) 画像処理装置、駐車制御システム、及び、画像処理方法
JP2008263325A (ja) 車外撮影カメラ画像表示装置
JP6718295B2 (ja) 周辺監視装置及び周辺監視方法
JP2018142883A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP7378892B2 (ja) 一時停止線表示装置
JP6047443B2 (ja) 鳥瞰画像表示装置
JP2011113120A (ja) 車両用周辺監視装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170616

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180820

R151 Written notification of patent or utility model registration

Ref document number: 6398675

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250