JP2018182536A - 表示制御装置、表示制御方法及びカメラモニタリングシステム - Google Patents

表示制御装置、表示制御方法及びカメラモニタリングシステム Download PDF

Info

Publication number
JP2018182536A
JP2018182536A JP2017079772A JP2017079772A JP2018182536A JP 2018182536 A JP2018182536 A JP 2018182536A JP 2017079772 A JP2017079772 A JP 2017079772A JP 2017079772 A JP2017079772 A JP 2017079772A JP 2018182536 A JP2018182536 A JP 2018182536A
Authority
JP
Japan
Prior art keywords
image data
display
vehicle
display control
edge image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017079772A
Other languages
English (en)
Other versions
JP6925848B2 (ja
Inventor
佳洋 勝山
Yoshihiro Katsuyama
佳洋 勝山
亮介 立見
Ryosuke Tatsumi
亮介 立見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2017079772A priority Critical patent/JP6925848B2/ja
Priority to US15/878,722 priority patent/US10460703B2/en
Publication of JP2018182536A publication Critical patent/JP2018182536A/ja
Application granted granted Critical
Publication of JP6925848B2 publication Critical patent/JP6925848B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/408—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using a data bus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Abstract

【課題】 電子ミラーを介して視認される画像と、当該画像周辺との境目をわかりやすくする。【解決手段】 撮像装置に接続される表示制御装置であって、前記撮像装置が車両の後方を撮影することで得た画像データを前記撮像装置より取得する取得部と、前記車両の室内後写鏡の位置に配置された電子ミラーを介して視認される前記画像データの周縁部分を明示するエッジ画像データを生成するエッジ画像生成部と、取得した前記画像データに、生成した前記エッジ画像データを重畳し、表示画像データを生成する表示画像生成部と、生成した前記表示画像データが前記電子ミラーを介して視認されるよう制御する制御部とを有する。【選択図】図４

Description

本発明は、表示制御装置、表示制御方法及びカメラモニタリングシステムに関する。
従来より、車両にカメラモニタリングシステムを搭載し、車両後方の撮影画像を表示装置等に表示することで、該表示装置等を電子ミラーとして機能させる表示制御技術が知られている。電子ミラーの場合、従来の後写鏡（車体外後写鏡、室内後写鏡）と比較して、例えば、遠くのものでも鮮明に見えるといった利点がある。
特開２０１３−００３６４１号公報
一方で、電子ミラーを上記のように室内後写鏡の代替として用いる場合、次のような問題がある。一般に電子ミラーの場合、室内後写鏡とは異なり、車内の様子が映し出されない。このため、運転者にとっては、電子ミラーを介して視認する車両後方の撮影画像と当該画像周辺（例えば、フロントウィンドウを介して視認する前方の実景）との境目がわかりにくい。この結果、運転者は、電子ミラーを介して視認する車両後方の撮影画像を、前方の実景と誤認識してしまう可能性がある。
本発明は上記課題に鑑みてなされたものであり、電子ミラーを介して視認される画像と、当該画像周辺との境目をわかりやすくすることを目的とする。
一態様によれば、撮像装置に接続される表示制御装置であって、
前記撮像装置が車両の後方を撮影することで得た画像データを前記撮像装置より取得する取得部と、
前記車両の室内後写鏡の位置に配置された電子ミラーを介して視認される前記画像データの周縁部分を明示するエッジ画像データを生成するエッジ画像生成部と、
取得した前記画像データに、生成した前記エッジ画像データを重畳し、表示画像データを生成する表示画像生成部と、
生成した前記表示画像データが前記電子ミラーを介して視認されるよう制御する制御部とを有する。
電子ミラーを介して視認される画像と、当該画像周辺との境目がわかりやすくなる。
第１の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。 表示装置の配置例を示す図である。 表示制御装置のハードウェア構成の一例を示す図である。 第１の実施形態における表示制御装置の機能構成の一例を示す図である。 表示装置の表示例を示す図である。 第１の実施形態における表示制御装置による表示制御処理の流れを示すフローチャートである。 第２の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。 第２の実施形態における表示制御装置の機能構成の一例を示す図である。 表示装置の表示例を示す図である。 第２の実施形態における表示制御装置による表示制御処理の流れを示すフローチャートである。 第３の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
［第１の実施形態］
＜カメラモニタリングシステムのシステム構成＞
はじめに、車両に搭載されるカメラモニタリングシステムのシステム構成について説明する。図１は、第１の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。図１に示すように、カメラモニタリングシステム１００は、撮像装置１１０と、表示制御装置１２０と、表示装置１３０とを有する。なお、本実施形態において、カメラモニタリングシステム１００は、車両のイグニッションスイッチがＯＮ状態になることで起動し、ＯＦＦ状態になることで停止するものとする。ただし、車両の運転者の指示に基づいて起動、停止するように構成してもよい。
撮像装置１１０は車両後方を撮影し、撮影することで得た撮影画像を左右反転した画像データを表示制御装置１２０に送信する。表示制御装置１２０は、撮像装置１１０より送信された画像データを処理することで、画像データの周縁部分に所定の色を重畳し、表示画像データとして表示装置１３０に送信する。表示装置１３０は出力装置の一例であり、本実施形態においては液晶表示装置により構成され、表示制御装置１２０より送信された表示画像データを表示する。
＜表示装置の配置例＞
次に、表示装置１３０の配置例について説明する。図２は、表示装置の配置例を示す図である。図２に示すように、表示装置１３０は、車両の室内後写鏡の位置（フロントウィンドウの手前側の中央位置）に配置され、室内後写鏡を代替する電子ミラーとして機能する。
＜表示制御装置のハードウェア構成＞
次に、表示制御装置１２０のハードウェア構成について説明する。図３は、表示制御装置のハードウェア構成の一例を示す図である。図３に示すように、表示制御装置１２０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３を有する。また、表示制御装置１２０は、ＧＰＵ（Graphic Processing Unit）３０４、Ｉ／Ｆ（Interface）装置３０５を有する。なお、表示制御装置１２０の各部は、バス３０６を介して相互に接続されている。
ＣＰＵ３０１は、ＲＯＭ３０２にインストールされている各種プログラム（例えば、表示制御プログラム等）を実行するデバイスである。ＲＯＭ３０２は、不揮発性メモリであり、ＣＰＵ３０１によって実行される各種プログラムを格納する、主記憶デバイスとして機能する。ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ３０３は、ＲＯＭ３０２にインストールされている各種プログラムがＣＰＵ３０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
ＧＰＵ３０４は、画像処理を行う専用の集積回路であり、本実施形態では、表示制御プログラムを実行するＣＰＵ３０１からの指示に基づき、表示装置１３０に表示される表示画像データの生成等を行う。Ｉ／Ｆ装置３０５は、撮像装置１１０及び表示装置１３０と、表示制御装置１２０とを接続するための接続デバイスである。
＜表示制御装置の機能構成＞
次に、表示制御装置１２０の機能構成について説明する。図４は、第１の実施形態における表示制御装置の機能構成の一例を示す図である。上述したとおり、表示制御装置１２０には、表示制御プログラムがインストールされており、カメラモニタリングシステム１００が起動することで、表示制御装置１２０は、当該表示制御プログラムを実行する。これにより、表示制御装置１２０は、画像データ取得部４１０、エッジ画像生成部４２０、表示画像生成部４３０、制御部４４０として機能する。
画像データ取得部４１０は、撮像装置１１０より送信された画像データを取得する。画像データ取得部４１０は、取得した画像データをフレーム単位で表示画像生成部４３０に送信する。
エッジ画像生成部４２０は、表示装置１３０に表示される画像データの周縁部分を明示する所定の色のデータ（エッジ画像データと称す）を生成し、表示画像生成部４３０に送信する。エッジ画像生成部４２０が生成するエッジ画像データは、例えば、画像データの周縁部分全周を白色にするデータである。ただし、エッジ画像生成部４２０が生成するエッジ画像データはこれに限定されず、例えば、所定の色を配置する位置は、画像データの周縁部分全周に限られず、周縁部分のうちの角部分のみであってもよい。あるいは、４辺のうちの３辺（あるいは１辺、２辺）であってもよい。また、所定の色は実線帯状に配置する必要はなく、例えば、点線帯状に配置してもよい。
また、配置する所定の色は白色に限定されず、他の所定の色であってもよいし、多色の中から選択された色であってもよい。このとき、配置する色の選択は自動で行われても、運転者の指示に基づいて行われてもよい。いずれにしても、エッジ画像データは、表示装置１３０に表示画像データを表示した場合に、前方の実景との境目がわかりやすい表示態様により生成されるものとする。
表示画像生成部４３０は、画像データ取得部４１０より送信された画像データの各フレームに、エッジ画像生成部４２０により生成されたエッジ画像データを重畳することで、表示画像データを生成し、制御部４４０に通知する。制御部４４０は、表示画像生成部４３０より通知された表示画像データを、表示装置１３０に表示するよう制御する。これにより、車両の運転者は、表示装置１３０を介して表示画像データを視認することができる。
＜表示装置の表示例＞
次に、表示装置１３０の表示例について説明する。図５は、表示装置の表示例を示す図である。なお、図５の各例では、車両の運転者が表示装置１３０を介して視認する表示画像データと、表示装置１３０の後のフロントウィンドウを介して視認する前方の実景の両方を示している。
図５の各例のうち、図５（ａ）、（ｃ）は比較のために、エッジ画像データを重畳していない表示画像データを表示装置１３０に表示した場合の表示例を示している。一方、図５（ｂ）、（ｄ）は、エッジ画像データを重畳した表示画像データを表示装置１３０に表示した場合の表示例を示している。
図５（ａ）に示すように、フロントウィンドウを介して視認される前方車両５０１の後面と、表示装置１３０を介して視認される後方車両５０２の前面とが隣接していたとする。上述したとおり、表示装置１３０には、車内の様子が映し出されないため、前方車両５０１の後面と、後方車両５０２の前面との境目は、表示装置１３０の外枠５１０だけとなる。このため、エッジ画像データを重畳していない表示画像データの場合、運転者にとっては、フロントウィンドウを介して視認する前方の実景と、表示装置１３０を介して視認する表示画像データとの境目がわかりにくい。この結果、運転者は、表示装置１３０を介して視認する表示画像データを、前方の実景と誤認識してしまう可能性がある。
一方、図５（ｂ）の例は、エッジ画像データ５２０を重畳した表示画像データを表示した様子を示している。図５（ｂ）に示すように、エッジ画像データ５２０を重畳することで、前方車両５０１の後面と、後方車両５０２の前面との境目には、表示装置１３０の外枠５１０と、エッジ画像データ５２０とが含まれることになる。つまり、エッジ画像データを重畳することで、運転者にとっては、フロントウィンドウを介して視認する前方の実景と、表示装置１３０に表示された表示画像データとの境目がわかりやすくなる。この結果、運転者が表示装置１３０を介して視認する表示画像データを、前方の実景と誤認識してしまう可能性を低減させることができる。
図５（ｃ）は、図５（ａ）と同様の状況を夜間に再現した様子を示している。夜間の場合、昼間の場合（図５（ａ）の場合）と比較して、表示装置１３０の外枠５１０が視認しにくくなるため、運転者が表示装置１３０を介して視認する表示画像データを、前方の実景と誤認識してしまう可能性が高まる。
これに対して、図５（ｄ）に示すように、エッジ画像データを重畳することで、前方車両５０１のテールランプと、後方車両５０２のヘッドライトとの境目には、エッジ画像データ５２０が含まれることになる。つまり、エッジ画像データを重畳することで、夜間の場合、運転者にとっては、フロントウィンドウを介して視認する前方の実景と、表示装置１３０に表示された表示画像データとの境目がよりわかりやすくなる。この結果、運転者が、表示装置１３０を介して視認する表示画像データを、前方の実景と誤認識してしまう可能性を低減させることができる。
なお、本実施形態におけるカメラモニタリングシステム１００の場合、表示装置１３０の外枠５１０自体を視認しやすくするケース（例えば、外枠５１０にＬＥＤ等を埋め込み、点灯させるケース）と比べて、同様の効果を低コストで実現できるといった利点がある。
＜表示制御処理の流れ＞
次に、表示制御装置１２０による表示制御処理の流れについて説明する。図６は、第１の実施形態における表示制御装置による表示制御処理の流れを示すフローチャートである。カメラモニタリングシステム１００が起動することにより、表示制御装置１２０では、図６に示す表示制御処理を実行する。
ステップＳ６０１において、画像データ取得部４１０は、撮像装置１１０より画像データを取得し、フレーム単位で表示画像生成部４３０に送信する。ステップＳ６０２において、エッジ画像生成部４２０は、エッジ画像データを生成し、表示画像生成部４３０に送信する。
ステップＳ６０３において、表示画像生成部４３０は、画像データ取得部４１０より送信された画像データに、エッジ画像生成部４２０より送信されたエッジ画像データを重畳することで、表示画像データを生成し、制御部４４０に通知する。ステップＳ６０４において、制御部４４０は、表示画像データをフレーム単位で表示装置１３０に表示するよう制御する。
ステップＳ６０５において、画像データ取得部４１０は、表示制御処理を終了するか否かを判定する。カメラモニタリングシステム１００の動作が継続する場合、ステップＳ６０５では表示制御処理を終了しないと判定し（ステップＳ６０５においてＮｏの場合）、ステップＳ６０１に戻る。一方、カメラモニタリングシステム１００の動作が停止する場合（ステップＳ６０５においてＹｅｓの場合）には、表示制御処理を終了する。
＜まとめ＞
以上の説明から明らかなように、本実施形態における表示制御装置１２０は、
・車両後方を撮影する撮像装置１１０により撮影され、左右反転された画像データに、エッジ画像データを重畳することで、表示画像データを生成する。
・生成した表示画像データを、室内後写鏡の位置に配置され、電子ミラーとして機能する表示装置１３０に表示する。
これにより、表示装置には、周縁部分が明示された画像が表示されることとなり、表示装置を介して視認される画像とフロントウィンドウを介して視認される前方の実景との境目（つまり、当該画像周辺との境目）がわかりやすくなる。
［第２の実施形態］
上記第１の実施形態では、表示装置１３０を介して視認される画像とフロントウィンドウを介して視認される前方の実景との境目をわかりやすくするために、エッジ画像データを生成するものとして説明した。これに対して、第２の実施形態では、境目をわかりやするために生成するエッジ画像データの一部を、車載ネットワークより受信する車両情報を運転者に報知するために利用する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
＜カメラモニタリングシステムのシステム構成＞
図７は、第２の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。図７に示すカメラモニタリングシステム７００の図１との相違点は、表示制御装置１２０が、車載ネットワーク７１０に接続され、車載ネットワーク７１０より車両情報を受信するよう構成されている点である。
車載ネットワーク７１０は、車両に搭載されたネットワークであり、ＣＡＮ（Controller Area Network）、Ｆｌｅｘｒａｙ等の規格に基づいて通信が行われる。本実施形態において表示制御装置１２０は車載ネットワーク７１０に接続することで、車両情報として、車両後方の障害物までの距離及び障害物の方向を示すデータを受信する。なお、車両後方の障害物までの距離及び障害物の方向を示すデータは、例えば、車両後方に設置されたレーダセンサやソナーセンサ等の受信信号に基づいて生成され、車載ネットワーク７１０を介して受信可能であるとする。
＜表示制御装置の機能構成＞
次に、第２の実施形態における表示制御装置１２０の機能構成について説明する。図８は、第２の実施形態における表示制御装置の機能構成の一例を示す図である。図４との相違点は、接近障害物検出部８００とエッジ画像生成部８１０である。
接近障害物検出部８００は、車載ネットワーク７１０より車両情報を受信し、車両後方の障害物までの距離を監視することで、所定速度以上で接近する障害物を検出する。また、接近障害物検出部８００は、所定速度以上で接近する障害物を検出した場合、当該障害物までの距離と当該障害物の方向とを、接近障害物情報として、エッジ画像生成部８１０に通知する。
エッジ画像生成部８１０は、接近障害物検出部８００より接近障害物情報を受信すると、接近する障害物の方向と距離とに基づいて、画像データ上の当該障害物の位置を特定する。また、エッジ画像生成部８１０は、エッジ画像データを生成する際、特定した位置に対応する部分の色を、他の部分とは異なる色（例えば、赤色）にして、表示画像生成部４３０に送信する。
＜表示装置の表示例＞
次に、表示装置１３０の表示例について説明する。図９は、表示装置の表示例を示す図である。このうち、図９（ａ）、（ｃ）は、障害物である後方車両５０２が所定速度以上で接近する前の状態を示しており、図９（ｂ）、（ｄ）は、障害物である後方車両５０２が所定速度以上で接近した状態を示している。
図９（ａ）、（ｃ）に示すように、後方車両５０２が所定速度以上で接近する前の状態では、エッジ画像データ５２０は、一様な色で構成されている。一方、図９（ｂ）、（ｄ）に示すように、後方車両５０２が所定速度以上で接近した状態では、後方車両５０２の方向と距離とに基づいて特定された画像データ上の後方車両５０２の位置に対応する部分９０１の色を、他の部分とは異なる色に変える。これにより、運転者は、所定速度以上で後方車両５０２が接近していることを、表示装置１３０を介して視認することができる。
＜表示制御処理の流れ＞
次に、表示制御装置１２０による表示制御処理の流れについて説明する。図１０は、第２の実施形態における表示制御装置による表示制御処理の流れを示すフローチャートである。図６との相違点は、ステップＳ１００１〜Ｓ１００６である。
ステップＳ１００１において、接近障害物検出部８００は、車載ネットワーク７１０より車両情報を受信し、車両後方の障害物までの距離を識別する。ステップＳ１００２において、接近障害物検出部８００は、所定フレーム前の画像データを取得したタイミングで識別した、車両後方の障害物までの距離と、ステップＳ１００１において識別した車両後方の障害物までの距離とを対比する。
ステップＳ１００３において、接近障害物検出部８００は、車両後方の障害物までの距離の単位時間当たりの変化を監視することで、所定速度以上で接近する車両後方の障害物を検出する。ステップＳ１００３において、所定速度以上で接近する車両後方の障害物を検出した場合には（ステップＳ１００３においてＹｅｓの場合には）、ステップＳ１００４に進む。
ステップＳ１００４において、接近障害物検出部８００は、当該障害物までの距離と当該障害物の方向とを接近障害物情報としてエッジ画像生成部８１０に通知する。エッジ画像生成部８１０は、通知された接近障害物情報に基づいて、当該障害物の画像データ上の位置を特定する。
ステップＳ１００５において、エッジ画像生成部８１０は、表示装置１３０に表示される画像データの周縁部分のうち、特定した位置に対応する部分を第１の色（例えば赤色）、それ以外の部分を第２の色（例えば白色）とするエッジ画像データを生成する。
一方、ステップＳ１００３において、所定速度以上で接近する車両後方の障害物を検出しなかった場合には（ステップＳ１００３においてＮｏの場合には）、ステップＳ１００６に進む。ステップＳ１００６において、エッジ画像生成部８１０は、当該画像データを表示装置１３０に表示した場合の周縁部分全周を第２の色（例えば、白色）とするエッジ画像データを生成する。
＜まとめ＞
以上の説明から明らかなように、本実施形態における表示制御装置１２０は、
・車両情報として、車両後方の障害物までの距離及び障害物の方向を示すデータを車載ネットワークより受信し、所定速度以上で接近する車両後方の障害物を検出する。
・所定速度以上で接近する車両後方の障害物を検出した場合、当該障害物までの距離と当該障害物の方向とに基づいて、当該障害物の画像データ上での位置を特定し、特定した位置に対応する部分の色を、他の部分とは異なる色にしてエッジ画像データを生成する。
このように、エッジ画像データの一部を利用することで、本実施形態によれば、運転者は、車両後方の障害物が所定速度以上で接近していることを、表示装置を介して視認することができる。
［第３の実施形態］
上記第１及び第２の実施形態では、室内後写鏡の位置に表示装置１３０を配置し、表示装置１３０を電子ミラーとして機能させるカメラモニタリングシステム１００について説明した。しかしながら、カメラモニタリングシステムの構成はこれに限定されない。例えば、室内後写鏡の位置に投影用のミラーを配置し、当該投影用のミラーに対してプロジェクタを介して表示画像データを投影することで、当該投影用のミラーを電子ミラーとして機能させるように構成してもよい。
図１１は、第３の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。図１１（ａ）に示すカメラモニタリングシステム１１００の図７との相違点は、出力装置として表示装置１３０に代えて、プロジェクタ（画像投影装置）１１１０が配されている点である。なお、カメラモニタリングシステム１１００の場合、表示画像データは投影用のミラーに投影され、投影用のミラーにおいて光学的に左右反転されるため、撮像装置１１０において撮影画像を左右反転させる必要はない。したがって、表示制御装置１２０からプロジェクタ１１１０に送信される表示画像データは、撮影画像が左右反転されていない画像データにエッジ画像データを重畳したデータとなる。
図１１（ｂ）は、プロジェクタ１１１０と投影用のミラー１１２０との関係を示した図である。本実施形態において、プロジェクタ１１１０は車内の天井部分に配置されるものとする。図１１（ｂ）に示すように、天井部分に配置されたプロジェクタ１１１０より出射された表示画像データは、室内後写鏡の位置に配置された投影用のミラー１１２０に投影される。これにより、運転者は、投影用のミラー１１２０を介して表示画像データを視認することができる。なお、プロジェクタ１１１０より出射される表示画像データは、投影用のミラー１１２０の一部の領域に投影される。このため、本実施形態の場合、周縁部分を明示することにより、運転者にとっては、投影用のミラー１１２０を介して画像が視認される領域と、視認されない領域との境目（つまり、当該画像周辺との境目）がわかりやすくなる。
［その他の実施形態］
上記第１乃至第３の実施形態では、撮像装置１１０において撮影された撮影画像全体を用いて画像データを生成する場合について説明したが、撮影画像の一部を用いて画像データを生成するように構成してもよい。この場合、画像データに用いる領域は、例えば、運転者が指定できるように構成してもよい。
また、上記第１及び第２の実施形態では、撮像装置１１０において撮影画像を左右反転した画像データを表示制御装置１２０に送信するものとして説明したが、撮影画像を左右反転する処理は、表示制御装置１２０において実行するように構成してもよい。
また、上記第１及び第２の実施形態では、室内後写鏡の位置に、表示装置１３０を配置するものとして説明した。しかしながら、カメラモニタリングシステムの構成はこれに限定されず、例えば、室内後写鏡の位置に、可動式のハーフミラーが前面に取り付けられた表示装置を配置するように構成してもよい。この場合、表示画像データの表示を行うモードをＯＮにすると表示装置による表示画像データの表示が開始され、ＯＦＦにすると表示装置による表示画像データの表示が終了する。この間、運転者は、表示装置を介して表示される表示画像データを視認することで車両後方を確認する。
一方、表示画像データの表示を行うモードをＯＦＦにすると、ハーフミラーが室内後写鏡として機能するモードがＯＮになり、ハーフミラーが所定の位置に移動する。この場合、運転者は、ハーフミラーを介して車両後方を確認する。ただし、ハーフミラーが室内後写鏡として機能するモードがＯＮになった状態でも、車両後方の障害物が所定速度以上で接近していることを検出した場合にあっては、エッジ画像データを表示するよう構成してもよい。つまり、表示画像データの表示を行うモードをＯＦＦにしても、車両情報より所定の情報を検出した場合にあっては、エッジ画像データを表示するよう構成してもよい。
また、上記第１の実施形態では、エッジ画像データとして配置する色の選択を自動で行う場合の詳細について特に言及しなかったが、例えば、車両情報に応じて、色の選択（あるいは表示態様の選択）を自動で行うように構成してもよい。具体的には、車両情報として、車両の周囲の明るさに関する情報を取得し、取得した車両の周囲の明るさに関する情報に応じて、エッジ画像データの全部または一部の表示態様を変えてもよい。これにより、例えば、昼の時間帯、夜の時間帯、曇りの日、晴れの日等に応じて、運転者がより視認しやすい表示態様に変えることが可能になる。なお、車両の周囲の明るさに関する情報は、例えば、照度センサの受信信号に基づいて生成された情報であっても、車両のヘッドライトのＯＮまたはＯＦＦ信号に基づいて生成された情報であってもよい。
また、上記第２の実施形態では、所定速度以上で接近する障害物の画像データ上での位置に対応する部分の色を、他の部分とは異なる色にしてエッジ画像データを生成する構成について説明した。しかしながら、所定速度以上で接近する障害物の画像データ上での位置に対応する部分の表示態様は、これに限定されない。例えば、他の部分と同じ色を、所定周期で表示するようにエッジ画像データを生成することで、障害物の画像データ上での位置に対応する部分が点滅して見えるように構成してもよい。
また、上記第２の実施形態では、車載ネットワーク７１０より受信した車両情報のうち、車両後方の障害物までの距離及び障害物の方向を示すデータを用いて、エッジ画像データの一部の表示態様を変える構成について説明した。つまり、上記第２の実施形態では、エッジ画像データの一部を、所定速度以上で接近する障害物の存在を運転者に報知する目的で利用する場合について説明した。しかしながら、エッジ画像データの利用方法はこれに限定されず、車両情報より報知すべき他の情報を検出した場合に、エッジ画像データの一部または全部の表示態様を変えるように構成してもよい。
例えば、車両情報として、車両のギアに関する情報を用いる場合にあっては、運転者がギアをＤ（Drive）に入れている状態と、Ｒ（Reverse）に入れている状態とで、エッジ画像データの全部の表示態様を変えてもよい。これにより、運転者は、電子ミラーを介して、車両のギアの状態を認識することができる。
また、上記第２の実施形態では、接近障害物検出部８００が、車載ネットワーク７１０より、車両後方の障害物までの距離及び障害物の方向を示すデータを受信することで、車両後方より所定速度以上で接近する障害物を検出する構成について説明した。しかしながら、接近障害物検出部８００は、画像データ取得部４１０が取得した画像データを受信することで、車両後方より所定速度以上で接近する障害物を検出するように構成してもよい。この場合、接近障害物検出部８００では、例えば、画像データに含まれる障害物の所定フレーム間での拡大率を算出することで、車両後方より所定速度以上で接近する障害物を検出するものとする。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
１００ ：カメラモニタリングシステム
１１０ ：撮像装置
１２０ ：表示制御装置
１３０ ：表示装置
４１０ ：画像データ取得部
４２０ ：エッジ画像生成部
４３０ ：表示画像生成部
４４０ ：制御部
５２０ ：エッジ画像データ
７１０ ：車載ネットワーク
８００ ：接近障害物検出部
８１０ ：エッジ画像生成部
１１１０ ：プロジェクタ
１１２０ ：投影用のミラー

Claims (7)

  1. 撮像装置に接続される表示制御装置であって、
    前記撮像装置が車両の後方を撮影することで得た画像データを前記撮像装置より取得する取得部と、
    前記車両の室内後写鏡の位置に配置された電子ミラーを介して視認される前記画像データの周縁部分を明示するエッジ画像データを生成するエッジ画像生成部と、
    取得した前記画像データに、生成した前記エッジ画像データを重畳し、表示画像データを生成する表示画像生成部と、
    生成した前記表示画像データが前記電子ミラーを介して視認されるよう制御する制御部と
    を有することを特徴とする表示制御装置。
  2. 前記エッジ画像生成部は、車両情報に応じた表示態様で、前記エッジ画像データを生成することを特徴とする請求項１に記載の表示制御装置。
  3. 前記エッジ画像生成部は、車両情報より報知すべき所定の情報を検出した場合に、前記周縁部分の一部または全部の表示態様を変えて、前記エッジ画像データを生成することを特徴とする請求項１に記載の表示制御装置。
  4. 前記車両の後方より所定速度以上で接近する障害物を検出する検出部を更に有し、
    前記エッジ画像生成部は、
    前記検出部により検出された障害物の、前記画像データでの位置を特定し、前記周縁部分のうち、該特定した位置に対応する部分の表示態様が、他の部分の表示態様とは異なる表示態様となるように前記エッジ画像データを生成することを特徴とする請求項１に記載の表示制御装置。
  5. 前記表示画像データに対する制御を停止した状態であっても、前記検出部が前記障害物を検出した場合には、前記制御部は、生成した前記エッジ画像データが前記電子ミラーを介して視認されるよう制御することを特徴とする請求項４に記載の表示制御装置。
  6. 表示制御装置の表示制御方法であって、
    車両の後方を撮影することで得た画像データを取得する取得工程と、
    前記車両の室内後写鏡の位置に配置された電子ミラーを介して視認される前記画像データの周縁部分を明示するエッジ画像データを生成するエッジ画像生成工程と、
    取得した前記画像データに、生成した前記エッジ画像データを重畳し、表示画像データを生成する表示画像生成工程と、
    生成した前記表示画像データが前記電子ミラーを介して視認されるよう制御する制御工程と
    を有することを特徴とする表示制御方法。
  7. 車両の後方を撮影する撮像装置と、
    前記撮像装置で撮影された画像データを処理する表示制御装置と、
    前記表示制御装置に接続された出力装置と、を有するカメラモニタリングシステムであって、
    前記表示制御装置は、
    前記撮像装置が車両の後方を撮影することで得た画像データを前記撮像装置より取得する取得部と、
    前記車両の室内後写鏡の位置に配置された電子ミラーを介して視認される前記画像データの周縁部分を明示するエッジ画像データを生成するエッジ画像生成部と、
    取得した前記画像データに、生成した前記エッジ画像データを重畳し、表示画像データを生成する表示画像生成部と、
    生成した前記表示画像データが前記電子ミラーを介して視認されるよう前記出力装置を制御する制御部と
    を有することを特徴とするカメラモニタリングシステム。
JP2017079772A 2017-04-13 2017-04-13 表示制御装置、表示制御方法及びカメラモニタリングシステム Active JP6925848B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017079772A JP6925848B2 (ja) 2017-04-13 2017-04-13 表示制御装置、表示制御方法及びカメラモニタリングシステム
US15/878,722 US10460703B2 (en) 2017-04-13 2018-01-24 Display control apparatus, display control method, and camera monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017079772A JP6925848B2 (ja) 2017-04-13 2017-04-13 表示制御装置、表示制御方法及びカメラモニタリングシステム

Publications (2)

Publication Number Publication Date
JP2018182536A true JP2018182536A (ja) 2018-11-15
JP6925848B2 JP6925848B2 (ja) 2021-08-25

Family

ID=63790242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017079772A Active JP6925848B2 (ja) 2017-04-13 2017-04-13 表示制御装置、表示制御方法及びカメラモニタリングシステム

Country Status (2)

Country Link
US (1) US10460703B2 (ja)
JP (1) JP6925848B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567674B2 (en) * 2017-06-30 2020-02-18 Harman International Industries, Incorporated Systems and methods for detecting objects in imaging systems
US20190139307A1 (en) * 2017-11-09 2019-05-09 Motorola Mobility Llc Modifying a Simulated Reality Display Based on Object Detection
CN111957040B (zh) * 2020-09-07 2024-02-23 网易（杭州）网络有限公司 遮挡位置的检测方法、装置、处理器及电子装置
TWI809401B (zh) * 2021-05-24 2023-07-21 宏佳騰動力科技股份有限公司 車輛後視警示系統
CN113479137A (zh) * 2021-07-13 2021-10-08 一汽奔腾轿车有限公司 一种能够变换使用场景的电子外后视镜系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010105443A (ja) * 2008-10-28 2010-05-13 Denso Corp 視覚支援装置
WO2011158285A1 (ja) * 2010-06-15 2011-12-22 三菱電機株式会社 車両周辺監視装置
JP2013003641A (ja) * 2011-06-13 2013-01-07 Nissan Motor Co Ltd 車両用障害物警告装置
JP2013191050A (ja) * 2012-03-14 2013-09-26 Toyota Motor Corp 車両周辺監視装置
JP2015168271A (ja) * 2014-03-04 2015-09-28 サカエ理研工業株式会社 ルームミラー及びそのルームミラーを用いた車両死角支援装置並びにそのルームミラー又は車両死角支援装置の表示画像の調整方法
JP2016134657A (ja) * 2015-01-15 2016-07-25 株式会社デンソー 視界支援装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2401176B1 (en) * 2009-02-27 2019-05-08 Magna Electronics Alert system for vehicle
JP4952765B2 (ja) * 2009-10-21 2012-06-13 トヨタ自動車株式会社 車両用夜間視界支援装置
US9445011B2 (en) * 2012-10-22 2016-09-13 GM Global Technology Operations LLC Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation
JP6393653B2 (ja) * 2015-04-09 2018-09-19 株式会社東海理化電機製作所 車両用視認装置
KR101895485B1 (ko) * 2015-08-26 2018-09-05 엘지전자 주식회사 운전 보조 장치 및 그 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010105443A (ja) * 2008-10-28 2010-05-13 Denso Corp 視覚支援装置
WO2011158285A1 (ja) * 2010-06-15 2011-12-22 三菱電機株式会社 車両周辺監視装置
JP2013003641A (ja) * 2011-06-13 2013-01-07 Nissan Motor Co Ltd 車両用障害物警告装置
JP2013191050A (ja) * 2012-03-14 2013-09-26 Toyota Motor Corp 車両周辺監視装置
JP2015168271A (ja) * 2014-03-04 2015-09-28 サカエ理研工業株式会社 ルームミラー及びそのルームミラーを用いた車両死角支援装置並びにそのルームミラー又は車両死角支援装置の表示画像の調整方法
JP2016134657A (ja) * 2015-01-15 2016-07-25 株式会社デンソー 視界支援装置

Also Published As

Publication number Publication date
US20180301122A1 (en) 2018-10-18
US10460703B2 (en) 2019-10-29
JP6925848B2 (ja) 2021-08-25

Similar Documents

Publication Publication Date Title
JP6925848B2 (ja) 表示制御装置、表示制御方法及びカメラモニタリングシステム
JP5251947B2 (ja) 車両用画像表示装置
JP6148887B2 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
US9706175B2 (en) Image processing device, image processing system, and image processing method
US8780202B2 (en) Image generation apparatus
KR101766077B1 (ko) 차량 주변 영상 정보 제공 시스템 및 방법
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
JP2006311272A (ja) 車両用映像表示装置
JP2008033901A (ja) 車両用画像表示システム
JP2008193339A (ja) 後方監視装置
JP2009227018A (ja) 車両用防眩装置
WO2011030699A1 (ja) 車両周辺監視装置
JP2009078597A (ja) 後方確認システム
JP2012214083A (ja) 画像生成装置、画像表示システム及び画像生成方法
TWM562412U (zh) 車輛之環景偵測系統
JP2018144554A (ja) 車両用ヘッドアップディスプレイ装置
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
US11163517B2 (en) Display device for a vehicle having migration of image display
US20200244864A1 (en) Vehicle surroundings monitoring apparatus
JP6866212B2 (ja) 表示制御装置、表示制御方法及びカメラモニタリングシステム
JP2018090219A (ja) 車両用表示制御装置及び車両用表示システム
JP6999231B2 (ja) 表示制御装置、表示制御方法及びカメラモニタリングシステム
JP2013172378A (ja) 画像処理装置及び車両
JP5040985B2 (ja) 注意喚起システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210804

R150 Certificate of patent or registration of utility model

Ref document number: 6925848

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150