JP2013072661A - Radar image generation device and radar image generation method - Google Patents

Radar image generation device and radar image generation method Download PDF

Info

Publication number
JP2013072661A
JP2013072661A JP2011209825A JP2011209825A JP2013072661A JP 2013072661 A JP2013072661 A JP 2013072661A JP 2011209825 A JP2011209825 A JP 2011209825A JP 2011209825 A JP2011209825 A JP 2011209825A JP 2013072661 A JP2013072661 A JP 2013072661A
Authority
JP
Japan
Prior art keywords
data
radar image
texture
image generation
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011209825A
Other languages
Japanese (ja)
Other versions
JP5860648B2 (en
Inventor
Takatoshi Ishihara
孝俊 石原
Ryonoshin Kawabata
亮之進 川端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Electro Wave Products Co Ltd
Original Assignee
Toshiba Electro Wave Products Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Electro Wave Products Co Ltd filed Critical Toshiba Electro Wave Products Co Ltd
Priority to JP2011209825A priority Critical patent/JP5860648B2/en
Publication of JP2013072661A publication Critical patent/JP2013072661A/en
Application granted granted Critical
Publication of JP5860648B2 publication Critical patent/JP5860648B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a radar image generation device capable of suppressing loads of a GPU when generating a radar image.SOLUTION: The radar image generation device includes an interface part, a position data generation processing part, a texture conversion processing part, an apex buffer, a texture buffer, a radar image generation part, an output part, and background texture updating part. The position data generation processing part generates position data on the basis of digital signals received in the interface part. The texture conversion processing part converts target information included in the digital signals to texture data. The radar image generation part prepares first display screen data from the position data and the texture data stored in the apex buffer and the texture buffer, respectively, in a first cycle, prepares second display screen data from stipulated position data and background texture data, and generates radar image data from them. The background texture updating part updates the background texture data in a second cycle.

Description

本発明の実施形態は、レーダ信号が目標で反射された反射信号を受信し、表示部にレーダ画像を表示させるレーダ画像生成装置及びこの装置で用いられるレーダ画像生成方法に関する。   Embodiments described herein relate generally to a radar image generation apparatus that receives a reflection signal of a radar signal reflected by a target and displays a radar image on a display unit, and a radar image generation method used in the apparatus.

近年、GPU(Graphics Processing Unit)の高速化により、レーダ画像生成装置は、レーダ画像をソフトウェア処理により高速に生成することが可能となっている。GPUが搭載されるグラフィックチップには、レーダ波が送信されるアジマス方向毎にデータ信号が供給される。グラフィックチップに搭載されるメモリは、データ信号が供給される度に、レーダ波の送信方向に応じた位置データと、レーダ波の反射波に基づいて得られるテクスチャデータとを記憶する。GPUは、レーダ画像生成装置が接続される表示部の更新レートに従い、メモリに記憶される全てのアジマス方向の位置データ、及び、これらの位置データと対応する全てのテクスチャデータに基づいてレーダ画像を生成し、生成したレーダ画像を表示部へ出力する。   In recent years, the speed of a GPU (Graphics Processing Unit) enables a radar image generation device to generate a radar image at high speed by software processing. A data signal is supplied to the graphics chip on which the GPU is mounted for each azimuth direction in which radar waves are transmitted. The memory mounted on the graphic chip stores position data corresponding to the transmission direction of the radar wave and texture data obtained based on the reflected wave of the radar wave every time a data signal is supplied. In accordance with the update rate of the display unit to which the radar image generation device is connected, the GPU converts radar images based on all azimuth direction position data stored in the memory and all texture data corresponding to these position data. The generated radar image is output to the display unit.

しかしながら、更新レートに達する度に、メモリに記憶される全てのアジマス方向の位置データ、及び、これらの位置データに対応する全てのテクスチャデータに基づいてレーダ画像を生成しようとすると、GPUに大きな負荷がかかるという問題がある。   However, every time the update rate is reached, if a radar image is generated based on all the azimuth position data stored in the memory and all the texture data corresponding to these position data, a heavy load is applied to the GPU. There is a problem that it takes.

特開2011−129123号公報JP 2011-129123 A

以上のように、従来のレーダ画像生成装置では、更新レートの度に、メモリに記憶される全ての位置データ及び全てのテクスチャデータに基づいてレーダ画像を生成するため、GPUに大きな負荷がかかるという問題がある。   As described above, the conventional radar image generation device generates a radar image based on all the position data and all the texture data stored in the memory at every update rate, so that a heavy load is applied to the GPU. There's a problem.

そこで目的は、レーダ画像を生成する際にGPUの負荷を抑えることが可能なレーダ画像生成装置及びこの装置に用いられるレーダ画像生成方法を提供することにある。   Accordingly, an object of the present invention is to provide a radar image generation apparatus capable of suppressing the load on the GPU when generating a radar image, and a radar image generation method used in the apparatus.

実施形態によれば、表示部にレーダ画像を表示させるレーダ画像生成装置は、インタフェース部、位置データ生成処理部、テクスチャ変換処理部、頂点バッファ、テクスチャバッファ、レーダ画像生成部、出力部及び背景用テクスチャ更新部を具備する。インタフェース部は、予め設定された範囲毎のアジマス方向の目標情報を含むデジタル信号を受信する。位置データ生成処理部は、前記受信されたデジタル信号について、前記予め設定された範囲のアジマス方向に応じた位置データを生成する。テクスチャ変換処理部は、前記受信されたデジタル信号に含まれる目標情報を、前記表示部の表示形式に応じたテクスチャデータに変換する。頂点バッファは、前記位置データと、前記表示部のサイズに応じて設定される既定位置データとを記憶する。テクスチャバッファは、前記テクスチャデータと、前記表示部に表示されるレーダ画像に基づく背景用テクスチャデータとを記憶する。レーダ画像生成部は、予め設定された第1の周期で、前記第1の周期の間に前記頂点バッファに記憶された位置データとこの位置データと対応するテクスチャデータとから第1の表示画面データを作成し、前記頂点バッファに記憶される既定位置データと前記テクスチャバッファに記憶される背景用テクスチャデータとから第2の表示画面データを作成し、前記第1及び第2の表示画面データからレーダ画像データを生成する。出力部は、前記レーダ画像データを前記表示部へ出力する。背景用テクスチャ更新部は、予め設定された第2の周期で、前記生成されたレーダ画像データにより、前記テクスチャバッファに記憶される背景用テクスチャデータを更新する。   According to the embodiment, a radar image generation apparatus that displays a radar image on a display unit includes an interface unit, a position data generation processing unit, a texture conversion processing unit, a vertex buffer, a texture buffer, a radar image generation unit, an output unit, and a background image. A texture update unit is provided. The interface unit receives a digital signal including target information in the azimuth direction for each preset range. The position data generation processing unit generates position data corresponding to the azimuth direction of the preset range for the received digital signal. The texture conversion processing unit converts the target information included in the received digital signal into texture data corresponding to the display format of the display unit. The vertex buffer stores the position data and default position data set in accordance with the size of the display unit. The texture buffer stores the texture data and background texture data based on the radar image displayed on the display unit. The radar image generator generates first display screen data from the position data stored in the vertex buffer during the first period and the texture data corresponding to the position data in the first period set in advance. The second display screen data is generated from the predetermined position data stored in the vertex buffer and the background texture data stored in the texture buffer, and the radar is generated from the first and second display screen data. Generate image data. The output unit outputs the radar image data to the display unit. The background texture update unit updates the background texture data stored in the texture buffer with the generated radar image data at a preset second period.

本実施形態に係るレーダ画像生成装置を備えるレーダシステムの機能構成を示すブロック図である。It is a block diagram which shows the function structure of a radar system provided with the radar image generation apparatus which concerns on this embodiment. 図1に示すCPUの機能構成を示すブロック図である。It is a block diagram which shows the function structure of CPU shown in FIG. 図1に示すグラフィックチップに搭載されたメモリの機能構成を示すブロック図である。It is a block diagram which shows the function structure of the memory mounted in the graphic chip shown in FIG. 図1に示すGPUの機能構成を示すブロック図である。It is a block diagram which shows the function structure of GPU shown in FIG. 図1に示すGPUによるレーダ画像データ生成処理及び背景用テクスチャ更新処理のフローチャートを示す図である。It is a figure which shows the flowchart of the radar image data generation process by the GPU shown in FIG. 1, and the texture update process for backgrounds. 図1に示すGPUによるレーダ画像データ生成処理を示す図である。It is a figure which shows the radar image data generation process by GPU shown in FIG. 表示中心が移動する際に、図1に示すGPUによるレーダ画像データ生成処理を示す図である。It is a figure which shows the radar image data production | generation process by GPU shown in FIG. 1 when a display center moves. レーダ画像における共有領域を示す図である。It is a figure which shows the shared area | region in a radar image.

以下、実施の形態について、図面を参照して説明する。   Hereinafter, embodiments will be described with reference to the drawings.

図1は、本実施形態に係るレーダ画像生成装置10を備えるレーダシステムの機能構成を示すブロック図である。図1に示すレーダシステムは、アンテナ20、受信処理部30、レーダ画像生成装置10及び表示部40を具備する。   FIG. 1 is a block diagram illustrating a functional configuration of a radar system including a radar image generation device 10 according to the present embodiment. The radar system shown in FIG. 1 includes an antenna 20, a reception processing unit 30, a radar image generation device 10, and a display unit 40.

アンテナ20は、送信装置(図示せず)から送信されたレーダ信号が目標等で反射された反射信号を受信する。レーダシステムは、所定の方向にレーダ信号を送信し、反射信号を受信する動作を、アジマス方向に予め設定した角度毎に実施する。アンテナ20は、レーダ信号が送信された方向毎に反射信号を受信する。   The antenna 20 receives a reflected signal obtained by reflecting a radar signal transmitted from a transmitting device (not shown) by a target or the like. The radar system performs an operation of transmitting a radar signal in a predetermined direction and receiving a reflected signal for each angle set in advance in the azimuth direction. The antenna 20 receives the reflected signal for each direction in which the radar signal is transmitted.

受信処理部30は、アンテナ20で受信された信号を所定の周波数帯のベースバンド信号に変換する。受信処理部30は、ベースバンド信号をアナログ−デジタル変換し、デジタル信号を生成する。受信処理部30は、デジタル信号を表示部40の解像度に応じて圧縮し、レーダ画像生成部10へ出力する。レーダ画像生成部10へ出力されるデジタル信号には、レーダ信号が送信されたアジマス方向に関する情報、及び、このアジマス方向における目標情報が含まれる。なお、ここでは、受信処理部30が受信信号をベースバンド信号に変換する場合を示したが、受信信号をIF(Intermediate Frequency)帯のIF信号へ変換しても構わない。   The reception processing unit 30 converts the signal received by the antenna 20 into a baseband signal in a predetermined frequency band. The reception processing unit 30 performs analog-digital conversion on the baseband signal to generate a digital signal. The reception processing unit 30 compresses the digital signal according to the resolution of the display unit 40 and outputs the compressed digital signal to the radar image generation unit 10. The digital signal output to the radar image generation unit 10 includes information on the azimuth direction in which the radar signal is transmitted and target information in the azimuth direction. Although the case where the reception processing unit 30 converts the received signal into a baseband signal is shown here, the received signal may be converted into an IF signal in an IF (Intermediate Frequency) band.

レーダ画像生成部10は、インタフェース部11、CPU(Central Processing Unit)12、メモリ13及びグラフィックボード14を備える。インタフェース部11、CPU12、メモリ13及びグラフィックボード14は、バスにより接続される。   The radar image generation unit 10 includes an interface unit 11, a CPU (Central Processing Unit) 12, a memory 13, and a graphic board 14. The interface unit 11, the CPU 12, the memory 13, and the graphic board 14 are connected by a bus.

インタフェース部11は、受信処理部30とのインタフェースとなるもので、受信処理部30から出力されるデジタル信号を受信する。   The interface unit 11 serves as an interface with the reception processing unit 30 and receives a digital signal output from the reception processing unit 30.

CPU12は、レーダ画像生成装置10内の処理を制御するものである。CPU12は、インタフェース部11でデジタル信号が受信されると、メモリ13に予め記録されるプログラムを読み出し、位置データ生成処理及びテクスチャ変換処理を実行する。すなわち、CPU12は、図2に示すように、位置データ生成処理部121及びテクスチャ変換処理部122を備える。メモリ13は、位置データ生成処理及びテクスチャ変換処理の実行中には、受信されたデジタル信号を一時的に保持する。   The CPU 12 controls processing in the radar image generation apparatus 10. When the digital signal is received by the interface unit 11, the CPU 12 reads a program recorded in advance in the memory 13 and executes position data generation processing and texture conversion processing. That is, the CPU 12 includes a position data generation processing unit 121 and a texture conversion processing unit 122 as shown in FIG. The memory 13 temporarily holds the received digital signal during the execution of the position data generation process and the texture conversion process.

位置データ生成処理部121は、受信されたデジタル信号がいずれのアジマス方向に関するものかを特定し、その方向に所定の領域を有するポリゴンを設定する。ここで、ポリゴンとは、レーダ信号の送信角度に応じた角度の扇状の領域であり、距離成分は予め設定されている。位置データ生成処理部121は、設定したポリゴンの頂点を指定する位置データを生成する。   The position data generation processing unit 121 identifies which azimuth direction the received digital signal relates to, and sets a polygon having a predetermined area in that direction. Here, the polygon is a fan-shaped region having an angle corresponding to the transmission angle of the radar signal, and the distance component is set in advance. The position data generation processing unit 121 generates position data for designating the set polygon vertices.

テクスチャ変換処理部122は、受信されたデジタル信号の目標情報を、表示部40の表示形式に応じたテクスチャデータに変換する。テクスチャデータとは、デジタル信号に含まれる目標情報を表示部40に表示させるため、レーダ信号の一つの送信方向に含まれる領域内の強度分布を判別可能なように、デジタル信号を画像の色情報に変換したデータである。例えば、デジタル信号は、表示色の設定と信号の値とにより、色情報に変換される。   The texture conversion processing unit 122 converts the target information of the received digital signal into texture data corresponding to the display format of the display unit 40. Texture data means that the target information included in the digital signal is displayed on the display unit 40, so that the digital signal is converted into the color information of the image so that the intensity distribution in the region included in one transmission direction of the radar signal can be determined. The data converted to. For example, the digital signal is converted into color information by setting the display color and the value of the signal.

また、CPU12は、表示部40の表示レートに従い、メモリ13に予め記憶されるプログラムを読み出し、グラフィックボード14に搭載されるグラフィックチップ141に対してレーダ画像生成指示を与える。すなわち、CPU12は、図2に示すように、更新レートに従ってグラフィックチップ141に対してレーダ画像生成指示を与えるレーダ画像生成指示部123を備える。   Further, the CPU 12 reads a program stored in advance in the memory 13 in accordance with the display rate of the display unit 40 and gives a radar image generation instruction to the graphic chip 141 mounted on the graphic board 14. That is, as shown in FIG. 2, the CPU 12 includes a radar image generation instruction unit 123 that gives a radar image generation instruction to the graphic chip 141 according to the update rate.

グラフィックボード14に搭載されるグラフィックチップ141は、GPU1411、メモリ1412及び計時部1413を備える。   The graphic chip 141 mounted on the graphic board 14 includes a GPU 1411, a memory 1412, and a timer unit 1413.

メモリ1412は、図3に示すように、頂点バッファ14121及びテクスチャバッファ14122を備える。   As shown in FIG. 3, the memory 1412 includes a vertex buffer 14121 and a texture buffer 14122.

頂点バッファ14121は、位置データ生成処理部121で生成された位置データを受信し、受信した位置データを記憶する。このとき、頂点バッファ14121は、計時部1413で計時される位置データの受信時の時刻情報を含めて位置データを記憶する。また、頂点バッファ14121は、表示部40の画面サイズに従って定義された四角形のポリゴンの既定位置データを予め記憶している。   The vertex buffer 14121 receives the position data generated by the position data generation processing unit 121 and stores the received position data. At this time, the vertex buffer 14121 stores the position data including the time information at the time of reception of the position data timed by the time measuring unit 1413. Further, the vertex buffer 14121 stores in advance the default position data of a quadrangular polygon defined according to the screen size of the display unit 40.

テクスチャバッファ14122は、テクスチャ変換処理部122で生成されたテクスチャデータを受信し、受信したテクスチャデータを記憶する。このとき、テクスチャバッファ14122は、計時部1413で計時されるテクスチャデータの受信時の時刻情報を含めてテクスチャデータを記憶する。また、テクスチャバッファ14122は、所定の期間前に表示部40に表示されたレーダ画像についての背景用テクスチャデータを記憶している。背景用テクスチャデータとは、表示部40に表示されるレーダ画像を、画面内の色調を維持するように記憶したデータである。例えば、レーダ画像は、32ビットの色情報のデータとして記憶される。テクスチャバッファ14122に記憶される背景用テクスチャデータは、表示部40に表示されるレーダ画像に基づいて、GPU1411の指示により更新される。   The texture buffer 14122 receives the texture data generated by the texture conversion processing unit 122 and stores the received texture data. At this time, the texture buffer 14122 stores the texture data including the time information at the time of receiving the texture data timed by the time measuring unit 1413. The texture buffer 14122 stores background texture data for the radar image displayed on the display unit 40 before a predetermined period. The background texture data is data in which the radar image displayed on the display unit 40 is stored so as to maintain the color tone in the screen. For example, the radar image is stored as 32-bit color information data. The background texture data stored in the texture buffer 14122 is updated by an instruction from the GPU 1411 based on the radar image displayed on the display unit 40.

GPU1411は、グラフィックチップ141内の処理を制御するものである。GPU1411は、CPU12のレーダ画像生成指示部123からレーダ画像生成指示を受けると、メモリ1412に予め記憶されるプログラムを読み出し、レーダ画像データ生成処理を実行する。すなわち、GPU1411は、図4に示すレーダ画像生成部14111を備える。   The GPU 1411 controls processing in the graphic chip 141. Upon receiving a radar image generation instruction from the radar image generation instruction unit 123 of the CPU 12, the GPU 1411 reads a program stored in advance in the memory 1412 and executes a radar image data generation process. That is, the GPU 1411 includes a radar image generation unit 14111 shown in FIG.

レーダ画像生成部14111は、レーダ画像生成指示を受けると、前回のレーダ画像データの生成以降、頂点バッファ14121に記憶された位置データに、これらの位置データに対応するテクスチャデータを貼り付け、第1の表示画面データを作成する。レーダ画像生成部14111は、頂点バッファ14121に記憶される既定位置データにテクスチャバッファ14122に記憶される背景用テクスチャデータを貼り付け、第2の表示画面データを作成する。レーダ画像生成部14111は、第1及び第2の表示画面データからレーダ画像データを生成する。生成されたレーダ画像データには、計時部1413で計時されるレーダ画像データの生成時の時刻情報が含まれる。レーダ画像生成部14111は、生成したレーダ画像データを、コネクタ142を介し、例えば、DVI出力により表示部40へ出力する。   Upon receiving the radar image generation instruction, the radar image generation unit 14111 pastes texture data corresponding to these position data to the position data stored in the vertex buffer 14121 after the previous generation of the radar image data. Create display screen data. The radar image generation unit 14111 pastes the background texture data stored in the texture buffer 14122 to the default position data stored in the vertex buffer 14121 to create second display screen data. The radar image generation unit 14111 generates radar image data from the first and second display screen data. The generated radar image data includes time information at the time of generating the radar image data measured by the timer unit 1413. The radar image generation unit 14111 outputs the generated radar image data to the display unit 40 through the connector 142, for example, by DVI output.

また、GPU1411は、予め設定された周期に従い、メモリ1412に予め記憶されるプログラムを読み出し、背景用テクスチャ更新処理を実行する。すなわち、GPU1411は、図4に示す背景用テクスチャ更新部14112を備える。予め設定された周期としては、例えば、予め設定された回数だけデジタル信号を受信する周期、及び、予め設定された回数だけレーダ画像データを表示部40へ出力する周期が設定される。   Further, the GPU 1411 reads a program stored in advance in the memory 1412 according to a preset cycle and executes background texture update processing. That is, the GPU 1411 includes the background texture update unit 14112 shown in FIG. As the preset period, for example, a period for receiving a digital signal for a preset number of times and a period for outputting radar image data to the display unit 40 for a preset number of times are set.

背景用テクスチャ更新部14112は、予め設定された周期に従い、テクスチャバッファ14122に記憶される背景用テクスチャデータを、レーダ画像生成部14111で新たに生成されたレーダ画像データにより更新する。背景用テクスチャデータには、この背景用テクスチャデータの元となったレーダ画像データが生成された時刻情報が含まれる。背景用テクスチャ更新部14112は、背景用テクスチャデータに含まれる時刻情報と現時刻とから経過時間を算出し、算出した経過時間に応じた数値をレーダ画像データに掛け合わせる。これにより、背景用テクスチャ更新部14112は、経過時間に応じた分だけ強度を弱くして背景用テクスチャデータを更新する。   The background texture update unit 14112 updates the background texture data stored in the texture buffer 14122 with the radar image data newly generated by the radar image generation unit 14111 according to a preset cycle. The background texture data includes time information when the radar image data that is the basis of the background texture data is generated. The background texture update unit 14112 calculates the elapsed time from the time information included in the background texture data and the current time, and multiplies the radar image data by a numerical value corresponding to the calculated elapsed time. As a result, the background texture update unit 14112 updates the background texture data with the intensity reduced by an amount corresponding to the elapsed time.

なお、テクスチャバッファ14122に背景用テクスチャデータが記憶されていない場合、背景用テクスチャ更新部14112は、レーダ画像生成部14111で生成されたレーダ画像データを、背景用テクスチャデータとしてテクスチャバッファ14122へ記憶する。   If background texture data is not stored in the texture buffer 14122, the background texture update unit 14112 stores the radar image data generated by the radar image generation unit 14111 in the texture buffer 14122 as background texture data. .

次に、以上のように構成されたレーダ画像生成装置10の処理を、GPU1411の処理手順に従い説明する。図5は、本実施形態に係るレーダ画像生成装置10のGPU1411によるレーダ画像データ生成処理及び背景用テクスチャ更新処理のフローチャートを示す。   Next, the processing of the radar image generation device 10 configured as described above will be described in accordance with the processing procedure of the GPU 1411. FIG. 5 shows a flowchart of radar image data generation processing and background texture update processing by the GPU 1411 of the radar image generation device 10 according to the present embodiment.

まず、GPU1411は、位置データ生成処理部121で生成された位置データと、テクスチャ変換処理部122で生成されたテクスチャデータとを受信すると、位置データを頂点バッファ14121に記憶させ、テクスチャデータをテクスチャバッファ14122に記憶させる(ステップS51)。   First, when the GPU 1411 receives the position data generated by the position data generation processing unit 121 and the texture data generated by the texture conversion processing unit 122, the GPU 1411 stores the position data in the vertex buffer 14121 and stores the texture data in the texture buffer. 14122 (step S51).

GPU1411は、CPU12からのレーダ画像生成指示があるか否かを判断し(ステップS52)、指示がある場合(ステップS52のYes)、指示に応じてレーダ画像データ生成処理を実行する。GPU1411は、第1及び第2の表示画面データを作成し、作成した第1及び第2の表示画面データからレーダ画像データを生成する(ステップS53)。図6は、GPU1411が第1及び第2の表示画面データを作成し、作成した第1及び第2の表示画面データからレーダ画像データを生成する際の模式図を示す。図6によれば、4方向の位置データ及びテクスチャデータが記憶されると、表示部40の更新レートに達し、新たなレーダ画像データが生成される。   The GPU 1411 determines whether or not there is a radar image generation instruction from the CPU 12 (step S52). If there is an instruction (Yes in step S52), the GPU 1411 executes radar image data generation processing according to the instruction. The GPU 1411 creates first and second display screen data, and generates radar image data from the created first and second display screen data (step S53). FIG. 6 is a schematic diagram when the GPU 1411 creates first and second display screen data, and generates radar image data from the created first and second display screen data. According to FIG. 6, when position data and texture data in four directions are stored, the update rate of the display unit 40 is reached, and new radar image data is generated.

レーダ画像生成指示がない場合(ステップS52のNo)、GPU1411は、処理をステップS51に移行する。   When there is no radar image generation instruction (No in step S52), the GPU 1411 shifts the process to step S51.

続いて、GPU1411は、予め設定された周期に達したか否かを判断する(ステップS54)。予め設定された周期に達していない場合(ステップS54のNo)、GPU1411は、生成したレーダ画像データを表示部40へ出力する(ステップS55)。予め設定された周期に達した場合(ステップS54のYes)、GPU1411は、背景用テクスチャ更新処理を実行する。GPU1411は、テクスチャバッファ14122に記憶される背景用テクスチャデータを、レーダ画像生成部14111で新たに生成されたレーダ画像データにより更新し(ステップS56)、処理をステップS55へ移行する。   Subsequently, the GPU 1411 determines whether or not a preset period has been reached (step S54). If the preset period has not been reached (No in step S54), the GPU 1411 outputs the generated radar image data to the display unit 40 (step S55). When the preset period is reached (Yes in step S54), the GPU 1411 executes the background texture update process. The GPU 1411 updates the background texture data stored in the texture buffer 14122 with the radar image data newly generated by the radar image generation unit 14111 (step S56), and the process proceeds to step S55.

以上のように、上記実施形態では、表示部40に表示されるレーダ画像を背景用テクスチャデータとして記憶し、更新レートに達すると、新たに測定したデータの測定エリアについての第1の表示画面データと、背景用テクスチャデータに基づく第2の表示画面データとからレーダ画像データを生成するようにしている。これにより、頂点バッファ14121及びテクスチャバッファ14122には、既定位置データ及び背景用テクスチャデータと、背景用テクスチャデータの更新後から現時刻までの位置データ及びテクスチャデータとを記憶すれば良いこととなり、従来のように、全てのアジマス方向のデータを記憶しておく必要がなくなる。また、GPU1411は、背景用テクスチャデータに対する差分となる第1の表示画面データを作成すれば良いため、従来のように、頂点バッファ14121及びテクスチャバッファ14122に記憶されている全てのアジマス方向のデータに基づいてレーダ画像を生成する必要がなくなる。   As described above, in the above embodiment, the radar image displayed on the display unit 40 is stored as background texture data, and when the update rate is reached, the first display screen data for the measurement area of newly measured data Then, radar image data is generated from the second display screen data based on the background texture data. Thereby, the vertex buffer 14121 and the texture buffer 14122 only need to store the default position data and background texture data, and the position data and texture data from the update of the background texture data to the current time. Thus, it is not necessary to store all azimuth direction data. In addition, since the GPU 1411 only needs to create the first display screen data that is a difference from the background texture data, the GPU 1411 stores all the data in the azimuth direction stored in the vertex buffer 14121 and the texture buffer 14122 as in the past. There is no need to generate a radar image based on this.

したがって、本実施形態に係るレーダ画像生成装置によれば、オフスクリーンレンダリングを利用することで、描画頂点数を大幅に減少させることが可能であるため、レーダ画像を生成する際にGPUの負荷を抑えることができる。さらに、本実施形態に係るレーダ画像生成装置によれば、描画性能を大幅に向上させることができる。また、本実施形態によれば、オフスクリーンレンダリングを利用することで、描画頂点数を大幅に減少させることが可能であるため、レーダ画像を生成する際にGPUの負荷を抑えることが可能なレーダ画像生成方法を提供することができる。   Therefore, according to the radar image generation apparatus according to the present embodiment, the number of drawing vertices can be significantly reduced by using off-screen rendering, so the load on the GPU is reduced when generating a radar image. Can be suppressed. Furthermore, according to the radar image generating apparatus according to the present embodiment, the drawing performance can be greatly improved. Further, according to the present embodiment, since the number of drawing vertices can be significantly reduced by using off-screen rendering, a radar capable of suppressing the load on the GPU when generating a radar image. An image generation method can be provided.

また、上記実施形態では、背景用テクスチャデータを更新する際に、経過時間に応じて数値をレーダ画像データに掛け合わせるようにしている。これにより、経過時間に応じた分だけ強度が弱くなり、計時変化に対応させることが可能となる。   In the above embodiment, when the background texture data is updated, a numerical value is multiplied with the radar image data according to the elapsed time. Thereby, intensity | strength becomes weak by the part according to elapsed time, and it becomes possible to respond | correspond to a time-measurement change.

なお、上記実施形態では、表示中心が停止している場合を例に説明したが、これに限定される訳ではない。例えば、表示中心が移動する場合であっても実施可能である。   In the above embodiment, the case where the display center is stopped has been described as an example. However, the present invention is not limited to this. For example, the present invention can be implemented even when the display center moves.

表示中心が移動する場合、従来の方式では、予め設定された残光時間が経過するまで、移動中を含む全てのアジマス方向の位置データ、及び、これらの位置データに応じる全てのテクスチャデータをメモリに記憶しておかなければならなかった。また、更新レートに達する度に、メモリに記憶される全てのアジマス方向の位置データ、及び、これらの位置データに応じる全てのテクスチャデータに基づいてレーダ画像を生成する必要があった。   When the display center moves, the conventional method stores all position data in the azimuth direction including moving and all texture data corresponding to these position data until a predetermined afterglow time elapses. I had to remember it. Further, every time the update rate is reached, it is necessary to generate a radar image based on all the position data in the azimuth direction stored in the memory and all the texture data corresponding to these position data.

本実施形態に係るレーダ画像生成装置10によれば、頂点バッファ14121及びテクスチャバッファ14122に、既定位置データ及び背景用テクスチャデータと、背景用テクスチャデータの更新後から現時刻までの位置データ及びテクスチャデータとを記憶すれば良いため、従来と比較してメモリ1412の記憶容量を大幅に減らすことが可能となる。また、背景用テクスチャデータに対する差分となる第1の表示画面データを作成すれば良いため、従来と比較してGPU1411の処理を大幅に軽減することが可能となる。   According to the radar image generation device 10 according to the present embodiment, the position data and texture data from the update of the default position data and background texture data to the current time in the vertex buffer 14121 and the texture buffer 14122 until the current time are updated. Therefore, the storage capacity of the memory 1412 can be greatly reduced as compared with the conventional case. Further, since it is only necessary to create the first display screen data that is a difference with respect to the texture data for background, the processing of the GPU 1411 can be greatly reduced as compared with the conventional case.

図7は、表示中心が移動する際に、GPU1411が第1及び第2の表示画面データを作成し、作成した第1及び第2の表示画面データからレーダ画像データを生成する際の模式図を示す。   FIG. 7 is a schematic diagram when the GPU 1411 generates the first and second display screen data when the display center moves, and generates radar image data from the generated first and second display screen data. Show.

また、レーダ画像生成部14111は、第1の表示画面データを作成する際に、第1の表示画面データにより表示される領域と、第2の表示画面データにより表示される領域とが同一の領域を含むか否かを判断する。レーダ画像生成部14111は、同一の領域を含む場合、この共有領域内におけるテクスチャデータの強度と、背景用テクスチャデータの強度とを比較し、強度の大きい方を共有領域におけるテクスチャデータとする。レーダ画像生成部14111は、頂点バッファ14121に記憶される位置データと、共有領域におけるデータを更新したテクスチャデータとから第1の表示画面データを作成する。図8は、共有領域におけるデータを更新する場合のレーダ画像の模式図を示す。図8の網掛け部においては、テクスチャデータの強度と、背景用テクスチャデータの強度とが比較され、強度の大きい方が共有領域におけるテクスチャデータとなる。   In addition, when the radar image generation unit 14111 generates the first display screen data, the region displayed by the first display screen data is the same as the region displayed by the second display screen data. Whether or not is included. When the radar image generation unit 14111 includes the same area, the intensity of the texture data in the shared area is compared with the intensity of the background texture data, and the higher intensity is used as the texture data in the shared area. The radar image generation unit 14111 creates first display screen data from the position data stored in the vertex buffer 14121 and the texture data obtained by updating the data in the shared area. FIG. 8 is a schematic diagram of a radar image when data in the shared area is updated. In the shaded portion of FIG. 8, the strength of the texture data is compared with the strength of the background texture data, and the higher strength is the texture data in the shared area.

第1及び第2の表示画面データからレーダ画像データを生成する際、レーダ画像生成部14111は、第2の表示画面データと第1の表示画面データとを合わせる処理を行う。ここで、第1及び第2の表示画面データに共有領域が存在する場合、その領域においては、第2の表示画面データに第1の表示画面データが上書きされる。そのため、第2の表示画面データに残光による消え残りのデータがある場合であっても、第2の表示画面データよりも第1の表示画面データが表示されてしまう。本実施形態によれば、共有領域内におけるテクスチャデータの強度と、背景用テクスチャデータの強度とを比較し、強度の大きい方が共有領域におけるテクスチャデータとすることで、第2の表示画面データに残光による消え残りのデータがある場合であっても、正確なレーダ画像が生成されることとなる。   When generating radar image data from the first and second display screen data, the radar image generation unit 14111 performs a process of combining the second display screen data and the first display screen data. Here, when a shared area exists in the first and second display screen data, the first display screen data is overwritten on the second display screen data in the area. For this reason, even if the second display screen data includes data that remains due to afterglow, the first display screen data is displayed rather than the second display screen data. According to the present embodiment, the strength of the texture data in the shared region is compared with the strength of the texture data for background, and the larger one is used as the texture data in the shared region, so that the second display screen data An accurate radar image is generated even if there is data remaining due to afterglow.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.

10…レーダ画像生成装置、11…インタフェース部、12…CPU、121…位置データ生成処理部、122…テクスチャ変換処理部、123…レーダ画像生成指示部、13…メモリ、14…グラフィックボード、141…グラフィックチップ、1411…GPU、14111…レーダ画像生成部、14112…背景用テクスチャ更新部、1412…メモリ、14121…頂点バッファ、14122…テクスチャバッファ、1413…計時部、142…コネクタ、20…アンテナ、30…受信処理部、40…表示部   DESCRIPTION OF SYMBOLS 10 ... Radar image generation apparatus, 11 ... Interface part, 12 ... CPU, 121 ... Position data generation process part, 122 ... Texture conversion process part, 123 ... Radar image generation instruction part, 13 ... Memory, 14 ... Graphic board, 141 ... Graphic chip, 1411 ... GPU, 14111 ... Radar image generation unit, 14112 ... Background texture update unit, 1412 ... Memory, 14121 ... Vertex buffer, 14122 ... Texture buffer, 1413 ... Timekeeping unit, 142 ... Connector, 20 ... Antenna, 30 ... Reception processing unit, 40 ... Display unit

Claims (8)

表示部にレーダ画像を表示させるレーダ画像生成装置において、
予め設定された範囲毎のアジマス方向の目標情報を含むデジタル信号を受信するインタフェース部と、
前記受信されたデジタル信号について、前記予め設定された範囲のアジマス方向に応じた位置データを生成する位置データ生成処理部と、
前記受信されたデジタル信号に含まれる目標情報を、前記表示部の表示形式に応じたテクスチャデータに変換するテクスチャ変換処理部と、
前記位置データと、前記表示部のサイズに応じて設定される既定位置データとを記憶する頂点バッファと、
前記テクスチャデータと、前記表示部に表示されるレーダ画像に基づく背景用テクスチャデータとを記憶するテクスチャバッファと、
予め設定された第1の周期で、前記第1の周期の間に前記頂点バッファに記憶された位置データとこの位置データと対応するテクスチャデータとから第1の表示画面データを作成し、前記頂点バッファに記憶される既定位置データと前記テクスチャバッファに記憶される背景用テクスチャデータとから第2の表示画面データを作成し、前記第1及び第2の表示画面データからレーダ画像データを生成するレーダ画像生成部と、
前記レーダ画像データを前記表示部へ出力する出力部と、
予め設定された第2の周期で、前記生成されたレーダ画像データにより、前記テクスチャバッファに記憶される背景用テクスチャデータを更新する背景用テクスチャ更新部と
を具備することを特徴とするレーダ画像生成装置。
In a radar image generation device that displays a radar image on a display unit,
An interface unit for receiving a digital signal including target information in the azimuth direction for each preset range;
About the received digital signal, a position data generation processing unit that generates position data according to the azimuth direction of the preset range;
A texture conversion processing unit for converting target information included in the received digital signal into texture data corresponding to a display format of the display unit;
A vertex buffer for storing the position data and default position data set according to the size of the display unit;
A texture buffer for storing the texture data and texture data for background based on a radar image displayed on the display unit;
First display screen data is created from the position data stored in the vertex buffer during the first period and texture data corresponding to the position data in the first period set in advance, and the vertex Radar that generates second display screen data from predetermined position data stored in the buffer and background texture data stored in the texture buffer, and generates radar image data from the first and second display screen data An image generator;
An output unit for outputting the radar image data to the display unit;
A radar image generation, comprising: a background texture update unit configured to update background texture data stored in the texture buffer with the generated radar image data at a preset second period. apparatus.
前記レーダ画像生成部は、前記生成したレーダ画像データに、前記レーダ画像データを生成した時刻情報を付与し、
前記テクスチャバッファに記憶される背景用テクスチャデータは、この背景用テクスチャデータの元となったレーダ画像データの時刻情報を含み、
前記背景用テクスチャ更新部は、前記背景用テクスチャデータを更新する際に、前記背景用テクスチャデータが含む時刻情報と更新時刻とから経過時間を算出し、前記経過時間に応じて前記更新するレーダ画像データの強度を予め設定された分だけ弱くすることを特徴とする請求項1記載のレーダ画像生成装置。
The radar image generation unit gives time information at which the radar image data is generated to the generated radar image data,
The background texture data stored in the texture buffer includes time information of radar image data that is the basis of the background texture data,
When the background texture data is updated, the background texture update unit calculates an elapsed time from time information included in the background texture data and an update time, and updates the radar image according to the elapsed time. 2. The radar image generating apparatus according to claim 1, wherein the data intensity is weakened by a predetermined amount.
前記レーダ画像の表示中心位置は移動することを特徴とする請求項1又は2記載のレーダ画像生成装置。   The radar image generation apparatus according to claim 1, wherein a display center position of the radar image moves. 前記レーダ画像生成部は、前記第1及び第2の表示画面データが、同一の領域を含む場合、前記領域におけるテクスチャデータ及び背景用テクスチャデータの強度を比較し、強度の大きい一方のデータを前記領域におけるテクスチャデータとして前記第1の表示画面データを作成することを特徴とする請求項1乃至3のいずれかに記載のレーダ画像生成装置。   When the first and second display screen data include the same area, the radar image generation unit compares the intensity of the texture data and the background texture data in the area, 4. The radar image generation apparatus according to claim 1, wherein the first display screen data is created as texture data in a region. 表示部にレーダ画像を表示させるレーダ画像生成装置で用いられるレーダ画像生成方法において、
予め設定された範囲毎のアジマス方向の目標情報を含むデジタル信号を受信し、
前記受信されたデジタル信号について、前記予め設定された範囲のアジマス方向に応じた位置データを生成し、
前記位置データと、前記表示部のサイズに応じて設定される既定位置データとを記憶し、
前記受信されたデジタル信号に含まれる目標情報を、前記表示部の表示形式に応じたテクスチャデータに変換し、
前記テクスチャデータと、前記表示部に表示されるレーダ画像に基づく背景用テクスチャデータとを記憶し、
予め設定された第1の周期で、前記第1の周期の間に記憶した位置データとこの位置データと対応するテクスチャデータとから第1の表示画面データを作成し、
前記第1の周期で、前記既定位置データと前記背景用テクスチャデータとから第2の表示画面データを作成し、
前記作成した第1及び第2の表示画面データからレーダ画像データを生成し、
予め設定された第2の周期で、前記生成したレーダ画像データにより、前記背景用テクスチャデータを更新し、
前記生成したレーダ画像データを前記表示部へ出力することを特徴とするレーダ画像生成方法。
In a radar image generation method used in a radar image generation apparatus that displays a radar image on a display unit,
Receive a digital signal containing target information in the azimuth direction for each preset range,
For the received digital signal, generate position data according to the azimuth direction of the preset range,
Storing the position data and default position data set in accordance with the size of the display unit;
The target information included in the received digital signal is converted into texture data corresponding to the display format of the display unit,
Storing the texture data and texture data for background based on a radar image displayed on the display unit;
Creating the first display screen data from the position data stored during the first period and the texture data corresponding to the position data in the first period set in advance;
Creating second display screen data from the predetermined position data and the background texture data in the first period;
Radar image data is generated from the generated first and second display screen data,
Update the background texture data with the generated radar image data at a preset second period,
A radar image generation method, comprising: outputting the generated radar image data to the display unit.
前記生成したレーダ画像データに、前記レーダ画像データを生成した時刻情報を付与し、
前記背景用テクスチャデータは、この背景用テクスチャデータの元となったレーダ画像データの時刻情報を含み、
前記背景用テクスチャデータを更新する際に、前記背景用テクスチャデータが含む時刻情報と更新時刻とから経過時間を算出し、前記経過時間に応じて前記更新するレーダ画像データの強度を予め設定された分だけ弱くすることを特徴とする請求項5記載のレーダ画像生成方法。
The time information at which the radar image data was generated is given to the generated radar image data,
The background texture data includes time information of radar image data that is the basis of the background texture data,
When updating the background texture data, the elapsed time is calculated from the time information included in the background texture data and the update time, and the intensity of the radar image data to be updated is set in advance according to the elapsed time. 6. The radar image generation method according to claim 5, wherein the radar image is weakened by an amount corresponding to the amount.
前記レーダ画像の表示中心位置は移動することを特徴とする請求項5又は6記載のレーダ画像生成方法。   7. The radar image generation method according to claim 5, wherein a display center position of the radar image moves. 前記第1及び第2の表示画面データが、同一の領域を含む場合、前記領域におけるテクスチャデータ及び背景用テクスチャデータの強度を比較し、強度の大きい一方のデータを前記領域におけるテクスチャデータとして前記第1の表示画面データを作成することを特徴とする請求項5乃至7のいずれかに記載のレーダ画像生成方法。   When the first and second display screen data include the same region, the texture data and the background texture data in the region are compared in intensity, and one of the data having a higher strength is used as the texture data in the region. 8. The radar image generation method according to claim 5, wherein one display screen data is created.
JP2011209825A 2011-09-26 2011-09-26 Radar image generation apparatus and radar image generation method Expired - Fee Related JP5860648B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011209825A JP5860648B2 (en) 2011-09-26 2011-09-26 Radar image generation apparatus and radar image generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011209825A JP5860648B2 (en) 2011-09-26 2011-09-26 Radar image generation apparatus and radar image generation method

Publications (2)

Publication Number Publication Date
JP2013072661A true JP2013072661A (en) 2013-04-22
JP5860648B2 JP5860648B2 (en) 2016-02-16

Family

ID=48477297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011209825A Expired - Fee Related JP5860648B2 (en) 2011-09-26 2011-09-26 Radar image generation apparatus and radar image generation method

Country Status (1)

Country Link
JP (1) JP5860648B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103630891A (en) * 2013-12-03 2014-03-12 西安电子科技大学 Method for estimating incoming wave directions of targets in radar based on external illuminators by aid of GPU (graphics processing unit)
CN104360319A (en) * 2014-12-03 2015-02-18 中国电子科技集团公司第二十八研究所 CUDA platform-based radar B-display processing method
CN104459666A (en) * 2014-12-01 2015-03-25 西安电子科技大学 Missile-borne SAR echo simulation and imaging method based on LabVIEW
CN112153384A (en) * 2020-07-23 2020-12-29 西安万像电子科技有限公司 Image coding and decoding method and device
CN112153384B (en) * 2020-07-23 2024-05-17 西安万像电子科技有限公司 Image coding and decoding method and device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05113477A (en) * 1991-10-23 1993-05-07 Mitsubishi Electric Corp Scanning convertor
JPH06102346A (en) * 1992-06-18 1994-04-15 Sopelem Sofretec Remote visuarizing system for lowest output information of radar
JP2004020981A (en) * 2002-06-18 2004-01-22 Japan Radio Co Ltd Display device
JP2011123603A (en) * 2009-12-09 2011-06-23 Toshiba Denpa Products Kk Radar video display device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05113477A (en) * 1991-10-23 1993-05-07 Mitsubishi Electric Corp Scanning convertor
JPH06102346A (en) * 1992-06-18 1994-04-15 Sopelem Sofretec Remote visuarizing system for lowest output information of radar
US5357255A (en) * 1992-06-18 1994-10-18 Sopelem-Sofretec System for the remote display of output data of at least one radar
JP2004020981A (en) * 2002-06-18 2004-01-22 Japan Radio Co Ltd Display device
JP2011123603A (en) * 2009-12-09 2011-06-23 Toshiba Denpa Products Kk Radar video display device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103630891A (en) * 2013-12-03 2014-03-12 西安电子科技大学 Method for estimating incoming wave directions of targets in radar based on external illuminators by aid of GPU (graphics processing unit)
CN104459666A (en) * 2014-12-01 2015-03-25 西安电子科技大学 Missile-borne SAR echo simulation and imaging method based on LabVIEW
CN104360319A (en) * 2014-12-03 2015-02-18 中国电子科技集团公司第二十八研究所 CUDA platform-based radar B-display processing method
CN112153384A (en) * 2020-07-23 2020-12-29 西安万像电子科技有限公司 Image coding and decoding method and device
CN112153384B (en) * 2020-07-23 2024-05-17 西安万像电子科技有限公司 Image coding and decoding method and device

Also Published As

Publication number Publication date
JP5860648B2 (en) 2016-02-16

Similar Documents

Publication Publication Date Title
US10614549B2 (en) Varying effective resolution by screen location by changing active color sample count within multiple render targets
JP6476327B2 (en) Changes in effective resolution due to screen position by changing rasterization parameters
US9786091B2 (en) Gradient adjustment for texture mapping to non-orthonormal grid
JP4714939B2 (en) Pixel mixer
EP3129973B1 (en) Gradient adjustment for texture mapping for multiple render targets with resolution that varies by screen location
CN110942505B (en) Radar primary information rendering method, system, medium and equipment
JP2010250831A (en) Generating and resolving of pixel value within graphics processing pipeline
JP5860648B2 (en) Radar image generation apparatus and radar image generation method
JP4857376B2 (en) Radar video display device
US20210005008A1 (en) Gradient adjustment for texture mapping to non-orthonormal grid
EP3186786B1 (en) System and method for remote shadow rendering in a 3d virtual environment
US11302054B2 (en) Varying effective resolution by screen location by changing active color sample count within multiple render targets
CN112116522A (en) Radar data visualization framework based on modern programmable graphics pipeline
CN107908455B (en) Browser page switching method and system
GB2438041A (en) Wireless communication of images between a computing device and a remote display
JP2004361126A (en) Radar device and analogous device
KR100917887B1 (en) Graphic processing method and apparatus for supporting line acceleration function
JP4886622B2 (en) Scan converter, radar apparatus, and scan conversion method
JP4400866B2 (en) Pattern generator
JP3779823B2 (en) Radar equipment and similar equipment
JPH02245992A (en) Graphic shading device
JP2009175625A (en) Alpha value change controller, image generation apparatus using the same, and image display device
JP2012063462A (en) Lcd control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151221

R150 Certificate of patent or registration of utility model

Ref document number: 5860648

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees