JP2021067528A - Glass inspection device and glass inspection method - Google Patents

Glass inspection device and glass inspection method Download PDF

Info

Publication number
JP2021067528A
JP2021067528A JP2019192091A JP2019192091A JP2021067528A JP 2021067528 A JP2021067528 A JP 2021067528A JP 2019192091 A JP2019192091 A JP 2019192091A JP 2019192091 A JP2019192091 A JP 2019192091A JP 2021067528 A JP2021067528 A JP 2021067528A
Authority
JP
Japan
Prior art keywords
image
glass
optical path
ray
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019192091A
Other languages
Japanese (ja)
Other versions
JP7331618B2 (en
Inventor
実 安川
Minoru Yasukawa
実 安川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AGC Inc
Original Assignee
Asahi Glass Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Glass Co Ltd filed Critical Asahi Glass Co Ltd
Priority to JP2019192091A priority Critical patent/JP7331618B2/en
Publication of JP2021067528A publication Critical patent/JP2021067528A/en
Application granted granted Critical
Publication of JP7331618B2 publication Critical patent/JP7331618B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide a glass inspection device with which it is possible to inspect the quality of glass to which the image of a HUD unit is projected, without using a HUD unit.SOLUTION: The glass inspection device comprises: an image display 10; an imaging device 20 for imaging the virtual image generated as an image for inspection that is displayed on the image display is projected to a glass 50; and an image processing unit for processing the image data of the virtual image imaged by the imaging device. The image display is constituted so as to be movable at least to a first position and a second position differing in Z axis coordinate from the first position. The image processing unit includes an optical path specification unit for specifying the optical path of a beam that is the source of forming the respective points of the whole display area of the virtual image when located at the first position and at the second position, and a data calculation unit for calculating the data associated with the quality of the glass on the basis of the optical path specified by the optical path specification unit.SELECTED DRAWING: Figure 1

Description

本発明は、ガラスの検査装置、ガラスの検査方法に関する。 The present invention relates to a glass inspection device and a glass inspection method.

ヘッドアップディスプレイユニット(以下、HUDユニットとする)は、車両に搭載され、画像を凹面鏡で拡大して車両のガラスに投影し、画像の虚像を車両の内部から運転者に視認可能に表示させる装置である。運転者による虚像の視認性は、画像が投影されるガラスの品質に影響されるため、画像が投影されるガラスの品質を検査することは重要である。 A head-up display unit (hereinafter referred to as a HUD unit) is a device mounted on a vehicle that magnifies an image with a concave mirror and projects it onto the glass of the vehicle so that a virtual image of the image is visually displayed to the driver from inside the vehicle. Is. It is important to inspect the quality of the glass on which the image is projected, as the visibility of the virtual image by the driver is affected by the quality of the glass on which the image is projected.

HUDユニットでは凹面鏡を介して画像を投影するため、画像が投影されるガラスの品質を検査する際は、凹面鏡を含むHUDユニットを用いて検査する方法が一般的である(例えば、特許文献1参照)。 Since the HUD unit projects an image through a concave mirror, when inspecting the quality of the glass on which the image is projected, a method of inspecting using a HUD unit including a concave mirror is common (see, for example, Patent Document 1). ).

特開2015−75381号公報JP-A-2015-75381

しかしながら、HUDユニットは車種ごとに異なり、HUDユニットの生産準備中には入手が困難である。又、ガラスの検査の際にHUDユニットの凹面鏡を動かす場合があるが、凹面鏡を動かすための制御回路や制御プログラムが必要となり、準備に時間を要する。又、ガラスの検査の際にHUDユニットの凹面鏡を動かすと、HUDユニットの耐久性も問題となる。このように、ガラスの検査にHUDユニットを使用することは様々な問題を含んでいる。 However, the HUD unit differs depending on the vehicle model, and it is difficult to obtain the HUD unit during the preparation for production. Further, when inspecting the glass, the concave mirror of the HUD unit may be moved, but a control circuit and a control program for moving the concave mirror are required, and preparation is required. Further, if the concave mirror of the HUD unit is moved during the inspection of the glass, the durability of the HUD unit also becomes a problem. Thus, the use of HUD units for glass inspection involves various problems.

本発明は、上記の点に鑑みてなされたものであり、HUDユニットを用いずに、HUDユニットの画像が投影されるガラスの品質の検査が可能なガラスの検査装置を提供することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to provide a glass inspection apparatus capable of inspecting the quality of glass on which an image of the HUD unit is projected without using the HUD unit. To do.

本ガラスの検査装置は、ヘッドアップディスプレイユニットと組み合わせて用いられるガラスの検査装置であって、画像表示器と、前記画像表示器に表示された検査用画像が前記ガラスに投影されて生成された虚像を撮像する撮像器と、前記撮像器が撮像した前記虚像の画像データを処理する画像処理部と、を有し、重力方向をZ方向とし、前記Z方向と交差する平面内で互いに交差するX方向及びY方向を規定したときに、前記画像表示器は少なくとも第1位置及び前記第1位置とはZ方向の座標が異なる第2位置に移動可能に構成され、前記画像処理部は、前記画像表示器が前記第1位置にあるときに、前記虚像の任意の点を形成するための元となる光線が出射される前記検査用画像の点の第1XY座標を求める第1XY座標算出部と、前記画像表示器が前記第2位置にあるときに、前記虚像の任意の点を形成するための元となる光線が出射される前記検査用画像の点の第2XY座標を求める第2XY座標算出部と、前記虚像の同一の点を形成する際の元となる光線が出射される前記第1XY座標と前記第2XY座標を特定することで、前記虚像の表示領域全体の各点を形成するための元となる光線の光路を特定する光路特定部と、前記光路特定部が特定した前記光路に基づいて、前記ガラスの品質に関連するデータを算出するデータ算出部と、を有する。 The glass inspection device is a glass inspection device used in combination with a head-up display unit, and is generated by projecting an image display and an inspection image displayed on the image display onto the glass. It has an imager that captures a virtual image and an image processing unit that processes the image data of the virtual image captured by the imager, and the direction of gravity is the Z direction, and they intersect each other in a plane that intersects the Z direction. When the X direction and the Y direction are defined, the image display is configured to be movable to at least a first position and a second position whose coordinates in the Z direction are different from those of the first position, and the image processing unit is described. With the first XY coordinate calculation unit that obtains the first XY coordinates of the points of the inspection image from which the light rays that are the source for forming an arbitrary point of the virtual image are emitted when the image display is in the first position. Second XY coordinate calculation for obtaining the second XY coordinates of the points of the inspection image from which the light rays that are the source for forming an arbitrary point of the virtual image are emitted when the image display is in the second position. To form each point of the entire display area of the virtual image by specifying the first XY coordinates and the second XY coordinates from which the light beam that is the source of forming the same point of the virtual image is emitted. It has an optical path specifying unit that specifies the optical path of the light beam that is the source of the image, and a data calculating unit that calculates data related to the quality of the glass based on the optical path specified by the optical path specifying unit.

開示の一実施態様によれば、HUDユニットを用いずに、HUDユニットの画像が投影されるガラスの品質の検査が可能なガラスの検査装置を提供できる。 According to one embodiment of the disclosure, it is possible to provide a glass inspection apparatus capable of inspecting the quality of the glass on which the image of the HUD unit is projected without using the HUD unit.

本実施形態に係る検査装置の一例を示す模式図である。It is a schematic diagram which shows an example of the inspection apparatus which concerns on this embodiment. 本実施形態に係る検査装置の制御部のハードウェアブロック図の一例である。It is an example of the hardware block diagram of the control part of the inspection apparatus which concerns on this embodiment. 本実施形態に係る検査装置の制御部の機能ブロック図の一例である。This is an example of a functional block diagram of the control unit of the inspection device according to the present embodiment. 本実施形態に係る検査装置を用いた検査方法を示すフローチャートの一例である。This is an example of a flowchart showing an inspection method using the inspection device according to the present embodiment. 図4のステップS103の詳細を示すフローチャートの一例である。This is an example of a flowchart showing the details of step S103 of FIG. 図5のステップS201からS206までの処理を模式的に示す図である。It is a figure which shows typically the process from step S201 to S206 of FIG. 第1位置においてX座標線画像の表示位置をX方向に移動させる様子を模式的に示す図である。It is a figure which shows typically the mode that the display position of the X coordinate line image is moved in the X direction at the 1st position. 図5のステップS213からS216までの処理を模式的に示す図である。It is a figure which shows typically the process from step S213 to S216 of FIG. 第1位置においてY座標線画像の表示位置をY方向に移動させる様子を模式的に示す図である。It is a figure which shows typically the mode that the display position of the Y coordinate line image is moved in the Y direction at the 1st position. 図4のステップS104の詳細を示すフローチャートの一例である。This is an example of a flowchart showing the details of step S104 of FIG. 図10のステップS301からS306までの処理を模式的に示す図である。It is a figure which shows typically the process from step S301 to S306 of FIG. 第2位置においてX座標線画像の表示位置をX方向に移動させる様子を模式的に示す図である。It is a figure which shows typically the mode that the display position of the X coordinate line image is moved in the X direction at the 2nd position. 図10のステップS313からS316までの処理を模式的に示す図である。It is a figure which shows typically the process from step S313 to S316 of FIG. 第2位置においてY座標線画像の表示位置をY方向に移動させる様子を模式的に示す図である。It is a figure which shows typically the mode that the display position of the Y coordinate line image is moved in the Y direction at the 2nd position. 図4のステップS105の詳細を示すフローチャートの一例である。This is an example of a flowchart showing the details of step S105 in FIG. X座標線画像及びY座標線画像の虚像のデータの一例である。It is an example of the virtual image data of the X coordinate line image and the Y coordinate line image. X座標線画像及びY座標線画像の主像のデータの一例である。It is an example of the data of the main image of the X coordinate line image and the Y coordinate line image. 主像を画素ごとにラベリングして座標を特定する例を示す図である。It is a figure which shows the example which specifies the coordinates by labeling the main image for each pixel. 第1位置の主像投影行列の一例を示す図である。It is a figure which shows an example of the main image projection matrix of a 1st position. X座標線画像の移動と虚像の移動を模式的に示す図(その1)である。It is a figure (the 1) which shows typically the movement of the X coordinate line image and the movement of a virtual image. X座標線画像の移動と虚像の移動を模式的に示す図(その2)である。It is a figure (the 2) which shows typically the movement of the X coordinate line image and the movement of a virtual image. X座標線画像の移動と虚像の移動を模式的に示す図(その3)である。It is a figure (the 3) which shows typically the movement of the X coordinate line image and the movement of a virtual image. X座標線画像の移動と虚像の移動を模式的に示す図(その4)である。It is a figure (the 4) which shows typically the movement of the X coordinate line image and the movement of a virtual image. Y座標線画像の移動と虚像の移動を模式的に示す図(その1)である。It is a figure (the 1) which shows typically the movement of the Y coordinate line image and the movement of a virtual image. Y座標線画像の移動と虚像の移動を模式的に示す図(その2)である。It is a figure (No. 2) which shows typically the movement of the Y coordinate line image and the movement of a virtual image. Y座標線画像の移動と虚像の移動を模式的に示す図(その3)である。It is a figure (the 3) which shows typically the movement of the Y coordinate line image and the movement of a virtual image. Y座標線画像の移動と虚像の移動を模式的に示す図(その4)である。It is a figure (4) which shows typically the movement of the Y coordinate line image and the movement of a virtual image. 第1位置及び第2位置の主像投影行列の一例を示す図である。It is a figure which shows an example of the main image projection matrix of a 1st position and a 2nd position. 第2位置におけるXY座標の特定について説明する図である。It is a figure explaining the identification of the XY coordinates in the 2nd position. 主像光線の特定について説明する図である。It is a figure explaining the identification of the main image ray. HUDユニットの凹面鏡及び光源の位置の特定について説明する図である。It is a figure explaining the identification of the position of the concave mirror and the light source of the HUD unit. 光源の任意の出射位置に対する虚像表示領域内の主像の表示位置の特定について説明する図である。It is a figure explaining the identification of the display position of the main image in the virtual image display area with respect to the arbitrary emission position of a light source. 図4のステップS106の詳細を示すフローチャートの一例である。This is an example of a flowchart showing the details of step S106 of FIG. 本実施形態に係る検査装置を用いたガラスのパラメータの検査方法を示すフローチャートの一例である。This is an example of a flowchart showing a method of inspecting glass parameters using the inspection apparatus according to the present embodiment. 本実施形態に係る検査装置を用いたガラスのパラメータの検査方法について説明する図である。It is a figure explaining the inspection method of the parameter of a glass using the inspection apparatus which concerns on this embodiment.

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。 Hereinafter, modes for carrying out the invention will be described with reference to the drawings. In each drawing, the same components may be designated by the same reference numerals and duplicate description may be omitted.

[検査装置の概要]
図1は、本実施形態に係る検査装置の一例を示す模式図である。図1を参照すると、検査装置1は、HUDユニットを用いずに、HUDユニットと組み合わせて用いられるガラスの検査が可能な検査装置であり、画像表示器10と、撮像器20と、制御部30と、検査結果出力部40とを有する。検査装置1は、HUDユニットと組み合わせて用いられるガラスの品質に関連するデータを算出可能である。
[Overview of inspection equipment]
FIG. 1 is a schematic view showing an example of an inspection device according to the present embodiment. Referring to FIG. 1, the inspection device 1 is an inspection device capable of inspecting glass used in combination with the HUD unit without using the HUD unit, and is an image display 10, an imager 20, and a control unit 30. And an inspection result output unit 40. The inspection device 1 can calculate data related to the quality of the glass used in combination with the HUD unit.

ここで、ガラスの品質に関連するデータとは、例えば、HUDユニットからの光がガラスで反射されて生成される虚像における主像歪みや二重像歪み(主像と二重像との距離)、ガラスの厚さや面形状や楔角等である。 Here, the data related to the quality of the glass is, for example, the main image distortion or the double image distortion (distance between the main image and the double image) in the virtual image generated by reflecting the light from the HUD unit by the glass. , Glass thickness, surface shape, wedge angle, etc.

以降の説明では、検査対象物であるガラスの一例として車両用のウィンドシールド(WS50)を例示するが、検査対象物であるガラスは車両のウィンドシールドには限定されない。 In the following description, a vehicle windshield (WS50) will be illustrated as an example of the glass to be inspected, but the glass to be inspected is not limited to the windshield of the vehicle.

図1において、WS50は、車両に取り付けた場合と同様の角度で取り付けられている。又、図1において、60は、画像表示器10が表示する検査用画像がWS50で反射され、撮像器20で撮像される虚像を示している。つまり、60は、撮像器20の位置に車両の運転者が搭乗していたとしたら視認できる虚像である。以下、検査装置1について、詳しく説明する。 In FIG. 1, the WS50 is mounted at the same angle as when mounted on a vehicle. Further, in FIG. 1, reference numeral 60 denotes a virtual image in which the inspection image displayed by the image display 10 is reflected by the WS50 and captured by the imager 20. That is, 60 is a virtual image that can be visually recognized if the driver of the vehicle is on board at the position of the imager 20. Hereinafter, the inspection device 1 will be described in detail.

画像表示器10は、制御部30の制御により検査用画像を生成して表示する。画像表示器10に表示された検査用画像は、ミラー等の光学素子を介さずにWS50に直接投影され、虚像60が生成される。画像表示器10としては、例えば、液晶表示装置等が用いられる。 The image display 10 generates and displays an inspection image under the control of the control unit 30. The inspection image displayed on the image display 10 is directly projected onto the WS 50 without an optical element such as a mirror, and a virtual image 60 is generated. As the image display 10, for example, a liquid crystal display device or the like is used.

重力方向(WS50を車両に取り付けたときの垂直方向)をZ方向とし、Z方向と交差する平面内で互いに交差するX方向及びY方向を規定したときに、画像表示器10は、制御部30に制御されて、Z方向の座標が異なる少なくとも2つの位置(例えば、後述の第1位置及び第2位置)に移動可能に構成されている。 When the gravitational direction (vertical direction when the WS50 is attached to the vehicle) is the Z direction and the X and Y directions intersecting each other in the plane intersecting the Z direction are defined, the image display 10 is controlled by the control unit 30. It is configured to be movable to at least two positions (for example, a first position and a second position described later) having different coordinates in the Z direction.

以降の説明では、画像表示器10はZ方向に移動可能であるとし、Z方向と直交する平面内で互いに直交するX方向及びY方向を規定し、X方向はWS50を車両に取り付けたときの車両の前後方向、Y方向はWS50を車両に取り付けたときの車両の左右方向とする。但し、これには限定されず、例えば、画像表示器10はZ方向に対して斜めの方向に移動させてもよい。又、X方向とY方向とは互いに直交していなくてもよい。 In the following description, it is assumed that the image display 10 can move in the Z direction, the X and Y directions orthogonal to each other in the plane orthogonal to the Z direction are defined, and the X direction is when the WS50 is attached to the vehicle. The front-rear direction and the Y direction of the vehicle are the left-right directions of the vehicle when the WS50 is attached to the vehicle. However, the present invention is not limited to this, and for example, the image display 10 may be moved in an oblique direction with respect to the Z direction. Further, the X direction and the Y direction do not have to be orthogonal to each other.

撮像器20は、画像表示器10に表示された検査用画像がWS50に投影されて生成された虚像60を撮像する。撮像器20は、虚像60を撮像可能とするため、撮像方向が水平面内及び垂直面内で任意の角度に調整可能に構成されている。又、撮像器20は、X方向、Y方向、及びZ方向に移動可能に構成されている。撮像器20は、例えば、制御部30に制御されて所定方向に移動する。なお、撮像方向は、実使用時における車両の運転者の視線方向と対応する。撮像器20としては、例えば、CCD(Charge-Coupled Device)カメラやCMOS(Complementary Metal-Oxide-Semiconductor)カメラ等を用いることができる。 The imager 20 captures a virtual image 60 generated by projecting an inspection image displayed on the image display 10 onto the WS50. The imager 20 is configured so that the imaging direction can be adjusted to an arbitrary angle in the horizontal plane and the vertical plane in order to enable the virtual image 60 to be imaged. Further, the imager 20 is configured to be movable in the X direction, the Y direction, and the Z direction. The imager 20 is controlled by, for example, the control unit 30 and moves in a predetermined direction. The imaging direction corresponds to the line-of-sight direction of the driver of the vehicle during actual use. As the imager 20, for example, a CCD (Charge-Coupled Device) camera, a CMOS (Complementary Metal-Oxide-Semiconductor) camera, or the like can be used.

制御部30は、画像表示器10、撮像器20、検査結果出力部40等を制御する部である。制御部30については、後述する。 The control unit 30 is a unit that controls the image display 10, the imager 20, the inspection result output unit 40, and the like. The control unit 30 will be described later.

検査結果出力部40は、検査装置1の検査結果を出力する部である。検査結果出力部40として、例えば、液晶表示装置や有機EL表示装置等を用い、検査結果を画像や数値として視認可能に表示してもよい。或いは、検査結果出力部40は、検査結果をデータとして外部に出力する構成としてもよいし、検査結果を音として外部に出力する構成としてもよいし、その他の構成としてもよい。 The inspection result output unit 40 is a unit that outputs the inspection result of the inspection device 1. As the inspection result output unit 40, for example, a liquid crystal display device, an organic EL display device, or the like may be used to visually display the inspection result as an image or a numerical value. Alternatively, the inspection result output unit 40 may be configured to output the inspection result as data to the outside, may be configured to output the inspection result to the outside as sound, or may have another configuration.

図2は、本実施形態に係る検査装置の制御部のハードウェアブロック図の一例である。図2に示すように、制御部30は、主要な構成要素として、CPU31と、ROM32と、RAM33と、I/F34と、バスライン35とを有している。CPU31、ROM32、RAM33、及びI/F34は、バスライン35を介して相互に接続されている。制御部30は、必要に応じ、他のハードウェアブロックを有しても構わない。 FIG. 2 is an example of a hardware block diagram of the control unit of the inspection device according to the present embodiment. As shown in FIG. 2, the control unit 30 has a CPU 31, a ROM 32, a RAM 33, an I / F 34, and a bus line 35 as main components. The CPU 31, ROM 32, RAM 33, and I / F 34 are connected to each other via a bus line 35. The control unit 30 may have other hardware blocks, if necessary.

CPU31は、制御部30の各機能を制御する。記憶部であるROM32は、CPU31が制御部30の各機能を制御するために実行するプログラムや、各種情報を記憶している。記憶部であるRAM33は、CPU31のワークエリア等として使用される。又、RAM33は、所定の情報を一時的に記憶できる。I/F34は、他の機器等と接続するためのインターフェイスであり、例えば、外部ネットワーク等と接続される。 The CPU 31 controls each function of the control unit 30. The ROM 32, which is a storage unit, stores a program executed by the CPU 31 to control each function of the control unit 30 and various information. The RAM 33, which is a storage unit, is used as a work area or the like of the CPU 31. Further, the RAM 33 can temporarily store predetermined information. The I / F 34 is an interface for connecting to another device or the like, and is connected to, for example, an external network or the like.

制御部30は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、所定の機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、又はGPU(Graphics Processing Unit)であってもよい。又、制御部30は、回路モジュール等であってもよい。 The control unit 30 includes a processor programmed to execute each function by software such as a processor implemented by an electronic circuit, an ASIC (Application Specific Integrated Circuit) designed to execute a predetermined function, and a DSP (digital). It may be a signal processor), an FPGA (field programmable gate array), an SOC (System on a chip), or a GPU (Graphics Processing Unit). Further, the control unit 30 may be a circuit module or the like.

図3は、本実施形態に係る検査装置の制御部の機能ブロック図の一例である。図3に示すように、制御部30は、主要な機能ブロックとして、表示器位置決め部310と、表示器制御部320と、撮像器制御部330と、画像処理部340とを有している。画像処理部340は、撮像器20が撮像した虚像の画像データを処理する部であり、第1XY座標算出部341と、第2XY座標算出部342と、光路特定部343と、データ算出部344とを有している。制御部30は、必要に応じ、他の機能ブロックを有しても構わない。又、画像処理部340は、必要に応じ、他の機能ブロックを有しても構わない。制御部30の各機能ブロックの機能については、後述のフローチャートの説明の中で述べる。 FIG. 3 is an example of a functional block diagram of the control unit of the inspection device according to the present embodiment. As shown in FIG. 3, the control unit 30 includes a display positioning unit 310, a display control unit 320, an imager control unit 330, and an image processing unit 340 as main functional blocks. The image processing unit 340 is a unit that processes image data of a virtual image captured by the imager 20, and includes a first XY coordinate calculation unit 341, a second XY coordinate calculation unit 342, an optical path identification unit 343, and a data calculation unit 344. have. The control unit 30 may have other functional blocks, if necessary. Further, the image processing unit 340 may have other functional blocks as needed. The functions of each functional block of the control unit 30 will be described in the description of the flowchart described later.

[検査装置を用いた検査方法]
図4は、本実施形態に係る検査装置を用いた検査方法を示すフローチャートの一例である。まず、ステップS101では、WS50をセッティングする。実使用時のWS50とHUDユニットとの位置関係は車種ごとに設定されているので、ここでは、WS50と画像表示器10との位置関係が実使用時の設定に対応するように、WS50を所定位置にセッティングする。WS50は、例えば、ベルトコンベアーに搭載されて運ばれ、ロボットを用いて所定位置にセッティングできるが、これには限定されない。
[Inspection method using inspection equipment]
FIG. 4 is an example of a flowchart showing an inspection method using the inspection device according to the present embodiment. First, in step S101, WS50 is set. Since the positional relationship between the WS50 and the HUD unit during actual use is set for each vehicle type, here, the WS50 is specified so that the positional relationship between the WS50 and the image display 10 corresponds to the setting during actual use. Set to the position. The WS50 can be carried, for example, mounted on a belt conveyor and set in a predetermined position using a robot, but the WS50 is not limited to this.

次に、ステップS102では、撮像器制御部330は、画像表示器10が表示した検査用画像の虚像60を撮像可能な所定位置に撮像器20を位置決めする。撮像器20は、例えば、車両の運転者の標準的なアイポイントの位置に来るように位置決めされる。 Next, in step S102, the imager control unit 330 positions the imager 20 at a predetermined position where the virtual image 60 of the inspection image displayed by the image display 10 can be imaged. The imager 20 is positioned, for example, to come to the position of the standard eye point of the driver of the vehicle.

次に、ステップS103では、画像表示器10を第1位置(Near)にして検査を開始する。図4のステップS103の詳細を図5のフローチャートに示す。 Next, in step S103, the image display 10 is set to the first position (Near) and the inspection is started. The details of step S103 of FIG. 4 are shown in the flowchart of FIG.

まず、図5のステップS201で、表示器位置決め部310は、画像表示器10の位置を第1位置(Near)に位置決めする。次に、ステップS202で、撮像器制御部330は、撮像器20の焦点を決定する。つまり、撮像器制御部330は、撮像器20の焦点を、第1位置に表示される検査用画像の虚像60が撮像できる最適な位置に調整する。 First, in step S201 of FIG. 5, the display positioning unit 310 positions the position of the image display 10 to the first position (Near). Next, in step S202, the imager control unit 330 determines the focus of the imager 20. That is, the imager control unit 330 adjusts the focus of the imager 20 to an optimum position where the virtual image 60 of the inspection image displayed at the first position can be imaged.

次に、ステップS203で、表示器制御部320は、検査用画像としてX座標線画像を生成する。X座標線画像とは、例えば、Y方向に平行な複数の直線が所定間隔で並置された画像である。X座標線画像に含まれる各線のX座標は既知である。 Next, in step S203, the display control unit 320 generates an X coordinate line image as an inspection image. The X coordinate line image is, for example, an image in which a plurality of straight lines parallel to the Y direction are juxtaposed at predetermined intervals. X coordinate line The X coordinate of each line included in the image is known.

次に、ステップS204で、表示器制御部320は、画像表示器10の所定位置にX座標線画像を表示する。次に、ステップS205で、撮像器制御部330は、X座標線画像の虚像60を撮像器20で撮像する。次に、ステップS206で、撮像器制御部330は、ステップS205で撮像したX座標線画像の虚像を記憶する。X座標線画像の虚像は、例えば、記憶部であるRAM33に記憶される。 Next, in step S204, the display control unit 320 displays the X coordinate line image at a predetermined position of the image display 10. Next, in step S205, the imager control unit 330 images the virtual image 60 of the X coordinate line image with the imager 20. Next, in step S206, the imager control unit 330 stores a virtual image of the X coordinate line image captured in step S205. The virtual image of the X coordinate line image is stored in, for example, the RAM 33, which is a storage unit.

図6は、図5のステップS201からS206までの処理を模式的に示す図である。図6では、画像表示器10はZ方向においてWS50に近い第1位置(Near)に位置決めされており、画像表示器10はX座標線画像10xを表示している。X座標線画像10xは、WS50で反射され、虚像表示領域600にX座標線画像10xの虚像60xが生成されている。 FIG. 6 is a diagram schematically showing the processes of steps S201 to S206 of FIG. In FIG. 6, the image display 10 is positioned at the first position (Near) close to the WS50 in the Z direction, and the image display 10 displays the X coordinate line image 10x. The X coordinate line image 10x is reflected by WS50, and a virtual image 60x of the X coordinate line image 10x is generated in the virtual image display area 600.

虚像60xは、実線で示す主像と、破線で示す二重像とを含んでいる。但し、二重像は、便宜上破線で示しているが、実際には主像と同様に連続した1本の線であり、主像よりも低輝度で表示される。虚像60xは撮像器20で撮像され、RAM33等に記憶される。 The virtual image 60x includes a main image shown by a solid line and a double image shown by a broken line. However, although the double image is shown by a broken line for convenience, it is actually one continuous line like the main image, and is displayed with lower brightness than the main image. The virtual image 60x is imaged by the imager 20 and stored in the RAM 33 or the like.

ここでは、X座標線画像10xは、Y方向に平行な5本の線を所定間隔で配置した線画像としているが、これには限定されない。X座標線画像10xは、HUDユニットが虚像を表示する領域全体をカバーできる長さとし、所定間隔は主像と二重像との分離を妨げない範囲で狭い方が好ましい。 Here, the X coordinate line image 10x is a line image in which five lines parallel to the Y direction are arranged at predetermined intervals, but the present invention is not limited to this. The X coordinate line image 10x is preferably long enough to cover the entire area where the HUD unit displays a virtual image, and the predetermined interval is narrow as long as it does not interfere with the separation of the main image and the double image.

図5の説明に戻り、次に、ステップS207で、撮像器制御部330は、予め決められた全ての位置でX座標線画像10xの撮像が終了したか否かを判定する。図5のステップS204からS206までの処理は、X座標線画像10xの表示位置をX方向に移動させて、X方向の離散的な複数箇所において実行される。ステップS207では、ステップS204からS206までの処理が予め設定されたX方向の全ての箇所において実行されたか否かが判定される。 Returning to the description of FIG. 5, next, in step S207, the imager control unit 330 determines whether or not the imaging of the X coordinate line image 10x is completed at all the predetermined positions. The processes from steps S204 to S206 in FIG. 5 are executed at a plurality of discrete locations in the X direction by moving the display position of the X coordinate line image 10x in the X direction. In step S207, it is determined whether or not the processes from steps S204 to S206 have been executed at all preset locations in the X direction.

ステップS207で全ての位置で撮像が終了していないと判定された場合(NOの場合)には、ステップS208に移行し、表示器制御部320は、X座標線画像10xを表示する所定位置をX方向にずらす。その後、ステップS204に移行し、同様の処理を繰り返す。 If it is determined in step S207 that the imaging has not been completed at all the positions (NO), the process proceeds to step S208, and the display control unit 320 sets a predetermined position for displaying the X coordinate line image 10x. Shift in the X direction. After that, the process proceeds to step S204, and the same process is repeated.

図7は、第1位置においてX座標線画像の表示位置をX方向に移動させる様子を模式的に示す図である。実際には、X方向の数10か所の位置にX座標線画像10xを表示させて検査を行う。X座標線画像10xの表示位置が移動すると、それに伴って虚像60xにおける主像及び二重像の位置も移動する。全ての位置のX座標線画像10xの虚像60xが撮像器20で撮像され、RAM33等に記憶される。なお、図7において、画像表示器10の位置は移動しない。 FIG. 7 is a diagram schematically showing how the display position of the X coordinate line image is moved in the X direction at the first position. Actually, the X coordinate line image 10x is displayed at several tens of positions in the X direction for inspection. When the display position of the X coordinate line image 10x moves, the positions of the main image and the double image in the virtual image 60x also move accordingly. A virtual image 60x of the X coordinate line image 10x at all positions is imaged by the imager 20, and stored in the RAM 33 or the like. In FIG. 7, the position of the image display 10 does not move.

図5の説明に戻り、ステップS207で全ての位置で撮像が終了したと判定された場合(YESの場合)には、ステップS213に移行する。ステップS213からS218では、X座標線画像10xをY座標線画像10yに代えて、ステップS203からS208と同様の処理を実行する。これにより、図5に示すフローチャートの処理は、全て終了する。なお、Y座標線画像とは、例えば、X方向に平行な複数の直線が所定間隔で並置された画像である。Y座標線画像に含まれる各線のY座標は既知である。 Returning to the description of FIG. 5, when it is determined in step S207 that the imaging is completed at all the positions (YES), the process proceeds to step S213. In steps S213 to S218, the X coordinate line image 10x is replaced with the Y coordinate line image 10y, and the same processing as in steps S203 to S208 is executed. As a result, all the processing of the flowchart shown in FIG. 5 is completed. The Y coordinate line image is, for example, an image in which a plurality of straight lines parallel to the X direction are juxtaposed at predetermined intervals. Y coordinate line The Y coordinate of each line included in the image is known.

図8は、図5のステップS213からS216までの処理を模式的に示す図である。図8では、画像表示器10はZ方向においてWS50に近い第1位置(Near)に位置決めされており、画像表示器10はY座標線画像10yを表示している。Y座標線画像10yは、WS50で反射され、虚像表示領域600にY座標線画像10yの虚像60yが生成されている。 FIG. 8 is a diagram schematically showing the processes from steps S213 to S216 of FIG. In FIG. 8, the image display 10 is positioned at the first position (Near) close to the WS50 in the Z direction, and the image display 10 displays the Y coordinate line image 10y. The Y coordinate line image 10y is reflected by the WS50, and a virtual image 60y of the Y coordinate line image 10y is generated in the virtual image display area 600.

虚像60yは、実線で示す主像と、破線で示す二重像とを含んでいる。但し、二重像は、便宜上破線で示しているが、実際には主像と同様に連続した1本の線であり、主像よりも低輝度で表示される。虚像60yは撮像器20で撮像され、RAM33等に記憶される。 The virtual image 60y includes a main image shown by a solid line and a double image shown by a broken line. However, although the double image is shown by a broken line for convenience, it is actually one continuous line like the main image, and is displayed with lower brightness than the main image. The virtual image 60y is imaged by the imager 20 and stored in the RAM 33 or the like.

ここでは、Y座標線画像10yは、X方向に平行な5本の線を所定間隔で配置した線画像としているが、これには限定されない。Y座標線画像10yは、HUDユニットが虚像を表示する領域全体をカバーできる長さとし、所定間隔は主像と二重像との分離を妨げない範囲で狭い方がでが好ましい。 Here, the Y coordinate line image 10y is a line image in which five lines parallel to the X direction are arranged at predetermined intervals, but the present invention is not limited to this. The Y coordinate line image 10y has a length that can cover the entire area where the HUD unit displays a virtual image, and it is preferable that the predetermined interval is narrow as long as the separation between the main image and the double image is not hindered.

図5の説明に戻り、次に、ステップS217で、撮像器制御部330は、予め決められた全ての位置でY座標線画像10yの撮像が終了したか否かを判定する。図5のステップS214からS216までの処理は、Y座標線画像10yの表示位置をY方向に移動させて、Y方向の離散的な複数箇所において実行される。ステップS217では、ステップS214からS216までの処理が予め設定されたY方向の全ての箇所において実行されたか否かが判定される。 Returning to the description of FIG. 5, next, in step S217, the imager control unit 330 determines whether or not the imaging of the Y coordinate line image 10y is completed at all the predetermined positions. The processes from steps S214 to S216 in FIG. 5 are executed at a plurality of discrete locations in the Y direction by moving the display position of the Y coordinate line image 10y in the Y direction. In step S217, it is determined whether or not the processes from steps S214 to S216 have been executed at all preset locations in the Y direction.

ステップS217で全ての位置で撮像が終了していないと判定された場合(NOの場合)には、ステップS218に移行し、表示器制御部320は、Y座標線画像10yを表示する所定位置をY方向にずらす。その後、ステップS214に移行し、同様の処理を繰り返す。 If it is determined in step S217 that the imaging has not been completed at all the positions (NO), the process proceeds to step S218, and the display control unit 320 sets a predetermined position for displaying the Y coordinate line image 10y. Shift in the Y direction. After that, the process proceeds to step S214, and the same process is repeated.

図9は、第1位置においてY座標線画像の表示位置をY方向に移動させる様子を模式的に示す図である。実際には、Y方向の数10か所の位置にY座標線画像10yを表示させて検査を行う。Y座標線画像10yの表示位置が移動すると、それに伴って虚像60yにおける主像及び二重像の位置も移動する。全ての位置のY座標線画像10yの虚像60yが撮像器20で撮像され、RAM33等に記憶される。なお、図9において、画像表示器10の位置は移動しない。 FIG. 9 is a diagram schematically showing how the display position of the Y coordinate line image is moved in the Y direction at the first position. Actually, the Y coordinate line image 10y is displayed at several tens of positions in the Y direction for inspection. When the display position of the Y coordinate line image 10y moves, the positions of the main image and the double image in the virtual image 60y also move accordingly. The virtual image 60y of the Y coordinate line image 10y at all positions is imaged by the imager 20, and stored in the RAM 33 or the like. In FIG. 9, the position of the image display 10 does not move.

図5の説明に戻り、ステップS217で全ての位置で撮像が終了したと判定された場合(YESの場合)には、図5に示すフローチャートの処理は、全て終了する。 Returning to the description of FIG. 5, when it is determined in step S217 that the imaging is completed at all the positions (YES), all the processing of the flowchart shown in FIG. 5 is completed.

図4の説明に戻り、次に、ステップS104では、画像表示器10を第2位置(Far)にして検査を開始する。図4のステップS104の詳細を図10のフローチャートに示す。図10に示すステップS301〜S318の処理は、画像表示器10をZ方向において第1位置(Near)よりもWS50から遠い第2位置(Far)に位置決めした以外は、図5に示すステップS201〜S218の処理と同様である。 Returning to the description of FIG. 4, next, in step S104, the image display 10 is set to the second position (Far) and the inspection is started. The details of step S104 of FIG. 4 are shown in the flowchart of FIG. The processing of steps S301 to S318 shown in FIG. 10 is performed in steps S201 to S201 shown in FIG. 5, except that the image display 10 is positioned in the second position (Far) farther from the WS50 than the first position (Near) in the Z direction. This is the same as the process of S218.

図11は、図10のステップS301からS306までの処理を模式的に示す図である。図11では、画像表示器10はZ方向においてWS50から遠い第2位置(Far)に位置決めされており、画像表示器10はX座標線画像10xを表示している。X座標線画像10xは、WS50で反射され、虚像表示領域600にX座標線画像10xの虚像60xが生成されている。 FIG. 11 is a diagram schematically showing the processes of steps S301 to S306 of FIG. In FIG. 11, the image display 10 is positioned at a second position (Far) far from the WS50 in the Z direction, and the image display 10 displays the X coordinate line image 10x. The X coordinate line image 10x is reflected by WS50, and a virtual image 60x of the X coordinate line image 10x is generated in the virtual image display area 600.

虚像60xは、実線で示す主像と、破線で示す二重像とを含んでいる。但し、二重像は、便宜上破線で示しているが、実際には主像と同様に連続した1本の線であり、主像よりも低輝度で表示される。虚像60xは撮像器20で撮像され、RAM33等に記憶される。 The virtual image 60x includes a main image shown by a solid line and a double image shown by a broken line. However, although the double image is shown by a broken line for convenience, it is actually one continuous line like the main image, and is displayed with lower brightness than the main image. The virtual image 60x is imaged by the imager 20 and stored in the RAM 33 or the like.

図12は、第2位置においてX座標線画像の表示位置をX方向に移動させる様子を模式的に示す図である。実際には、X方向の数10か所の位置にX座標線画像10xを表示させて検査を行う。X座標線画像10xの表示位置が移動すると、それに伴って虚像60xにおける主像及び二重像の位置も移動する。全ての位置のX座標線画像10xの虚像60xが撮像器20で撮像され、RAM33等に記憶される。なお、図12において、画像表示器10の位置は移動しない。 FIG. 12 is a diagram schematically showing how the display position of the X coordinate line image is moved in the X direction at the second position. Actually, the X coordinate line image 10x is displayed at several tens of positions in the X direction for inspection. When the display position of the X coordinate line image 10x moves, the positions of the main image and the double image in the virtual image 60x also move accordingly. A virtual image 60x of the X coordinate line image 10x at all positions is imaged by the imager 20, and stored in the RAM 33 or the like. In FIG. 12, the position of the image display 10 does not move.

図13は、図10のステップS313からS316までの処理を模式的に示す図である。図13では、画像表示器10はZ方向においてWS50から遠い第2位置(Far)に位置決めされており、画像表示器10はY座標線画像10yを表示している。Y座標線画像10yは、WS50で反射され、虚像表示領域600にY座標線画像10yの虚像60yが生成されている。 FIG. 13 is a diagram schematically showing the processes from steps S313 to S316 in FIG. In FIG. 13, the image display 10 is positioned at a second position (Far) far from the WS50 in the Z direction, and the image display 10 displays the Y coordinate line image 10y. The Y coordinate line image 10y is reflected by the WS50, and a virtual image 60y of the Y coordinate line image 10y is generated in the virtual image display area 600.

虚像60yは、実線で示す主像と、破線で示す二重像とを含んでいる。但し、二重像は、便宜上破線で示しているが、実際には主像と同様に連続した1本の線であり、主像よりも低輝度で表示される。虚像60yは撮像器20で撮像され、RAM33等に記憶される。 The virtual image 60y includes a main image shown by a solid line and a double image shown by a broken line. However, although the double image is shown by a broken line for convenience, it is actually one continuous line like the main image, and is displayed with lower brightness than the main image. The virtual image 60y is imaged by the imager 20 and stored in the RAM 33 or the like.

図14は、第2位置においてY座標線画像の表示位置をY方向に移動させる様子を模式的に示す図である。実際には、Y方向の数10か所の位置にY座標線画像10yを表示させて検査を行う。Y座標線画像10yの表示位置が移動すると、それに伴って虚像60yにおける主像及び二重像の位置も移動する。全ての位置のY座標線画像10yの虚像60yが撮像器20で撮像され、RAM33等に記憶される。なお、図14において、画像表示器10の位置は移動しない。 FIG. 14 is a diagram schematically showing how the display position of the Y coordinate line image is moved in the Y direction at the second position. Actually, the Y coordinate line image 10y is displayed at several tens of positions in the Y direction for inspection. When the display position of the Y coordinate line image 10y moves, the positions of the main image and the double image in the virtual image 60y also move accordingly. The virtual image 60y of the Y coordinate line image 10y at all positions is imaged by the imager 20, and stored in the RAM 33 or the like. In FIG. 14, the position of the image display 10 does not move.

図4の説明に戻り、次に、ステップS105では、主像光源位置を算出する。図4のステップS105の詳細を図15のフローチャートに示す。 Returning to the description of FIG. 4, next, in step S105, the position of the main image light source is calculated. The details of step S105 of FIG. 4 are shown in the flowchart of FIG.

まず、図15のステップS401で、画像処理部340の第1XY座標算出部341は、第1位置(Near)の撮像データを読み出す。具体的には、第1XY座標算出部341は、図5のステップS206で記憶した全てのX座標線画像10xの虚像60xのデータ、及びステップS216で記憶した全てのY座標線画像10yの虚像60yのデータを読み出す。例えば、図16(a)に示す画像60x(1)〜60x(n)、及び図16(b)に示す画像60y(1)〜60y(m)がデータとして読み出せる。なお、図16(a)及び図16(b)の1つの正方形は撮像器20の1つの画素を示している。 First, in step S401 of FIG. 15, the first XY coordinate calculation unit 341 of the image processing unit 340 reads out the imaging data of the first position (Near). Specifically, the first XY coordinate calculation unit 341 includes data of all the virtual images 60x of the X coordinate line images 10x stored in step S206 of FIG. 5, and virtual images 60y of all the Y coordinate line images 10y stored in step S216. Read the data of. For example, the images 60x (1) to 60x (n) shown in FIG. 16A and the images 60y (1) to 60y (m) shown in FIG. 16B can be read as data. Note that one square in FIGS. 16A and 16B indicates one pixel of the imager 20.

図16(a)に示す画像60x(1)は、最初に撮像されたX座標線画像10xの虚像60x(白が主像、灰色が二重像)のデータである。又、画像60x(2)は、位置をずらして2回目に撮像されたX座標線画像10xの虚像60xのデータである。又、画像60x(n)は、位置をずらしてn回目に撮像されたX座標線画像10xの虚像60xのデータである。この場合は、位置をずらしてn枚のX座標線画像10xの虚像60xを撮像した例である。 The image 60x (1) shown in FIG. 16A is data of a virtual image 60x (white is the main image and gray is the double image) of the X coordinate line image 10x first captured. Further, the image 60x (2) is the data of the virtual image 60x of the X coordinate line image 10x imaged for the second time by shifting the position. Further, the image 60x (n) is the data of the virtual image 60x of the X coordinate line image 10x captured at the nth time by shifting the position. In this case, it is an example in which the virtual image 60x of n X coordinate line images 10x is imaged by shifting the position.

同様に、図16(b)に示す画像60y(1)は、最初に撮像されたY座標線画像10yの虚像60y(白が主像、灰色が二重像)のデータである。又、画像60y(2)は、位置をずらして2回目に撮像されたY座標線画像10yの虚像のデータである。又、画像60y(m)は、位置をずらしてm回目に撮像されたY座標線画像10yの虚像のデータである。この場合、位置をずらしてm枚のY座標線画像10yの虚像60yを撮像した例である。 Similarly, the image 60y (1) shown in FIG. 16B is the data of the virtual image 60y (white is the main image and gray is the double image) of the Y coordinate line image 10y first captured. Further, the image 60y (2) is data of a virtual image of the Y coordinate line image 10y captured a second time by shifting the position. Further, the image 60y (m) is data of a virtual image of the Y coordinate line image 10y captured at the mth time by shifting the position. In this case, it is an example in which the virtual image 60y of m Y coordinate line images 10y is imaged by shifting the position.

次に、ステップS402で、第1XY座標算出部341は、ステップS401で読み出した画像60x(1)〜60x(n)及び画像60y(1)〜60y(m)から主像のみを取り出す。例えば、図16(a)及び図16(b)の各画像から、図17(a)に示す画像60x(1)〜60x(n)の主像、及び図17(a)に示す画像60y(1)〜60y(m)の主像が抽出される。なお、主像と二重像とは輝度が大きく異なるため、主像と二重像とは容易に区別できる。 Next, in step S402, the first XY coordinate calculation unit 341 extracts only the main image from the images 60x (1) to 60x (n) and the images 60y (1) to 60y (m) read in step S401. For example, from the images of FIGS. 16 (a) and 16 (b), the main images of the images 60x (1) to 60x (n) shown in FIG. 17 (a) and the image 60y (shown in FIG. 17 (a)). 1) The main image of 60y (m) is extracted. Since the brightness of the main image and the double image are significantly different, the main image and the double image can be easily distinguished from each other.

次に、ステップS403で、第1XY座標算出部341は、ステップS402で抽出した画像60x(1)〜60x(n)の主像及び画像60y(1)〜60y(m)の主像を画素ごとにラベリングして座標を特定する。例えば、図18(a)及び図18(b)に示すようにラべリングして座標を特定する。 Next, in step S403, the first XY coordinate calculation unit 341 plots the main images of the images 60x (1) to 60x (n) extracted in step S402 and the main images of the images 60y (1) to 60y (m) pixel by pixel. Label to specify the coordinates. For example, the coordinates are specified by labeling as shown in FIGS. 18 (a) and 18 (b).

次に、ステップS404で、第1XY座標算出部341は、ステップS403で特定した座標に基づいて、第1位置の主像投影行列を作成する。例えば、図19に示すように第1位置の主像投影行列が作成される。なお、図19では、3つの座標のみを例示しているが、全ての画素に対して座標が特定される。 Next, in step S404, the first XY coordinate calculation unit 341 creates a main image projection matrix at the first position based on the coordinates specified in step S403. For example, as shown in FIG. 19, the main image projection matrix at the first position is created. Although only three coordinates are illustrated in FIG. 19, the coordinates are specified for all the pixels.

ここで、第1XY座標算出部341が、読み出した撮像データから座標を特定する方法について、更に詳しく説明する。 Here, a method in which the first XY coordinate calculation unit 341 specifies the coordinates from the read imaging data will be described in more detail.

まず、第1XY座標算出部341は座標を特定すべき画素(G1とする)を選択する。次に、第1XY座標算出部341は、X座標線画像10xの虚像60xを撮像した全ての画像から主像のみを取り出した画像を生成し(例えば、図17(a)の各画像)、生成した画像の中から画素G1と主像とが重なる画像を選択する。これについて、図20〜図23を参照して説明する。 First, the first XY coordinate calculation unit 341 selects a pixel (referred to as G1) whose coordinates should be specified. Next, the first XY coordinate calculation unit 341 generates an image in which only the main image is extracted from all the images obtained by capturing the virtual image 60x of the X coordinate line image 10x (for example, each image in FIG. 17A) and generates the image. An image in which the pixel G1 and the main image overlap is selected from the images. This will be described with reference to FIGS. 20 to 23.

図20〜図23は、X座標線画像の移動と虚像の移動を模式的に示す図であり、X座標線画像10xを移動させたときに虚像60xが移動する様子を模式的に示している。ここでは、理解を容易にするために、第1XY座標算出部341が読み出した画像の代わりに虚像60xを用いて説明する。図20〜図23では主像及び虚像を示しているが、実際には第1XY座標算出部341は主像のみを取り出した画像を用いる。なお、図20〜図23において、便宜上、画素G1に対応する虚像表示領域600内の位置に×印を付け、P1と表示している(つまり、×印は、表示された虚像ではない)。 20 to 23 are diagrams schematically showing the movement of the X coordinate line image and the movement of the virtual image, and schematically show how the virtual image 60x moves when the X coordinate line image 10x is moved. .. Here, in order to facilitate understanding, a virtual image 60x will be used instead of the image read by the first XY coordinate calculation unit 341. Although the main image and the virtual image are shown in FIGS. 20 to 23, the first XY coordinate calculation unit 341 actually uses an image obtained by extracting only the main image. In FIGS. 20 to 23, for convenience, a cross is marked at a position in the virtual image display area 600 corresponding to the pixel G1 and displayed as P1 (that is, the x mark is not the displayed virtual image).

図20では、虚像60xに含まれる主像は位置P1と重なっていない。図21は、図20の位置に対してX座標線画像10xの表示位置をX−方向に所定距離だけ移動させたときの虚像60xを示している。図21では、虚像60xに含まれる主像は位置P1と重なっていない。 In FIG. 20, the main image included in the virtual image 60x does not overlap with the position P1. FIG. 21 shows a virtual image 60x when the display position of the X coordinate line image 10x is moved by a predetermined distance in the X− direction with respect to the position of FIG. In FIG. 21, the main image included in the virtual image 60x does not overlap with the position P1.

図22は、図21の位置に対してX座標線画像10xの表示位置をX−方向に所定距離だけ移動させたときの虚像60xを示している。図22では、虚像60xに含まれる主像は位置P1と重なっていない。 FIG. 22 shows a virtual image 60x when the display position of the X coordinate line image 10x is moved by a predetermined distance in the X− direction with respect to the position of FIG. In FIG. 22, the main image included in the virtual image 60x does not overlap with the position P1.

図23は、図22の位置に対してX座標線画像10xの表示位置をX−方向に所定距離だけ移動させたときの虚像60xを示している。図23では、虚像60xに含まれる主像は位置P1と重なっている。 FIG. 23 shows a virtual image 60x when the display position of the X coordinate line image 10x is moved by a predetermined distance in the X− direction with respect to the position of FIG. In FIG. 23, the main image included in the virtual image 60x overlaps the position P1.

以上の結果から、図23に示すX1の線が位置P1を通る主像として表示されていることがわかる。つまり、X1のX座標をXa(既知)とすると、Xaを通る光線がWS50に反射されて位置P1に主像を生成していることがわかる。 From the above results, it can be seen that the line X1 shown in FIG. 23 is displayed as the main image passing through the position P1. That is, assuming that the X coordinate of X1 is Xa (known), it can be seen that the light ray passing through Xa is reflected by the WS50 and a main image is generated at the position P1.

次に、第1XY座標算出部341は、Y座標線画像10yの虚像60yを撮像した全ての画像から主像のみを取り出した画像を生成し(例えば、図17(b)の各画像)、生成した画像の中から画素G1と主像とが重なる画像を選択する。これについて、図24〜図27を参照して説明する。 Next, the first XY coordinate calculation unit 341 generates an image in which only the main image is extracted from all the images obtained by capturing the virtual image 60y of the Y coordinate line image 10y (for example, each image in FIG. 17B) and generates the image. An image in which the pixel G1 and the main image overlap is selected from the images. This will be described with reference to FIGS. 24 to 27.

図24〜図27は、Y座標線画像の移動と虚像の移動を模式的に示す図であり、Y座標線画像10yを移動させたときに虚像60yが移動する様子を模式的に示している。ここでは、理解を容易にするために、第1XY座標算出部341が読み出した画像の代わりに虚像60yを用いて説明する。図24〜図27では主像及び虚像を示しているが、実際には第1XY座標算出部341は主像のみを取り出した画像を用いる。なお、図24〜図27において、便宜上、画素G1に対応する虚像表示領域600内の位置に×印を付け、P1と表示している(つまり、×印は、表示された虚像ではない)。又、便宜上、図23で特定された線X1を画像表示器10上に図示している。 24 to 27 are diagrams schematically showing the movement of the Y coordinate line image and the movement of the virtual image, and schematically show how the virtual image 60y moves when the Y coordinate line image 10y is moved. .. Here, in order to facilitate understanding, a virtual image 60y will be used instead of the image read by the first XY coordinate calculation unit 341. Although the main image and the virtual image are shown in FIGS. 24 to 27, the first XY coordinate calculation unit 341 actually uses an image obtained by extracting only the main image. In FIGS. 24 to 27, for convenience, a cross is marked at a position in the virtual image display area 600 corresponding to the pixel G1 and displayed as P1 (that is, the x mark is not the displayed virtual image). Further, for convenience, the line X1 specified in FIG. 23 is shown on the image display 10.

図24では、虚像60yに含まれる主像は位置P1と重なっていない。図25は、図24の位置に対してY座標線画像10yの表示位置をY+方向に所定距離だけ移動させたときの虚像60yを示している。図21では、虚像60yに含まれる主像は位置P1と重なっていない。 In FIG. 24, the main image included in the virtual image 60y does not overlap with the position P1. FIG. 25 shows a virtual image 60y when the display position of the Y coordinate line image 10y is moved in the Y + direction by a predetermined distance with respect to the position of FIG. 24. In FIG. 21, the main image included in the virtual image 60y does not overlap with the position P1.

図26は、図25の位置に対してY座標線画像10yの表示位置をY+方向に所定距離だけ移動させたときの虚像60yを示している。図26では、虚像60yに含まれる主像は位置P1と重なっていない。 FIG. 26 shows a virtual image 60y when the display position of the Y coordinate line image 10y is moved in the Y + direction by a predetermined distance with respect to the position of FIG. 25. In FIG. 26, the main image included in the virtual image 60y does not overlap with the position P1.

図27は、図26の位置に対してY座標線画像10yの表示位置をY+方向に所定距離だけ移動させたときの虚像60yを示している。図27では、虚像60yに含まれる主像は位置P1と重なっている。 FIG. 27 shows a virtual image 60y when the display position of the Y coordinate line image 10y is moved in the Y + direction by a predetermined distance with respect to the position of FIG. 26. In FIG. 27, the main image included in the virtual image 60y overlaps the position P1.

以上の結果から、図27に示すY1の線が位置P1を通る主像として表示されていることがわかる。つまり、Y1のY座標をYa(既知)とすると、Yaを通る光線がWS50に反射されて位置P1に主像を生成していることがわかる。 From the above results, it can be seen that the line Y1 shown in FIG. 27 is displayed as the main image passing through the position P1. That is, assuming that the Y coordinate of Y1 is Ya (known), it can be seen that the light ray passing through Ya is reflected by the WS50 and a main image is generated at the position P1.

図23において既にX座標がXaに特定されていることを合わせて考えると、XY座標が(Xa、Ya)である位置Pn1を通る光線が、WS50に反射されて位置P1に主像を生成していることがわかる。 Considering that the X coordinate has already been specified to Xa in FIG. 23, a light ray passing through the position Pn1 whose XY coordinate is (Xa, Ya) is reflected by the WS50 to generate a main image at the position P1. You can see that.

つまり、画素G1に対応する第1位置のXY座標(第1XY座標と称する場合がある)は(Xa、Ya)となる。そこで、図28(a)に示すように、第1位置の主像投影行列の画素G1の位置に(Xa、Ya)を格納する。以上の処理を撮像器20の全ての画素について行うことで、図28(a)の全ての画素の位置のXY座標が特定され、第1位置の主像投影行列が完成する。第1位置の主像投影行列は、各画素に主像を形成するためには、光線が第1位置のどのXY座標を通るかを示すものである。 That is, the XY coordinates (sometimes referred to as the first XY coordinates) of the first position corresponding to the pixel G1 are (Xa, Ya). Therefore, as shown in FIG. 28A, (Xa, Ya) is stored at the position of the pixel G1 of the main image projection matrix at the first position. By performing the above processing for all the pixels of the imager 20, the XY coordinates of the positions of all the pixels in FIG. 28A are specified, and the main image projection matrix of the first position is completed. The main image projection matrix at the first position indicates which XY coordinates of the first position the light beam passes through in order to form a main image at each pixel.

図15の説明に戻り、次に、ステップS405〜S408の処理を実行する。ステップS405〜S408の処理は、画像処理部340の第2XY座標算出部342が第2位置(Far)の撮像データを読み出す以外は、ステップS401〜S404の処理と同様である。結果として、第2位置の主像投影行列が作成される。 Returning to the description of FIG. 15, next, the processes of steps S405 to S408 are executed. The processing of steps S405 to S408 is the same as the processing of steps S401 to S404 except that the second XY coordinate calculation unit 342 of the image processing unit 340 reads out the imaged data at the second position (Far). As a result, the main image projection matrix at the second position is created.

第1位置の場合と同様にして、X座標線画像10xを移動させたときの虚像60xの画像のデータから、図29に示すX2の線が位置P1を通る主像として表示されていることがわかったとする。つまり、X2のX座標をXb(既知)とすると、Xbを通る光線がWS50に反射されて位置P1に主像を生成していることがわかったとする。 Similar to the case of the first position, from the data of the virtual image 60x when the X coordinate line image 10x is moved, the line X2 shown in FIG. 29 is displayed as the main image passing through the position P1. Suppose you understand. That is, assuming that the X coordinate of X2 is Xb (known), it is found that the light ray passing through Xb is reflected by WS50 and a main image is generated at the position P1.

又、Y座標線画像10yを移動させたときの虚像60yの画像のデータから、図29に示すY2の線が位置P1を通る主像として表示されていることがわかったとする。つまり、Y2のY座標をYb(既知)とすると、Ybを通る光線がWS50に反射されて位置P1に主像を生成していることがわかったとする。 Further, it is assumed that the line of Y2 shown in FIG. 29 is displayed as the main image passing through the position P1 from the data of the virtual image 60y when the Y coordinate line image 10y is moved. That is, assuming that the Y coordinate of Y2 is Yb (known), it is found that the light ray passing through Yb is reflected by WS50 and a main image is generated at the position P1.

既にX座標がXbに特定されていることを合わせて考えると、XY座標が(Xb、Yb)である位置Pf1を通る光線が、WS50に反射されて位置P1に主像を生成していることがわかる。 Considering that the X coordinate has already been specified to Xb, the light ray passing through the position Pf1 whose XY coordinate is (Xb, Yb) is reflected by the WS50 to generate the main image at the position P1. I understand.

つまり、画素G1に対応する第2位置のXY座標(第2XY座標と称する場合がある)は(Xb、Yb)となる。そこで、図28(b)に示すように、第2位置の主像投影行列の画素G1の位置に(Xb、Yb)を格納する。以上の処理を撮像器20の全ての画素について行うことで、図28(b)の全ての画素の位置のXY座標が特定され、第2位置の主像投影行列が完成する。第2位置の主像投影行列は、各画素に主像を形成するためには、光線が第2位置のどのXY座標を通るかを示すものである。 That is, the XY coordinates (sometimes referred to as the second XY coordinates) of the second position corresponding to the pixel G1 are (Xb, Yb). Therefore, as shown in FIG. 28B, (Xb, Yb) is stored at the position of the pixel G1 of the main image projection matrix at the second position. By performing the above processing for all the pixels of the imager 20, the XY coordinates of the positions of all the pixels in FIG. 28B are specified, and the main image projection matrix of the second position is completed. The main image projection matrix at the second position indicates which XY coordinates of the second position the light beam passes through in order to form a main image at each pixel.

ステップS401〜S404で得られた結果と、ステップS405〜S408で得られた結果とを合わせて考えると、図30に示すように、位置Pn1及びPf1を通る光線R1が、WS50に反射されて虚像表示領域600内の位置P1に主像を生成していることになる。なお、主像を生成する元となる光線を主像光線と称する場合がある。又、二重像を生成する元となる光線を二重像光線と称する場合がある。 Considering the results obtained in steps S401 to S404 and the results obtained in steps S405 to S408 together, as shown in FIG. 30, the light ray R1 passing through the positions Pn1 and Pf1 is reflected by the WS50 and becomes a virtual image. It means that the main image is generated at the position P1 in the display area 600. The light ray that is the source of the main image may be referred to as the main image light ray. Further, a ray that is a source of generating a double image may be referred to as a double image ray.

このようにして、虚像表示領域600内の任意の位置に表示される主像が、第1位置(Near)及び第2位置(Far)のどの位置を通過した光線により形成されたものであるかを特定できる。言い換えれば、第1位置の主像投影行列と第2位置の主像投影行列により、虚像表示領域600内の任意の位置に表示される主像が、第1位置(Near)及び第2位置(Far)のどの位置を通過した光線により形成されたものであるかを知ることができる。 In this way, which position of the first position (Near) and the second position (Far) the main image displayed at an arbitrary position in the virtual image display area 600 is formed by the light rays. Can be identified. In other words, the main image displayed at an arbitrary position in the virtual image display area 600 by the main image projection matrix at the first position and the main image projection matrix at the second position is the first position (Near) and the second position (Near). It is possible to know which position of Far) the light beam has passed through.

図15の説明に戻り、次に、ステップS409で、画像処理部340の光路特定部343は、主像光源位置行列を作成する。まず、光路特定部343は、記憶部であるRAM33等に予め記憶されているHUDユニットの光学系のCADデータを読み出し、読み出したCADデータに基づいてHUDユニットの凹面鏡及び光源の位置を特定する。なお、HUDユニットの光源とは、虚像の元になる画像が表示される液晶表示装置等である。 Returning to the description of FIG. 15, next, in step S409, the optical path specifying unit 343 of the image processing unit 340 creates a main image light source position matrix. First, the optical path specifying unit 343 reads out the CAD data of the optical system of the HUD unit stored in advance in the RAM 33 or the like, which is a storage unit, and identifies the positions of the concave mirror and the light source of the HUD unit based on the read CAD data. The light source of the HUD unit is a liquid crystal display device or the like that displays an image that is the source of a virtual image.

次に、光路特定部343は、特定した凹面鏡及び光源の位置と主像光線の光路とに基づいて、主像光線の光路に光を出射する光源の出射位置を特定する。具体的には、光路特定部343は、図30で求めた光線R1と凹面鏡との交点を求める。例えば、図31に示すように、WS50の位置に対するHUDユニットの凹面鏡70及び光源80の位置が特定され、光線R1と凹面鏡70との交点I1が求められる。 Next, the optical path specifying unit 343 specifies the emission position of the light source that emits light into the optical path of the main image ray based on the positions of the specified concave mirror and the light source and the optical path of the main image ray. Specifically, the optical path specifying unit 343 obtains the intersection of the light ray R1 obtained in FIG. 30 and the concave mirror. For example, as shown in FIG. 31, the positions of the concave mirror 70 and the light source 80 of the HUD unit with respect to the position of WS50 are specified, and the intersection I1 between the light ray R1 and the concave mirror 70 is obtained.

次に、光路特定部343は、凹面鏡70の交点I1の位置で反射する光線R2を求める。HUDユニットの光学系のCADデータから凹面鏡70の反射面の3次元形状や反射面の向き等が特定されているため、光線R2を求めることができる。 Next, the optical path specifying unit 343 obtains a light ray R2 reflected at the position of the intersection I1 of the concave mirror 70. Since the three-dimensional shape of the reflecting surface of the concave mirror 70, the direction of the reflecting surface, and the like are specified from the CAD data of the optical system of the HUD unit, the light ray R2 can be obtained.

次に、光路特定部343は、光線R2と光源80との交点I2を求める。HUDユニットのCADデータから光源80の位置が特定されているため、交点I2を求めることができる。つまり、第1位置の主像投影行列、第2位置の主像投影行列、及びHUDユニットの光学系のCADデータに基づいて、虚像60yの位置P1に主像を表示する場合の光源80の出射位置である交点I2を求めることができる。光路特定部343は、求めた交点I2の座標を、図31に示すように主像光源位置行列の画素G1の位置に格納する。 Next, the optical path specifying unit 343 obtains the intersection I2 between the light ray R2 and the light source 80. Since the position of the light source 80 is specified from the CAD data of the HUD unit, the intersection I2 can be obtained. That is, the light source 80 is emitted when the main image is displayed at the position P1 of the virtual image 60y based on the main image projection matrix at the first position, the main image projection matrix at the second position, and the CAD data of the optical system of the HUD unit. The intersection I2, which is the position, can be obtained. The optical path specifying unit 343 stores the obtained coordinates of the intersection I2 at the position of the pixel G1 in the main image light source position matrix as shown in FIG.

以上の処理を撮像器20の全ての画素について行うことで、全ての画素について光源80の出射位置のXY座標が特定され、主像光源位置行列が完成する。主像光源位置行列は、各画素に主像を形成するためには、光源80のどの位置から光線が出射されるかを示すものである。 By performing the above processing for all the pixels of the imager 20, the XY coordinates of the emission position of the light source 80 are specified for all the pixels, and the main image light source position matrix is completed. The main image light source position matrix indicates from which position of the light source 80 the light beam is emitted in order to form the main image in each pixel.

主像光源位置行列により、例えば、図32に模式的に示すように、光源80の任意の出射位置に対する虚像表示領域600内の主像の表示位置を特定できる。なお、実際の光源80の出射位置は図示の数よりも遥かに多い。以上で、ステップS409の説明は終了である。 From the main image light source position matrix, for example, as schematically shown in FIG. 32, the display position of the main image in the virtual image display area 600 with respect to an arbitrary emission position of the light source 80 can be specified. The actual emission position of the light source 80 is much larger than the number shown in the figure. This is the end of the description of step S409.

図4の説明に戻り、次に、ステップS106では、光路特定部343は二重像光源位置を算出する。図4のステップS106の詳細を図33のフローチャートに示す。 Returning to the description of FIG. 4, next, in step S106, the optical path specifying unit 343 calculates the position of the double image light source. The details of step S106 of FIG. 4 are shown in the flowchart of FIG. 33.

図33に示すステップS501〜S509の処理は、光路特定部343が主像に代えて二重像を扱う以外は、図15に示すステップS401〜S409の処理と同様である。つまり、光路特定部343は、CADデータに基づいて特定したHUDユニットの凹面鏡及び光源の位置と二重像光線の光路とに基づいて、二重像光線の光路に光線を出射する光源の出射位置を特定する。結果として、図31と同様の二重像光源位置行列が作成される。二重像光源位置行列により、光源80の任意の出射位置に対する二重像の表示位置を特定できる。 The processing of steps S501 to S509 shown in FIG. 33 is the same as the processing of steps S401 to S409 shown in FIG. 15, except that the optical path specifying unit 343 handles a double image instead of the main image. That is, the optical path specifying unit 343 is the emission position of the light source that emits a light ray into the optical path of the double image ray based on the position of the concave mirror and the light source of the HUD unit specified based on the CAD data and the optical path of the double image ray. To identify. As a result, a double image light source position matrix similar to that in FIG. 31 is created. The double image light source position matrix can specify the display position of the double image with respect to an arbitrary emission position of the light source 80.

次に、ステップS107では、画像処理部340のデータ算出部344は主像歪みを算出する。まず、画像処理部340は、記憶部であるRAM33等に予め記憶されているウィンドシールドのCADデータ(以降、ウィンドシールド(CAD)とする)を読み出す。そして、ウィンドシールド(CAD)を用いた場合に、光源80(図32等参照)の各出射位置から出射した光線により虚像表示領域600のどの位置に主像が形成されるかを算出する。 Next, in step S107, the data calculation unit 344 of the image processing unit 340 calculates the main image distortion. First, the image processing unit 340 reads out the CAD data of the windshield (hereinafter referred to as the windshield (CAD)) stored in advance in the RAM 33 or the like which is a storage unit. Then, when the windshield (CAD) is used, it is calculated at which position in the virtual image display region 600 the main image is formed by the light rays emitted from the respective emission positions of the light source 80 (see FIG. 32 and the like).

次に、データ算出部344は、光源80の同じ出射位置から出射した主像光線が記憶部から読み出したウィンドシールド(CAD)を用いた場合に形成する主像の位置と、測定対象となるWS50を用いた場合に形成する主像の位置とを比較し、両者の差分に基づいて主像歪みを算出する。データ算出部344は、光源80の全ての出射位置について、上記の差分に基づいて主像歪みを算出する。 Next, the data calculation unit 344 determines the position of the main image formed when the main image ray emitted from the same emission position of the light source 80 uses the windshield (CAD) read from the storage unit, and the WS50 to be measured. Is compared with the position of the main image formed when is used, and the main image distortion is calculated based on the difference between the two. The data calculation unit 344 calculates the main image distortion based on the above difference for all the emission positions of the light source 80.

次に、ステップS108では、データ算出部344は二重像歪みを算出する。具体的には、データ算出部344は、光源80の同じ出射位置から出射した主像光線が生成する主像の位置と、光源80の同じ出射位置から出射した二重像光線が生成する二重像の位置とを比較し、両者の差分に基づいて二重像歪みを算出する。データ算出部344は、光源80の全ての出射位置について、上記の差分に基づいて二重像歪みを算出する。なお、光源80の同じ出射位置から出射した主像光線が生成する主像の位置と、二重像光線が生成する二重像の位置は、ステップS103からS106までの処理の中で既に得られている。 Next, in step S108, the data calculation unit 344 calculates the double image distortion. Specifically, the data calculation unit 344 includes a position of the main image generated by the main image ray emitted from the same emission position of the light source 80 and a double image generated by the double image ray emitted from the same emission position of the light source 80. The position of the image is compared, and the double image distortion is calculated based on the difference between the two. The data calculation unit 344 calculates the double image distortion based on the above difference for all the emission positions of the light source 80. The position of the main image generated by the main image ray emitted from the same emission position of the light source 80 and the position of the double image generated by the double image ray have already been obtained in the processes from steps S103 to S106. ing.

次に、ステップS109では、データ算出部344は、ステップS107で算出した主像歪みとステップS108で算出した二重像歪みを所定の閾値と比較し、良否判定を行う。データ算出部344は、判定結果を検査結果出力部40に送信し、検査結果出力部40は検査結果を映像や音声、データ等で出力する。以上により、図4に示す全ての処理が終了する。 Next, in step S109, the data calculation unit 344 compares the main image distortion calculated in step S107 with the double image distortion calculated in step S108 with a predetermined threshold value, and determines whether the quality is good or bad. The data calculation unit 344 transmits the determination result to the inspection result output unit 40, and the inspection result output unit 40 outputs the inspection result as video, audio, data, or the like. As a result, all the processes shown in FIG. 4 are completed.

必要に応じ、検査装置1は、WS50を他のウィンドシールドに変えて検査を実行する。検査を実行する場合には、図4のステップS101に移行して上記と同様の処理を繰り返す。なお、制御部30に測定条件を外部から入力する入力手段を設けておき、検査装置1の操作者が予め検査すべきウィンドシールドの個数を入力しておくようにしてもよい。この場合、制御部30が入力手段から入力された個数に到達したと判定するまで、ステップS101からS109までの処理が繰り返される。 If necessary, the inspection device 1 changes the WS50 to another windshield and executes the inspection. When executing the inspection, the process proceeds to step S101 of FIG. 4 and the same process as described above is repeated. The control unit 30 may be provided with an input means for inputting measurement conditions from the outside, and the operator of the inspection device 1 may input the number of windshields to be inspected in advance. In this case, the processes from steps S101 to S109 are repeated until the control unit 30 determines that the number of inputs has been reached from the input means.

又、運転者の異なる視点位置に対応するため、同一のWS50に対して、撮像器20を順次異なる位置に変えて(移動させて)検査を行ってもよい。 Further, in order to correspond to different viewpoint positions of the driver, the imager 20 may be sequentially changed (moved) to different positions for the same WS50 for inspection.

以上により、主像歪みと二重像歪みの測定についての説明は終了であるが、検査装置1は、主像歪みと二重像歪み以外に、ガラスのパラメータの検査も可能である。 This completes the description of the measurement of the main image distortion and the double image distortion, but the inspection device 1 can inspect the parameters of the glass in addition to the main image distortion and the double image distortion.

図34は、本実施形態に係る検査装置を用いたガラスのパラメータの検査方法を示すフローチャートの一例である。 FIG. 34 is an example of a flowchart showing a method of inspecting glass parameters using the inspection apparatus according to the present embodiment.

まず、ステップS601において、画像処理部340の光路特定部343は、WS50に入射する光線R1と主像視線E1との交点を求める。例えば、図31に示した光線R1が特定できると、図35(a)に示すように、光線R1に対する主像視線E1が特定できるので、光線R1と主像視線E1との交点を求めることができる。 First, in step S601, the optical path specifying unit 343 of the image processing unit 340 obtains the intersection of the light ray R1 incident on the WS50 and the main image line of sight E1. For example, if the light ray R1 shown in FIG. 31 can be specified, the main image line of sight E1 with respect to the light ray R1 can be specified as shown in FIG. 35 (a), so that the intersection of the light ray R1 and the main image line of sight E1 can be obtained. it can.

次に、ステップS602において、光路特定部343は、光線R1と主像視線E1の交点におけるWS50の車内側となる面である第4面M4の角度を算出する。主像はWS50の第4面M4で反射して生成されるので、入射角と反射角が等しいことを踏まえると、図34(b)に示すように、光線R1と主像視線E1の交点におけるWS50の第4面M4の角度(水平面に対する角度)を算出できる。光線と主像視線の交点は全ての光線に対して求めることができるので、WS50の第4面M4全体の角度が求められる。 Next, in step S602, the optical path specifying unit 343 calculates the angle of the fourth surface M4, which is the surface inside the WS50 at the intersection of the light ray R1 and the main image line of sight E1. Since the main image is generated by being reflected by the fourth surface M4 of WS50, considering that the incident angle and the reflection angle are equal, as shown in FIG. 34 (b), at the intersection of the light ray R1 and the main image line of sight E1. The angle (angle with respect to the horizontal plane) of the fourth surface M4 of the WS50 can be calculated. Since the intersection of the light ray and the main image line of sight can be obtained for all the light rays, the angle of the entire fourth surface M4 of the WS50 can be obtained.

次に、ステップS603において、画像処理部340のデータ算出部344は、WS50の車外側となる面である第1面M1の位置及び角度を算出する。図34(c)に示すように、P5の位置に生成される二重像について考えると、この二重像は、第4面M4に入射する光線R5が第4面M4で屈折し、WS50の車外側の面となる第1面M1で反射し、再度第4面M4で屈折して生成される。第4面M4の角度は既に求めているため、第1面M1の位置及び角度を求めることができる。全ての二重像を考慮することで、WS50の第1面M1全体の位置及び角度が求められる。 Next, in step S603, the data calculation unit 344 of the image processing unit 340 calculates the position and angle of the first surface M1 which is the surface on the outside of the WS50. As shown in FIG. 34 (c), considering the double image generated at the position of P5, in this double image, the light ray R5 incident on the fourth surface M4 is refracted by the fourth surface M4, and the WS50 It is generated by reflecting on the first surface M1 which is the outer surface of the vehicle and refracting it again on the fourth surface M4. Since the angle of the fourth surface M4 has already been obtained, the position and angle of the first surface M1 can be obtained. By considering all the double images, the position and angle of the entire first surface M1 of the WS50 can be obtained.

次に、ステップS604において、データ算出部344は、関連する項目を算出する。ここで、関連する項目とは、ステップS601〜S603で得られた情報に基づいて算出される値であり、例えば、WS50の厚さや楔角の分布である。 Next, in step S604, the data calculation unit 344 calculates related items. Here, the related items are values calculated based on the information obtained in steps S601 to S603, and are, for example, the thickness of WS50 and the distribution of wedge angles.

データ算出部344は、例えば、WS50の面の形状や楔角の分布を検査結果出力部40に送信し、検査結果出力部40は検査結果を映像や音声、データ等で出力する。或いは、データ算出部344は、WS50の面の形状や楔角の分布をウィンドシールドのCADデータと比較し、比較結果を検査結果出力部40に送信し、検査結果出力部40は比較結果を映像や音声、データ等で出力してもよい。 For example, the data calculation unit 344 transmits the shape of the surface of the WS50 and the distribution of the wedge angle to the inspection result output unit 40, and the inspection result output unit 40 outputs the inspection result as video, audio, data, or the like. Alternatively, the data calculation unit 344 compares the shape of the surface of the WS50 and the distribution of the wedge angle with the CAD data of the windshield, transmits the comparison result to the inspection result output unit 40, and the inspection result output unit 40 displays the comparison result as an image. , Voice, data, etc. may be output.

このように、検査装置1において、第1XY座標算出部341は、画像表示器10が第1位置(Near)にあるときに、虚像の任意の点を形成するための元となる光線が出射される検査用画像の点の第1XY座標を求める。又、第2XY座標算出部342は、画像表示器10が第2位置(Far)にあるときに、虚像の任意の点を形成するための元となる光線が出射される検査用画像の点の第2XY座標を求める。 As described above, in the inspection device 1, the first XY coordinate calculation unit 341 emits a light ray that is a source for forming an arbitrary point of the virtual image when the image display 10 is in the first position (Near). The first XY coordinates of the points of the inspection image are obtained. Further, the second XY coordinate calculation unit 342 indicates that when the image display 10 is in the second position (Far), a light ray that is a source for forming an arbitrary point of the virtual image is emitted from the point of the inspection image. Find the second XY coordinates.

そして、光路特定部343は、虚像の同一の点を形成する際の元となる光線が出射される第1XY座標と第2XY座標を特定することで、虚像の表示領域全体の各点を形成するための元となる光線の光路を特定する。そして、データ算出部344は、光路特定部343が特定した光路やヘッドアップディスプレイユニットの光学系の設計データ(例えば、CADデータ)に基づいて、ガラスの品質に関連するデータとして、主像歪みのデータ、二重像歪みのデータ、ガラスの厚さのデータ、ガラスの楔角のデータ、ガラスの面形状のデータの何れか1つ以上を算出する。 Then, the optical path specifying unit 343 forms each point of the entire display area of the virtual image by specifying the first XY coordinates and the second XY coordinates from which the light rays that are the source of forming the same points of the virtual image are emitted. Identify the optical path of the source ray for. Then, the data calculation unit 344 determines the main image distortion as data related to the quality of the glass based on the design data (for example, CAD data) of the optical path of the optical path and the head-up display unit specified by the optical path identification unit 343. One or more of data, double image distortion data, glass thickness data, glass wedge angle data, and glass surface shape data are calculated.

検査装置1によれば、HUDユニットを用いずに、HUDユニットの画像が投影されるガラスの品質の検査が可能となる。 According to the inspection device 1, it is possible to inspect the quality of the glass on which the image of the HUD unit is projected without using the HUD unit.

以上、好ましい実施形態等について詳説したが、上述した実施形態等に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施形態等に種々の変形及び置換を加えることができる。 Although the preferred embodiments and the like have been described in detail above, they are not limited to the above-described embodiments and the like, and various modifications and substitutions are made to the above-mentioned embodiments and the like without departing from the scope of claims. Can be added.

例えば、上記の実施形態では、第1位置(Near)と第2位置(Far)の2か所で取得したデータに基づいて、虚像の表示領域全体の各点を形成するための光が通過する光路を特定した。しかし、これには限定されず、Z方向の座標が異なる3か所以上で取得したデータに基づいて、虚像の表示領域全体の各点を形成するための光が通過する光路を特定してもよい。 For example, in the above embodiment, light for forming each point of the entire display area of the virtual image passes based on the data acquired at the first position (Near) and the second position (Far). The optical path was identified. However, the present invention is not limited to this, and even if the optical path through which the light for forming each point of the entire display area of the virtual image is specified is specified based on the data acquired at three or more locations where the coordinates in the Z direction are different. Good.

又、上記の実施形態では、座標が明らかなX座標線画像とY座標線画像とを移動させながら虚像の投影位置に対応する第1位置及び第2位置のXY座標を求める例を示した。しかし、これには限定されず、検査用画像として、例えば、X座標及びY座標の特定を同時に行える市松模様の画像や、色の違いで座標が判定できる模様の画像等を用いてもよい。これらの画像を用いた場合、撮像回数を減らせる点で好適である。 Further, in the above embodiment, an example is shown in which the XY coordinates of the first position and the second position corresponding to the projection position of the virtual image are obtained while moving the X coordinate line image and the Y coordinate line image whose coordinates are clear. However, the present invention is not limited to this, and as the inspection image, for example, a checkered pattern image in which the X coordinate and the Y coordinate can be specified at the same time, an image in which the coordinates can be determined by the difference in color, and the like may be used. When these images are used, it is preferable in that the number of times of imaging can be reduced.

1 検査装置
10 画像表示器
10x X座標線画像
10y Y座標線画像
20 撮像器
30 制御部
31 CPU
32 ROM
33 RAM
34 I/F
35 バスライン
40 検査結果出力部
50 ウィンドシールド(WS)
60、60x、60y 虚像
70 凹面鏡
80 光源
310 表示器位置決め部
320 表示器制御部
330 撮像器制御部
340 画像処理部
341 第1XY座標算出部
342 第2XY座標算出部
343 光路特定部
344 データ算出部
600 虚像表示領域
1 Inspection device 10 Image display 10x X coordinate line image 10y Y coordinate line image 20 Imager 30 Control unit 31 CPU
32 ROM
33 RAM
34 I / F
35 Bus line 40 Inspection result output unit 50 Windshield (WS)
60, 60x, 60y Virtual image 70 Concave mirror 80 Light source 310 Display positioning unit 320 Display control unit 330 Imager control unit 340 Image processing unit 341 1st XY coordinate calculation unit 342 2nd XY coordinate calculation unit 343 Optical path identification unit 344 Data calculation unit 600 Virtual image display area

Claims (10)

ヘッドアップディスプレイユニットと組み合わせて用いられるガラスの検査装置であって、
画像表示器と、
前記画像表示器に表示された検査用画像が前記ガラスに投影されて生成された虚像を撮像する撮像器と、
前記撮像器が撮像した前記虚像の画像データを処理する画像処理部と、を有し、
重力方向をZ方向とし、前記Z方向と交差する平面内で互いに交差するX方向及びY方向を規定したときに、前記画像表示器は少なくとも第1位置及び前記第1位置とはZ方向の座標が異なる第2位置に移動可能に構成され、
前記画像処理部は、
前記画像表示器が前記第1位置にあるときに、前記虚像の任意の点を形成するための元となる光線が出射される前記検査用画像の点の第1XY座標を求める第1XY座標算出部と、
前記画像表示器が前記第2位置にあるときに、前記虚像の任意の点を形成するための元となる光線が出射される前記検査用画像の点の第2XY座標を求める第2XY座標算出部と、
前記虚像の同一の点を形成する際の元となる光線が出射される前記第1XY座標と前記第2XY座標を特定することで、前記虚像の表示領域全体の各点を形成するための元となる光線の光路を特定する光路特定部と、
前記光路特定部が特定した前記光路に基づいて、前記ガラスの品質に関連するデータを算出するデータ算出部と、を有するガラスの検査装置。
A glass inspection device used in combination with a head-up display unit.
Image display and
An imager that captures a virtual image generated by projecting an inspection image displayed on the image display onto the glass, and an imager.
It has an image processing unit that processes image data of the virtual image captured by the imager.
When the direction of gravity is the Z direction and the X and Y directions that intersect each other in the plane intersecting the Z direction are defined, the image display has at least the first position and the coordinates of the first position in the Z direction. Is configured to be movable to a different second position,
The image processing unit
A first XY coordinate calculation unit that obtains the first XY coordinates of a point of the inspection image from which a light ray that is a source for forming an arbitrary point of the virtual image is emitted when the image display is in the first position. When,
A second XY coordinate calculation unit that obtains the second XY coordinates of a point in the inspection image from which a light ray that is a source for forming an arbitrary point of the virtual image is emitted when the image display is in the second position. When,
By specifying the first XY coordinates and the second XY coordinates from which the light rays that are the source of forming the same point of the virtual image are emitted, the source for forming each point of the entire display area of the virtual image is used. The optical path identification part that identifies the optical path of the light beam,
A glass inspection apparatus having a data calculation unit for calculating data related to the quality of the glass based on the optical path specified by the optical path identification unit.
前記虚像は、主像と二重像を含み、
前記第1XY座標算出部は、前記画像表示器が前記第1位置にあるときに、前記主像の任意の点を形成するための元となる主像光線が出射される前記検査用画像の点の主像第1XY座標を求めると共に、前記二重像の任意の点を形成するための元となる二重像光線が出射される前記検査用画像の点の二重像第1XY座標を求め、
前記第2XY座標算出部は、前記画像表示器が前記第2位置にあるときに、前記主像の任意の点を形成するための元となる主像光線が出射される前記検査用画像の点の主像第2XY座標を求めると共に、前記二重像の任意の点を形成するための元となる二重像光線が出射される前記検査用画像の点の二重像第2XY座標を求め、
前記光路特定部は、前記主像の同一の点を形成する際の元となる主像光線が出射される前記主像第1XY座標と前記主像第2XY座標を特定することで、前記主像の表示領域全体の各点を形成するための元となる主像光線の光路を特定すると共に、前記二重像の同一の点を形成する際の元となる二重像光線が出射される二重像第1XY座標と二重像第2XY座標を特定することで、前記二重像の表示領域全体の各点を形成するための元となる二重像光線の光路を特定する請求項1に記載のガラスの検査装置。
The imaginary image includes a main image and a double image.
The first XY coordinate calculation unit is a point of the inspection image from which a main image ray that is a source for forming an arbitrary point of the main image is emitted when the image display is in the first position. The first XY coordinates of the main image of the above are obtained, and the first XY coordinates of the points of the inspection image from which the original double image ray for forming an arbitrary point of the double image is emitted are obtained.
The second XY coordinate calculation unit is a point of the inspection image from which a main image ray that is a source for forming an arbitrary point of the main image is emitted when the image display is in the second position. The second XY coordinates of the main image of the above are obtained, and the second XY coordinates of the points of the inspection image from which the original double image ray for forming an arbitrary point of the double image is emitted are obtained.
The optical path specifying unit specifies the main image first XY coordinates and the main image second XY coordinates from which the main image rays that are the basis for forming the same point of the main image are emitted. The optical path of the main image ray that is the basis for forming each point in the entire display area of the above is specified, and the double image ray that is the basis for forming the same point of the double image is emitted. According to claim 1, by specifying the first XY coordinates of the double image and the second XY coordinates of the double image, the optical path of the double image ray which is the basis for forming each point of the entire display area of the double image is specified. The glass inspection device described.
前記ヘッドアップディスプレイユニットの光学系の設計データを予め記憶している記憶部を有し、
前記光路特定部は、
前記記憶部から読み出した前記設計データに基づいて、前記ヘッドアップディスプレイユニットの凹面鏡及び光源の位置を特定し、
前記凹面鏡及び前記光源の位置と前記主像光線の光路とに基づいて、前記主像光線の光路に光を出射する前記光源の出射位置を特定する請求項2に記載のガラスの検査装置。
It has a storage unit that stores the design data of the optical system of the head-up display unit in advance.
The optical path identification part is
Based on the design data read from the storage unit, the positions of the concave mirror and the light source of the head-up display unit are specified.
The glass inspection apparatus according to claim 2, wherein the emission position of the light source that emits light into the optical path of the main image ray is specified based on the positions of the concave mirror and the light source and the optical path of the main image ray.
前記記憶部は、前記ガラスの設計データを予め記憶しており、
前記データ算出部は、
前記光源の同じ出射位置から出射した前記主像光線が前記記憶部から読み出した前記ガラスの設計データを用いた場合に形成する主像の位置と、測定対象となる前記ガラスを用い場合に形成する主像の位置とを比較し、両者の差分に基づいて主像歪みを算出する請求項3に記載のガラスの検査装置。
The storage unit stores the design data of the glass in advance.
The data calculation unit
The position of the main image formed when the main image ray emitted from the same emission position of the light source uses the design data of the glass read from the storage unit, and the position of the main image formed when the glass to be measured is used. The glass inspection apparatus according to claim 3, wherein the position of the main image is compared and the distortion of the main image is calculated based on the difference between the two.
前記光路特定部は、
前記凹面鏡及び前記光源の位置と前記二重像光線の光路とに基づいて、前記二重像光線の光路に光線を出射する前記光源の出射位置を特定する請求項3又は4に記載のガラスの検査装置。
The optical path identification part is
The glass according to claim 3 or 4, which specifies the emission position of the light source that emits a light ray into the optical path of the double image ray based on the positions of the concave mirror and the light source and the optical path of the double image ray. Inspection device.
前記データ算出部は、
前記光源の同じ出射位置から出射した前記主像光線が生成する主像の位置と、前記光源の同じ出射位置から出射した前記二重像光線が生成する二重像の位置とを比較し、両者の差分に基づいて二重像歪みを算出する請求項5に記載のガラスの検査装置。
The data calculation unit
The position of the main image generated by the main image ray emitted from the same emission position of the light source is compared with the position of the double image generated by the double image ray emitted from the same emission position of the light source, and both are compared. The glass inspection apparatus according to claim 5, wherein the double image distortion is calculated based on the difference between the two.
前記データ算出部は、前記主像光線の光路、及び前記二重像光線の光路に基づいて、前記ガラスの厚さのデータ、前記ガラスの楔角のデータ、前記ガラスの面形状のデータの何れか1つ以上を算出する請求項2乃至6の何れか一項に記載のガラスの検査装置。 The data calculation unit has any of the glass thickness data, the glass wedge angle data, and the glass surface shape data based on the optical path of the main image ray and the optical path of the double image ray. The glass inspection apparatus according to any one of claims 2 to 6, which calculates one or more of them. 前記検査用画像は、光学系を介さずに前記ガラスに直接投影される請求項1乃至7の何れか一項に記載のガラスの検査装置。 The glass inspection apparatus according to any one of claims 1 to 7, wherein the inspection image is directly projected onto the glass without going through an optical system. 前記ガラスは、車両用のウィンドシールドである請求項1乃至8の何れか一項に記載のガラスの検査装置。 The glass inspection device according to any one of claims 1 to 8, wherein the glass is a windshield for a vehicle. ヘッドアップディスプレイユニットと組み合わせて用いられるガラスの検査方法であって、
画像表示器に表示された検査用画像が前記ガラスに投影されて生成された虚像を撮像する撮像ステップと、
前記撮像ステップで撮像した前記虚像の画像データを処理する画像処理ステップと、を有し、
重力方向をZ方向とし、前記Z方向と交差する平面内で互いに交差するX方向及びY方向を規定したときに、前記画像表示器は少なくとも第1位置及び前記第1位置とはZ方向の座標が異なる第2位置に移動可能に構成され、
前記画像処理ステップは、
前記画像表示器が前記第1位置にあるときに、前記虚像の任意の点を形成するための元となる光線が出射される前記検査用画像の点の第1XY座標を求める第1XY座標算出ステップと、
前記画像表示器が前記第2位置にあるときに、前記虚像の任意の点を形成するための元となる光線が出射される前記検査用画像の点の第2XY座標を求める第2XY座標算出ステップと、
前記虚像の同一の点を形成する際の元となる光線が出射される前記第1XY座標と前記第2XY座標を特定することで、前記虚像の表示領域全体の各点を形成するための元となる光線の光路を特定する光路特定ステップと、
前記光路特定ステップで特定した前記光路に基づいて、前記ガラスの品質に関連するデータを算出するデータ算出ステップと、を有するガラスの検査方法。
A glass inspection method used in combination with a head-up display unit.
An imaging step in which an inspection image displayed on an image display is projected onto the glass to capture a virtual image generated.
It has an image processing step for processing the image data of the virtual image captured in the imaging step.
When the direction of gravity is the Z direction and the X and Y directions that intersect each other in the plane intersecting the Z direction are defined, the image display has at least the first position and the coordinates of the first position in the Z direction. Is configured to be movable to a different second position,
The image processing step
A first XY coordinate calculation step for obtaining the first XY coordinates of a point in the inspection image from which a light ray that is a source for forming an arbitrary point of the virtual image is emitted when the image display is in the first position. When,
A second XY coordinate calculation step for obtaining the second XY coordinates of a point in the inspection image from which a light ray that is a source for forming an arbitrary point of the virtual image is emitted when the image display is in the second position. When,
By specifying the first XY coordinates and the second XY coordinates from which the light rays that are the source of forming the same point of the virtual image are emitted, the source for forming each point of the entire display area of the virtual image is used. An optical path identification step that identifies the optical path of a ray of light
A glass inspection method comprising a data calculation step of calculating data related to the quality of the glass based on the optical path specified in the optical path specifying step.
JP2019192091A 2019-10-21 2019-10-21 Glass inspection device, glass inspection method Active JP7331618B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019192091A JP7331618B2 (en) 2019-10-21 2019-10-21 Glass inspection device, glass inspection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019192091A JP7331618B2 (en) 2019-10-21 2019-10-21 Glass inspection device, glass inspection method

Publications (2)

Publication Number Publication Date
JP2021067528A true JP2021067528A (en) 2021-04-30
JP7331618B2 JP7331618B2 (en) 2023-08-23

Family

ID=75638350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019192091A Active JP7331618B2 (en) 2019-10-21 2019-10-21 Glass inspection device, glass inspection method

Country Status (1)

Country Link
JP (1) JP7331618B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0259604A (en) * 1988-08-25 1990-02-28 Nippon Sheet Glass Co Ltd Inspecting device for reflection strain of glass material
US5343288A (en) * 1992-11-23 1994-08-30 Libbey-Owens-Ford Co. Optical evaluation of automotive glass
JP2014038015A (en) * 2012-08-14 2014-02-27 Nidec Tosok Corp Three-dimensional measuring device
JP2017111013A (en) * 2015-12-16 2017-06-22 株式会社オキサイド Transparent base material measurement device and transparent base material measurement method
WO2017179453A1 (en) * 2016-04-14 2017-10-19 旭硝子株式会社 Inspecting device and inspecting method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0259604A (en) * 1988-08-25 1990-02-28 Nippon Sheet Glass Co Ltd Inspecting device for reflection strain of glass material
US5343288A (en) * 1992-11-23 1994-08-30 Libbey-Owens-Ford Co. Optical evaluation of automotive glass
JP2014038015A (en) * 2012-08-14 2014-02-27 Nidec Tosok Corp Three-dimensional measuring device
JP2017111013A (en) * 2015-12-16 2017-06-22 株式会社オキサイド Transparent base material measurement device and transparent base material measurement method
WO2017179453A1 (en) * 2016-04-14 2017-10-19 旭硝子株式会社 Inspecting device and inspecting method

Also Published As

Publication number Publication date
JP7331618B2 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
CN104111524B (en) The method of workflow in digit microscope and optimization digit microscope
US8233041B2 (en) Image processing device and image processing method for performing three dimensional measurements
US10948719B2 (en) Inspection device and inspection method
JP4604774B2 (en) Calibration method for 3D measurement
JP2016061687A (en) Contour line measurement device and robot system
CN112424823A (en) System and method for three-dimensional data acquisition and processing under timing constraints
JP2015045587A (en) Three-dimensional image processor, method of determining change in state of three-dimensional image processor, program for determining change in state of three-dimensional image processor, computer readable recording medium, and apparatus having the program recorded therein
US10430940B2 (en) Inspection system and inspection method
US10579890B2 (en) Automatic alignment of a 3D model to a test object
JP2014169947A (en) Shape inspection method and device thereof
US8553082B2 (en) Distortion inspecting apparatus and distortion inspecting method
WO2020075252A1 (en) Information processing device, program, and information processing method
KR20150106579A (en) Testing system of the device with free-form surface or 3 dimensional form and operating method for the testing system
JP2019045299A (en) Three-dimensional information acquisition device
JP2014134611A (en) Geometric distortion correction device, projector, and geometric distortion correction method
JP7331618B2 (en) Glass inspection device, glass inspection method
JP3340296B2 (en) Distortion inspection method and distortion inspection device
JP2019207127A (en) Laser calibration device, calibration method therefor, and image input device including laser calibration device
KR20180040316A (en) 3D optical scanner
JP2011090166A (en) Stereo imaging apparatus
JP5648255B2 (en) Luminance measuring device and luminance measuring method
US10054421B2 (en) Apparatus for measuring three-dimensional position of target object
JPH10125749A (en) Apparatus for testing film product and manufacturing thin film product, using the same
JP2012154862A (en) Three-dimensional dimension measuring device
JP7176969B2 (en) inspection equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230724

R150 Certificate of patent or registration of utility model

Ref document number: 7331618

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150