KR100623081B1 - Optical pointing system and movement value control method thereof - Google Patents
Optical pointing system and movement value control method thereof Download PDFInfo
- Publication number
- KR100623081B1 KR100623081B1 KR1020030079623A KR20030079623A KR100623081B1 KR 100623081 B1 KR100623081 B1 KR 100623081B1 KR 1020030079623 A KR1020030079623 A KR 1020030079623A KR 20030079623 A KR20030079623 A KR 20030079623A KR 100623081 B1 KR100623081 B1 KR 100623081B1
- Authority
- KR
- South Korea
- Prior art keywords
- sampling rate
- circuit
- search window
- maximum search
- motion value
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0383—Signal control means within the pointing device
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
본 발명은 광 포인팅 시스템 및 이 시스템의 움직임 값 계산방법에 관한 것으로, 센서 회로를 구비하며, 센서 회로는 작업대 표면에서 반사된 빛을 감지하여 이미지 신호를 발생하는 이미지 센서, 이미지 신호 및/또는 움직임 값을 입력하여 최대 서치 윈도우 크기를 가변하는 최대 서치 윈도우 가변회로, 및 가변된 크기의 상기 최대 서치 윈도우를 이용하여 이미지 신호의 움직임 값을 계산하는 움직임 값 계산회로로 구성되어 있다. 따라서, 광량과 움직임 속도중의 하나이상의 값에 따라 최대 서치 윈도우와 샘플링 레이트중의 하나이상을 가변하여 움직임 값을 계산함으로써 정확한 움직임 값을 찾을 수 있다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an optical pointing system and a method for calculating a motion value of the system, comprising a sensor circuit, the sensor circuit sensing an light reflected from a work surface and generating an image signal, an image signal and / or a motion. A maximum search window variable circuit for inputting a value to vary the maximum search window size, and a motion value calculation circuit for calculating a motion value of an image signal using the maximum search window having a variable size. Therefore, an accurate motion value can be found by calculating a motion value by varying one or more of the maximum search window and the sampling rate according to one or more values of light quantity and motion speed.
Description
도1은 일반적인 광 포인팅 시스템을 나타내는 도면이다.1 is a view showing a general optical pointing system.
도2는 종래의 광 포인팅 시스템의 센서회로의 블록도이다.2 is a block diagram of a sensor circuit of a conventional optical pointing system.
도3은 본 발명의 광 포인팅 시스템의 제1실시예의 센서회로의 블록도이다.Fig. 3 is a block diagram of the sensor circuit of the first embodiment of the optical pointing system of the present invention.
도4는 본 발명의 광 포인팅 시스템의 제2실시예의 센서회로의 블록도이다.4 is a block diagram of the sensor circuit of the second embodiment of the optical pointing system of the present invention.
도5는 본 발명의 광 포인팅 시스템의 제3실시예의 센서회로의 블록도이다.Fig. 5 is a block diagram of the sensor circuit of the third embodiment of the optical pointing system of the present invention.
도6은 본 발명의 광 포인팅 시스템의 제4실시예의 센서회로의 블록도이다.Fig. 6 is a block diagram of the sensor circuit of the fourth embodiment of the optical pointing system of the present invention.
도7은 도6에 나타낸 광 포인팅 시스템의 클럭 제어회로의 실시예의 블록도이다.FIG. 7 is a block diagram of an embodiment of a clock control circuit of the optical pointing system shown in FIG.
도8a ~ 도8c는 본 발명의 광 포인팅 시스템의 최대 서치 윈도우 조절 방법을 설명하기 위한 것이다. 8A to 8C illustrate a method of adjusting the maximum search window of the optical pointing system of the present invention.
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
210, 310 : 이미지 센서210, 310: image sensor
220, 320 : A/D 컨버터220, 320: A / D converter
230, 330 : 셔터 제어회로230, 330: shutter control circuit
240, 350, 350 : 움직임 값 계산회로240, 350, 350: Motion value calculation circuit
340 : 최대 서치 윈도우 가변회로340: maximum search window variable circuit
370 : 샘플링 레이트 가변회로370: sampling rate variable circuit
380 : 최대 서치 윈도우 및 샘플링 레이트 가변회로380: maximum search window and sampling rate variable circuit
390 : 클럭 제어회로390: clock control circuit
572 : 클럭 분주회로572: clock division circuit
574 : 멀티플렉서574: Multiplexer
본 발명은 광 포인팅 시스템에 관한 것으로, 특히 입사되는 광량과 움직임 속도에 따라 최대 서치 윈도우 및/또는 샘플링 레이트(sampling rate)를 적응적으로 변화시킬 수 있는 광 포인팅 시스템 및 이 시스템의 움직임 값 계산방법에 관한 것이다.BACKGROUND OF THE
도1은 일반적인 광 포인팅 시스템을 나타내는 것으로, 광원(8), 렌즈(5), 및 센서 회로(미도시)내의 이미지 센서(3)로 구성되어 있다.Fig. 1 shows a general light pointing system, which is composed of a
도1에서, 2는 작업대 표면을, 4, 6, 7은 광을 나타낸다.도1에 나타낸 광 포인팅 시스템은 광원(8)으로부터 나온 광(7)이 작업대 표면(2)에서 반사되고, 그 반사된 광(6)이 렌즈(5)를 통과한다. 그리고, 렌즈(5)를 통과한 광(4)이 CMOS(Complementary Metal Oxide Semiconductor) 디바이스로 구성된 이미지 센서(3)에 입력된다. In Fig. 1, 2 represents a work surface, and 4, 6, and 7 represent light. In the light pointing system shown in Fig. 1, the
작업대(2)의 이미지는 이미지 센서(3)에 의해서 연속적으로 감지되어 센서 회로내의 메모리(미도시)에 이미지 데이터로 저장된다. 센서 회로는 현재 메모리에 입력된 이미지 데이터와 먼저 메모리에 저장된 이미지 데이터사이의 상관값을 계산하고 움직임 값을 계산하여 컴퓨터와 같은 시스템으로 전송한다. The image of the work table 2 is continuously sensed by the
도2는 종래의 광 포인팅 시스템의 센서 회로의 블록도를 나타내는 것으로서, 이미지 센서(210), A/D컨버터(220), 셔터 제어회로(230), 움직임 값 계산회로(240), 및 PC인터페이스 회로(250)로 구성되어 있다.2 shows a block diagram of a sensor circuit of a conventional optical pointing system, in which an
도2에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.이미지 센서(210)는 셔터 제어신호(SHCO)의 제어하에 렌즈를 통하여 반사되는 빛을 수신하여 이미지 데이터를 감지한다. A/D컨버터(220)는 이미지 센서(210)로부터 출력되는 아날로그 신호를 수신하여 디지털 신호로 변환한다. 셔터 제어회로(230)는 A/D컨버터(220)의 출력신호인 이미지 데이터를 이용하여 A/D컨버터(220)의 출력이 일정한 분포를 갖도록 이미지 센서(210)내의 전자 셔터(미도시)를 제어하기 위한 셔터 제어신호(SHCO)를 발생한다. 미도시된 전자 셔터(미도시)는 센서 회로내에 CMOS디바이스로 구성된다. 움직임 값 계산회로(240)는 고정된 최대 서치 윈도우 및 마스크 윈도우를 사용하여 고정된 샘플링 레이트(Sampling Rate)로 A/D 컨버터(220)의 출력신호인 이미지 데이터의 움직임 값을 계산하여 출력한다. PC인터페이스 회로(250)는 움직임 값 계산회로(240)로부터 출력되는 움직임 값을 고정된 리포트 레이트(Report Rate)로 컴퓨터(미도시)로 전달한다. 즉, PC인터페이스 회로(250)는 움직임 값 계산회로(240)로부터 출력되는 움직임 값을 저장한 후 컴퓨터(미도시)에 서 요구하는 고정된 리포트 레이트로 움직임 값을 전송한다. The function of each of the blocks illustrated in FIG. 2 will be described as follows. The
상술한 바와 같은 종래의 광 포인팅 시스템의 센서 회로는 항상 일정한 샘플링 레이트로 먼저 메모리에 입력되어 저장된 이미지 프레임 데이터와 새로 입력된 이미지 프레임 데이터와의 상관값을 계산하여 움직임 값을 출력하였다. 예를 들어, 1 초에 1500 번 또는 2000 번으로 고정된 샘플링 레이트를 기준으로 센서 회로 내의 모든 회로들이 동작하였다. 또한, 종래의 광 포인팅 시스템의 센서 회로는 움직임 값을 구하고 그 결과를 고정된 리포트 레이트(Report Rate)로 컴퓨터에 전달하였다. 또한, 종래의 광 포인팅 시스템은 이미지 센서(210)로 입력되는 광량을 조절하는 전자 셔터(electronic shutter)의 동작시간이 정해진 셔터 노출시간 내에서만 변화시킬 수 있었으며, 움직임 값 계산회로(240)도 고정된 최대 서치 윈도우를 이용하여 정해진 샘플링 레이트로 상관값을 계산하였다.The sensor circuit of the conventional optical pointing system as described above always outputs a motion value by calculating a correlation value between the image frame data and the newly input image frame data, which are first input into the memory at a constant sampling rate. For example, all circuits in the sensor circuit were operated based on a fixed sampling rate of 1500 or 2000 times per second. In addition, the sensor circuit of the conventional optical pointing system obtains the motion value and delivers the result to the computer at a fixed report rate. In addition, the conventional optical pointing system could change the operation time of the electronic shutter controlling the amount of light input to the
그런데, 샘플링 레이트, 셔터 노출시간, 및 최대 서치 윈도우가 정해져 있으면, 광량이 극단적으로 줄어드는 경우에 광 포인팅 시스템은 입력되는 광량을 만족시키기 위해 전자 셔터의 노출시간을 늘려 광량이 많아지도록 동작을 한다. 그런데, 정해진 샘플링 레이트에 맞는 셔터 노출시간 구간의 최대 시간까지 도달하더라도 필요한 광량이 입력되지 않으면 이미지 센서는 바닥의 패턴을 제대로 표현할 수 없게 된다. 이와 같이, 광량이 부족할 때 광 포인팅 시스템은 바닥 패턴의 값을 구별할 수 없어서 움직임 값을 찾을 수가 없다.By the way, when the sampling rate, shutter exposure time, and maximum search window are determined, when the amount of light is extremely reduced, the optical pointing system operates to increase the amount of light by increasing the exposure time of the electronic shutter to satisfy the amount of input light. However, even if the required amount of light is not input even when the maximum time of the shutter exposure time interval corresponding to the predetermined sampling rate is reached, the image sensor may not properly express the floor pattern. As such, when the amount of light is insufficient, the light pointing system cannot distinguish the value of the floor pattern and thus cannot find the motion value.
본 발명의 목적은 광량 및/또는 움직임 속도에 따라 최대 서치 윈도우를 가 변함으로써 정확한 움직임 값을 찾을 수 있는 광 포인팅 시스템을 제공하는데 있다.An object of the present invention is to provide an optical pointing system that can find the exact motion value by varying the maximum search window according to the amount of light and / or the speed of motion.
본 발명의 다른 목적은 광량 및/또는 움직임 속도에 따라 샘플링 레이트를 가변함으로써 정확한 움직임 값을 찾을 수 있는 광 포인팅 시스템을 제공하는데 있다.Another object of the present invention is to provide an optical pointing system capable of finding an accurate motion value by varying the sampling rate according to the amount of light and / or the speed of motion.
본 발명의 또 다른 목적은 상기 목적과 다른 목적을 달성하기 위한 광 포인팅 시스템의 움직임 값 계산방법을 제공하는데 있다. Still another object of the present invention is to provide a method of calculating a motion value of an optical pointing system for achieving the above object and other objects.
상기 목적과 다른 목적을 달성하기 위한 본 발명의 광 포인팅 시스템의 제1형태는 센서 회로를 구비하며, 상기 센서 회로가 셔터 제어신호에 응답하여 노광 레벨을 제어함에 의해서 작업대 표면에서 반사된 빛을 감지하여 아날로그 이미지 신호를 발생하는 이미지 센서, 상기 아날로그 이미지 신호를 디지털 이미지 신호로 변환하여 출력하는 아날로그/디지털 변환회로, 상기 디지털 이미지 신호를 입력하여 상기 셔터 제어신호를 발생하는 셔터 제어회로, 상기 디지털 이미지 신호와 움직임 값중의 하나이상의 신호를 입력하여 최대 서치 윈도우 크기를 가변하는 최대 서치 윈도우 가변회로, 및 상기 가변된 크기의 상기 최대 서치 윈도우를 이용하여 상기 디지털 이미지 신호의 상기 움직임 값을 계산하는 움직임 값 계산회로를 구비하는 것을 특징으로 한다.A first aspect of the optical pointing system of the present invention for achieving the above object and other objects includes a sensor circuit, wherein the sensor circuit senses light reflected from the surface of the work surface by controlling the exposure level in response to the shutter control signal. An image sensor for generating an analog image signal, an analog / digital conversion circuit for converting the analog image signal into a digital image signal, and outputting the shutter; a shutter control circuit for inputting the digital image signal to generate the shutter control signal; A maximum search window variable circuit for varying a maximum search window size by inputting at least one of a signal and a motion value, and a motion value for calculating the motion value of the digital image signal using the maximum search window of the variable size Characterized in that it comprises a calculation circuit do.
상기 목적과 다른 목적을 달성하기 위한 본 발명의 광 포인팅 시스템의 제2형태는 센서 회로를 구비하며, 상기 센서 회로가 셔터 제어신호에 응답하여 노광 레벨을 제어함에 의해서 작업대 표면에서 반사된 빛을 감지하여 아날로그 이미지 신호를 발생하는 이미지 센서, 상기 아날로그 이미지 신호를 디지털 이미지 신호로 변환하여 출력하는 아날로그/디지털 변환회로, 상기 디지털 이미지 신호를 입력하여 상기 셔터 제어신호를 발생하는 셔터 제어회로, 상기 디지털 이미지 신호와 움직임 값중의 하나이상의 신호를 입력하여 샘플링 레이트를 가변하기 위한 샘플링 레이트 제어신호를 발생하고, 최대 서치 윈도우의 크기를 가변하는 샘플링 레이트 및 최대 서치 윈도우 가변회로, 및 상기 샘플링 레이트 제어신호에 응답하여 상기 가변된 최대 서치 윈도우를 이용하여 상기 디지털 이미지 신호의 상기 움직임 값을 계산하는 움직임 값 계산회로를 구비하는 것을 특징으로 한다.A second aspect of the optical pointing system of the present invention for achieving the above object and other objects comprises a sensor circuit, the sensor circuit detects light reflected from the work surface by controlling the exposure level in response to the shutter control signal. An image sensor for generating an analog image signal, an analog / digital conversion circuit for converting the analog image signal into a digital image signal, and outputting the shutter; a shutter control circuit for inputting the digital image signal to generate the shutter control signal; A sampling rate control signal for varying the sampling rate by inputting at least one of a signal and a motion value, a sampling rate and a maximum search window variable circuit for varying the size of the maximum search window, and responding to the sampling rate control signal The variable searchlight by Using the RHS is characterized in that a motion value calculating circuit for calculating the motion value of said digital image signal.
상기 또 다른 목적을 달성하기 위한 본 발명의 광 포인팅 시스템의 움직임 값 계산방법은 작업대 표면에서 반사된 빛을 감지하여 이미지 신호를 발생하는 단계, 상기 이미지 신호와 움직임 값중의 하나이상의 신호를 입력하여 샘플링 레이트를 가변하기 위한 샘플링 레이트 제어신호를 발생하고, 최대 서치 윈도우의 크기를 가변하는 샘플링 레이트 및 최대 서치 윈도우 가변 단계,및 상기 샘플링 레이트 제어신호에 응답하고 상기 가변된 최대 서치 윈도우를 이용하여 상기 이미지 신호의 상기 움직임 값을 계산하는 움직임 값 계산 단계를 구비하는 것을 특징으로 한다.Motion value calculation method of the optical pointing system of the present invention for achieving the above another object is to detect the light reflected from the surface of the workbench to generate an image signal, input and sampling at least one of the image signal and the motion value A sampling rate and maximum search window variable step of generating a sampling rate control signal for varying the rate and varying the size of the maximum search window; and using the variable maximum search window in response to the sampling rate control signal; And a motion value calculating step of calculating the motion value of the signal.
이하, 첨부한 도면을 참조하여 본 발명에 따른 광 포인팅 시스템 및 이 시스템의 움직임 값 계산방법을 설명하면 다음과 같다.도3은 본 발명의 광 포인팅 시스템의 센서 회로의 구성을 나타내는 블록도로서, 이미지 센서(310), A/D 컨버터(320), 셔터 제어회로(330), 최대 서치 윈도우 가변회로(340), 움직임 값 계산회로(350), 및 PC인터페이스 회로(360)로 구성되어 있다. 도3에서, 최대 서치 윈도우 가변회로(340)는 광량 검출기(342), 움직임 속도 검출기(344), 및 최대 서치 윈도우 계산회로(346)로 구성되어 있다. Hereinafter, an optical pointing system and a method of calculating a motion value of the system according to the present invention will be described with reference to the accompanying drawings. FIG. 3 is a block diagram showing a configuration of a sensor circuit of the optical pointing system of the present invention. The
도3에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.The function of each of the blocks shown in FIG. 3 will be described below.
이미지 센서(310)는 셔터 제어신호(SHCO)의 제어하에 작업대(미도시) 표면에서 반사된 빛을 수신한다. A/D컨버터(320)는 이미지 센서(310)로부터 아날로그 신호를 수신하여 디지털 신호로 변환한다. 셔터 제어회로(330)는 A/D 컨버터(320)의 출력인 이미지 데이터를 이용하여 A/D 컨버터(320)의 출력이 일정한 분포를 갖도록 이미지 센서(310)내의 전자 셔터(미도시)를 제어하기 위한 셔터 제어신호(SHCO)를 발생한다. 최대 서치 윈도우 가변회로(340)는 A/D컨버터(320)의 출력신호와 움직임 값을 고려하여 최대 서치 윈도우 및/또는 마스크 윈도우의 크기를 계산한다. 광량 검출기(342)는 A/D컨버터(320)의 출력인 이미지 데이터를 이용하여 광량을 검출한다. 움직임 속도 검출기(344)는 움직임 값 계산회로(350)로부터 출력되는 움직임 값을 이용하여 움직임 속도를 검출한다. 최대 서치 윈도우 계산회로(346)는 광량 검출기(342) 및 움직임 속도 검출기(344)로부터 출력되는 광량 및 움직임 속도를 고려하여 최대 서치 윈도우 및/또는 마스크 윈도우의 크기를 계산한다. 움직임 값 계산회로(350)는 최대 서치 윈도우 계산회로(340)에 의해서 계산된 크기의 최대 서치 윈도우 및/또는 마스크 윈도우를 이용하여 고정된 샘플링 레이트로 A/D컨버터(320)로부터 출력되는 신호의 움직임 값을 계산하여 출력한다. PC인터페이스 회로(360)는 움직임 값 계산회로(360)로부터 출력되는 움직임 값을 저장하고 저장된 움직임 값을 고정된 리포트 레이트로 컴퓨터(미도시)로 전달한다.도3에 나타낸 광 포인팅 시스템의 최대 서치 윈도우 가변회로(340)의 동작을 설명하면 다음과 같다.The
광량 검출기(342) 및 움직임 속도 검출기(344)에 의해서 광량 및 움직임 속도가 검출된다. 최대 서치 윈도우 계산회로(346)는 광량 검출기(342)에 의해서 검출된 광량이 증가하면 최대 서치 윈도우의 크기를 작게 설정하고, 광량이 중간 정도이면 최대 서치 윈도우의 크기를 중간 크기로 설정하고, 광량이 적어지면 최대 서치 윈도우의 크기를 크게 설정한다. 또한, 최대 서치 윈도우 계산회로(346)는 움직임 속도 검출기(344)에 의해서 검출된 움직임 속도가 빠르면 최대 서치 윈도우의 크기를 작게 설정하고, 움직임 속도가 중간이면 최대 서치 윈도우의 크기를 중간 크기로 설정하고, 움직임 속도가 느리면 최대 서치 윈도우의 크기를 크게 설정한다. 이때, 최대 서치 윈도우 계산회로(346)는 최대 서치 윈도우의 크기 뿐만아니라 마스크 윈도우의 크기도 최대 서치 윈도우의 크기에 따라 가변적으로 설정할 수 있다. 도3에 나타낸 본 발명의 광 포인팅 시스템의 최대 서치 윈도우 가변회로(340)는 광량 및/또는 움직임 속도에 따라서 최대 서치 윈도우 및/또는 마스크 윈도우의 크기를 가변하고, 움직임 값 계산회로(350)는 가변된 최대 서치 윈도우를 이용하여 A/D컨버터(320)로부터 출력되는 이미지 데이터의 움직임 값을 계산한다. The
도4는 본 발명의 광 포인팅 시스템의 다른 실시예의 구성을 나타내는 블록도로서, 이미지 센서(310), A/D컨버터(320), 셔터 제어회로(330), 움직임 값 계산회로(350), 샘플링 레이트 가변회로(370), 및 PC인터페이스 회로(360)로 구성되어 있다. 샘플링 레이트 가변회로(370)는 광량 검출기(372), 움직임 속도 검출기(374), 및 샘플링 레이트 제어회로(376)로 구성되어 있다.Fig. 4 is a block diagram showing the construction of another embodiment of the optical pointing system of the present invention, including an
도4에서, 샘플링 레이트 제어회로(376)의 출력신호가 셔터 제어회로(330)로 인가되게 구성되어 있으나, 샘플링 레이트 제어회로(376)의 출력신호가 셔터 제어회로(330)로 인가되지 않고 A/D컨버터(320)의 출력신호가 셔터 제어회로(330)로 인가되도록 구성될 수도 있다. In Fig. 4, the output signal of the sampling
도4에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.The function of each of the blocks shown in FIG. 4 is as follows.
이미지 센서(310), A/D컨버터(320), 광량 검출기(372), 및 움직임 속도 검출기(374)는 도3에 나타낸 블록들과 동일한 기능을 수행하므로, 도3의 기능 설명을 참고로 하면 될 것이다.Since the
셔터 제어회로(330)는 샘플링 레이트 제어회로(376)로부터 출력되는 샘플링 레이트 제어신호(SRCO)에 응답하여 셔터 제어신호(SHCO)를 발생하거나, A/D컨버터(320)로부터 출력되는 신호에 응답하여 셔터 제어신호(SHCO)를 발생할 수도 있다. 그리고, 이때 발생되는 셔터 제어신호(SHCO)에 의해서 이미지 센서(310)내의 전자 셔터(미도시)의 노출시간이 제어된다. 샘플링 레이트 제어회로(376)는 광량 검출기(372)로부터 출력되는 광량과 움직임 속도 검출기(374)로부터 출력되는 움직임 속도를 이용하여 샘플링 레이트를 계산하여 샘플링 레이트 제어신호(SRCO)를 발생한다. 움직임 값 계산회로(350)는 샘플링 레이트 제어신호(SRCO)에 응답하여 A/D컨버터(320)로부터 출력되는 이미지 데이터의 움직임 값을 계산한다. PC인터페이스 회로(360)는 샘플링 레이트 제어신호(SRCO)에 응답하여 움직임 값 계산회로(350)로부터 출력되는 움직임 값을 저장하고 정해진 리포트 레이트로 움직임 값을 컴퓨터(미도시)로 전송한다.The
도4에 나타낸 광 포인팅 시스템의 샘플링 레이트 가변회로(370)의 동작을 설명하면 다음과 같다.The operation of the sampling rate
광량 검출기(372)와 움직임 속도 검출기(374)에 의해서 광량 및 움직임 속도가 검출된다. 샘플링 레이트 제어회로(376)는 광량이 증가하면 샘플링 레이트를 높게 조절하고, 광량이 중간 정도이면 샘플링 레이트를 중간 정도로 조절하고, 광량 이 적어지면 샘플링 레이트를 낮게 조절한다. 또한, 샘플링 레이트 제어회로(376)는 움직임 속도가 빠르면 샘플링 레이트를 높이고, 움직임 속도가 중간 정도이면 샘플링 레이트를 중간 정도로 조절하고, 움직임 속도가 느리면 샘플링 레이트를 낮춘다. 따라서, 샘플링 레이트 제어회로(376)는 광량 및 움직임 속도에 따라 샘플링 레이트를 조절한다. The light amount and the movement speed are detected by the
샘플링 레이트 제어신호(SRCO)에 따른 셔터 제어회로(330)의 동작을 설명하면 다음과 같다.The operation of the
셔터 제어회로(330)는 샘플링 레이트 제어신호(SRCO)가 샘플링 레이트가 높은 것을 나타내는 신호이면 이미지 센서(310)내의 전자 셔터(미도시)의 노출시간을 짧게 조절하고, 샘플링 레이트가 중간 정도임을 나타내는 신호이면 전자 셔터(미도시)의 노출시간을 중간 정도로 조절하고, 샘플링 레이트가 낮은 것을 나타내는 신호이면 전자 셔터(미도시)의 노출시간을 길게 조절한다.If the sampling rate control signal SRCO is a signal indicating that the sampling rate is high, the
또한, 셔터 제어회로(330)는 A/D컨버터(320)의 출력신호에 응답하여 이미지 센서(310)의 전자 셔터(미도시)의 노출시간을 제어하기 위한 제어신호(SHCO)를 발생할 수도 있는데, 이 경우의 셔터 제어회로(330)의 동작은 도2에 나타낸 종래의 셔터 제어회로(210)의 동작과 동일하다. In addition, the
도4에 나타낸 광 포인팅 시스템의 센서 회로는 광량 및/또는 움직임 속도에 따라 샘플링 레이트를 가변적으로 조절하는 것이 가능하고, 또한, 샘플링 레이트에 따라 전자 셔터(미도시)의 노출시간을 가변적으로 조절하는 것이 가능하다. The sensor circuit of the optical pointing system shown in Fig. 4 can variably adjust the sampling rate according to the amount of light and / or the movement speed, and also variably adjust the exposure time of the electronic shutter (not shown) according to the sampling rate. It is possible.
도5는 본 발명의 광 포인팅 시스템의 센서 회로의 또 다른 실시예의 구성을 나타내는 블록도로서, 도3에 나타낸 샘플링 레이트 가변회로(370)를 최대 서치 윈도우 및 샘플링 레이트 가변회로(380)로 대체하고, 움직임 값 계산회로(350)를 움직임 값 계산회로(350')로 대체하여 구성되어 있다.도5에서, 최대 서치 윈도우 및 샘플링 레이트 가변회로(380)는 광량 검출기(382), 움직임 속도 검출기(384), 최대 서치 윈도우 계산회로(386), 및 샘플링 레이트 제어회로(388)로 구성되어 있다. 그리고, 도5에서, 최대 서치 윈도우 계산회로(386)가 광량 검출기(382), 움직임 속도 검출기(384), 및 샘플링 레이트 제어신호(SRCO)를 모두 입력하는 것으로 구성되어 있으나, 최대 서치 윈도우 계산회로(386)는 광량 검출기(382) 및 움직임 속도 검출기(384)로부터 출력되는 신호만을 입력하거나, 샘플링 레이트 제어신호(SRCO)만을 입력하도록 구성하여도 상관없다. Fig. 5 is a block diagram showing the construction of another embodiment of the sensor circuit of the optical pointing system of the present invention, in which the sampling rate
즉, 도5의 광 포인팅 시스템의 센서 회로는 도3 및 도4에 나타낸 센서 회로의 구성을 모두 포함하는 구성이다. 도5에 나타낸 블록들중 도4에 나타낸 블록들과 동일한 참조 번호를 가진 블록들의 동작은 도5에 나타낸 블록들의 동작을 동일하고, 광량 검출기(382) 및 움직임 속도 검출기(384)의 기능은 도4에 나타낸 광량 검출기(372) 및 움직임 속도 검출기(374)의 기능과 동일하며, 샘플링 레이트 제어회로(388)는 도4에 나타낸 샘플링 레이트 제어회로(376)와 동일한 동작을 수행한다. That is, the sensor circuit of the optical pointing system of FIG. 5 includes all the configurations of the sensor circuits shown in FIGS. 3 and 4. The operation of blocks having the same reference numerals as the blocks shown in FIG. 4 among the blocks shown in FIG. 5 is the same as the operation of the blocks shown in FIG. 5, and the functions of the
따라서, 여기에서는 최대 서치 윈도우 계산회로(386)의 기능에 대해서만 설명하기로 한다.Therefore, only the function of the maximum search
최대 서치 윈도우 계산회로(386)는 광량 검출기(382) 및 움직임 속도 검출기(384)로부터 출력되는 광량 및 움직임 속도를 고려하여 최대 서치 윈도우 및/또는 마스크 윈도우의 크기를 계산하거나, 샘플링 레이트 제어회로(388)로부터 출력되는 샘플링 레이트 제어신호(SRCO)에 응답하여 최대 서치 윈도우 및/또는 마스크 윈도우의 크기를 계산한다. The maximum search
도5에 나타낸 광 포인팅 시스템의 센서 회로의 최대 서치 윈도우 계산회로(380) 및 샘플링 레이트 제어회로(388)의 동작을 설명하면 다음과 같다.최대 서치 윈도우 계산회로(386)가 광량 검출기(382) 및 움직임 속도 검출기(384)로부터 출력되는 광량 및 움직임 속도에 따라 최대 서치 윈도우의 크기를 조절하는 것은 상술한 동작 설명을 참고로 하면 될 것이고, 여기에서는 최대 서치 윈도우 계산회로(386)가 샘플링 레이트 제어신호(SRCO)에 응답하여 최대 서치 윈도우를 조절하는 동작에 대해서만 설명하기로 한다. 최대 서치 윈도우 계산회로(386)는 샘플링 레이트 제어신호(SRCO)가 샘플링 레이트가 높은 것을 나타내는 신호이면 최대 서치 윈도우의 크기를 줄이고, 샘플링 레이트가 중간 정도인 것을 나타내는 신호이면 최대 서치 윈도우의 크기를 중간 크기로 조절하고, 샘플링 레이트가 낮은 것을 나타내는 신호이면 최대 서치 윈도우의 크기를 크게 한다.또한, 최대 서치 윈도우 계산회로(386)는 샘플링 레이트 제어신호(SRCO)에 응답하여 마스크 윈도우의 크기를 가변하는 것이 가능한데, 마스크 윈도우의 크기는 최대 서치 윈도우의 크기와 비례적으로 가변될 수도 있고, 반비례적으로 가변될 수도 있다.그리고, 상술한 샘플링 레이트와 최대 서치 윈도우의 크기를 제어하는 방법은 전력소모를 동일하게 하는 방법이다. 예를 들어, 샘플링 레이트가 증가하면 전력소모가 증가하게 되는데, 이 경우에 최대 서치 윈도우의 크기를 줄임으로써 센서 회로가 처리해야 하는 신호의 량 을 일정하게 유지할 수 있고, 샘플링 레이트가 감소하면 전력소모가 감소하게 되는데, 이 경우에는 최대 서치 윈도우의 크기를 늘림으로써 센서 회로가 처리해야 하는 신호의 양을 일정하게 유지할 수 있다. 또한, 샘플링 레이트와 최대 서치 윈도우의 크기를 제어하는 방법은 목적에 따라 다양하게 달리 할 수 있는데, 예를 들면, 광 포인팅 시스템의 가속시에만 샘플링 레이트와 최대 서치 윈도우의 크기를 상술한 바와 같은 방법으로 조절함으로써 순간적으로 빠른 가속을 측정할 수 있다.샘플링 레이트 제어회로(388)가 광량 검출기(382) 및 움직임 속도 검출기(384)로부터 출력되는 광량 및 움직임 속도에 따라 샘플링 레이트를 가변하여 샘플링 레이트 제어신호(SRCO)를 발생하는 동작은 상술한 동작 설명을 참고로 하면 쉽게 이해될 것이다.The operation of the maximum search
도5에 나타낸 본 발명의 광 포인팅 시스템의 센서 회로는 광량 및/또는 움직임 속도에 따라 최대 서치 윈도우 및 샘플링 레이트를 가변적으로 조절하는 것이 가능하고, 또한, 샘플링 레이트에 따라 전자 셔터(미도시)의 노출시간을 가변적으로 조절하는 것이 가능하다. 즉, 도5에 나타낸 본 발명의 광 포인팅 시스템의 센서 회로는 도3 및 도4에 나타낸 센서 회로에 비해서 움직임 값을 보다 정확하게 계산할 수 있다. The sensor circuit of the optical pointing system of the present invention shown in FIG. 5 is capable of variably adjusting the maximum search window and sampling rate according to the amount of light and / or the speed of movement, and also according to the sampling rate of the electronic shutter (not shown). It is possible to variably adjust the exposure time. That is, the sensor circuit of the optical pointing system of the present invention shown in FIG. 5 can calculate the motion value more accurately than the sensor circuit shown in FIGS. 3 and 4.
도6은 도5에 나타낸 본 발명의 광 포인팅 시스템의 센서 회로의 또 다른 실시예의 구성을 나타내는 블록도로서, 도5에 나타낸 센서 회로에 클럭 제어회로(390)를 추가하여 구성되어 있다.Fig. 6 is a block diagram showing the construction of still another embodiment of the sensor circuit of the optical pointing system of the present invention shown in Fig. 5, which is configured by adding a
도6에 나타낸 클럭 제어회로(390)의 기능을 설명하면 다음과 같다.The function of the
클럭 제어회로(390)는 기준 클럭신호(CLKR)를 입력하여 소정 개수의 분주된 클럭신호들을 발생하고, 샘플링 레이트 제어신호(SRCO)에 응답하여 소정 개수의 분주된 클럭신호들중의 하나의 클럭신호를 선택하여 샘플링 클럭신호(SCLK)를 발생한다.따라서, 도6에 나타낸 클럭 제어회로(390)에 의해서 발생되는 샘플링 클럭신호(SCLK)가 셔터 제어회로(330), 최대 서치 윈도우 계산회로(380), 움직임 값 계산회로(350), 및 PC인터페이스 회로(360)로 인가되어 샘플링 클럭신호(SCLK)에 응답하여 동작을 수행한다. The
그리고, 도시하지는 않았지만, 도3 및 도4의 구성에도 클럭 제어회로(390)를 추가하여 구성할 수 있다.Although not shown, the
도7은 도6에 나타낸 클럭 제어회로의 실시예의 구성을 나타내는 블록도로서, 클럭 분주회로(572) 및 멀티플렉서(574)로 구성되어 있다.Fig. 7 is a block diagram showing the construction of the embodiment of the clock control circuit shown in Fig. 6, which is composed of a
도7에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.The function of each of the blocks shown in FIG. 7 will be described below.
클럭 분주회로(572)는 기준 클럭신호(CLKR)를 분주하여 32개의 분주된 클럭신호들(CLK1 ~ CLK32)을 발생한다. 멀티플렉서(574)는 샘플링 레이트 제어신호(SRCO)에 응답하여 32개의 분주된 클럭신호들(CLK1 ~ CLK32)중의 하나의 클럭신호를 샘플링 클럭신호(SCLK)로 발생한다.The
그리고, 클럭 제어회로는 샘플링 레이트 제어신호(SRCO)에 응답하여 샘플링 클럭신호(SCLK)의 주파수를 가변하는 위상 동기 루프(PLL; Phase Locked Loop)와 같은 회로로 구성될 수 있다. The clock control circuit may be configured as a circuit such as a phase locked loop (PLL) that varies the frequency of the sampling clock signal SCLK in response to the sampling rate control signal SRCO.
도8a ~ 도8c는 본 발명의 광 포인팅 시스템의 센서 회로의 최대 서치 윈도우 를 조절하는 방법을 설명하기 위한 것으로, 전체 윈도우의 크기가 32×32이고, 마스크 윈도우의 크기가 8×8로 고정된 경우에, 샘플링 레이트 또는 광량 및/또는 움직임 속도에 따른 최대 서치 윈도우의 크기를 조절하는 방법을 설명하기 위한 것이다.8A to 8C illustrate a method of adjusting the maximum search window of the sensor circuit of the optical pointing system of the present invention, wherein the size of the entire window is 32 × 32 and the size of the mask window is fixed to 8 × 8. In this case, a method of adjusting the size of the maximum search window according to the sampling rate or the amount of light and / or the movement speed is described.
도8A는 샘플링 레이트가 높을 때 또는 광량이 증가 및/또는 움직임 속도가 빠를때 최대 서치 윈도우의 크기를 14×14로 가변하고, 이에 따라, 마스크 윈도우는 상하좌우로 3픽셀만큼 움직일 수 있게 된다. 도8B는 샘플링 레이트가 중간일 때 또는 광량이 중간 및/또는 움직임 속도가 중간일 때 최대 서치 윈도우의 크기를 22×22로 가변하고, 이에 따라, 마스크 윈도우는 상하좌우로 7픽셀만큼 움직일 수 있게 된다. 도8C는 샘플링 레이트가 낮을 때 또는 광량이 감소 및/또는 움직임 속도가 느릴 때 최대 서치 윈도우의 크기를 30×30으로 가변하고, 이에 따라, 마스크 윈도우가 상하좌우로 11픽셀만큼 움직일 수 있게 된다. 8A changes the size of the maximum search window to 14 × 14 when the sampling rate is high or when the amount of light increases and / or the speed of the movement is fast, so that the mask window can be moved up, down, left, and right by 3 pixels. Fig. 8B shows the maximum search window size being 22 × 22 when the sampling rate is medium or when the light amount is medium and / or the speed of movement is medium, so that the mask window can be moved up, down, left and right by 7 pixels. do. 8C changes the size of the maximum search window to 30 × 30 when the sampling rate is low or when the amount of light decreases and / or the movement speed is low, thereby allowing the mask window to move 11 pixels in up, down, left and right.
최대 서치 윈도우의 크기는 하나의 샘플당 최대로 움직임을 표현할 수 있는 값이므로, 이 값은 광 포인팅 시스템이 1초당 최대로 움직일 수 있는 거리를 나타내는 변수가 된다. 예를 들어, 400 cpi(clock per inch)로 움직임을 찾는 경우, 샘플링 레이트가 2000이고 최대 서치 윈도우가 3을 갖는다면 광 포인팅 시스템의 움직임은 (2000sample/second×3pixel/sample)/(400pixel/inch) = 15(inch/second)가 되어 1 초에 15 인치까지 마우스를 움직일 수 있다.상술한 바와 같은 본 발명의 광 포인팅 시스템은 광량 및/또는 움직임 속도에 따라 최대 서치 윈도우 및/또는 샘플링 레이트를 가변함으로써 정확한 움직임 값을 계산하는 것이 가능하다. Since the size of the maximum search window can represent the maximum movement per sample, this value is a variable representing the distance that the optical pointing system can move the maximum per second. For example, when looking for motion at 400 clock per inch (400 cpi), if the sampling rate is 2000 and the maximum search window has 3, the motion of the optical pointing system is (2000sample / second × 3pixel / sample) / (400pixel / inch ) = 15 (inch / second) so that the mouse can be moved up to 15 inches per second. The optical pointing system of the present invention as described above allows the maximum search window and / or sampling rate depending on the amount of light and / or the speed of movement. By varying it is possible to calculate the exact motion value.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to a preferred embodiment of the present invention, those skilled in the art various modifications and variations of the present invention without departing from the spirit and scope of the invention described in the claims below I can understand that you can.
상술한 바와 같이, 본 발명에 따른 광 포인팅 시스템 및 이 시스템의 움직임 값 계산방법에 의하면, 광량 및/또는 움직임 속도에 따라 최대 서치 윈도우 및/또는 샘플링 레이트를 가변할 수 있다. 따라서, 광량 및/또는 움직임 속도에 따라 정확한 움직임 값을 찾을 수가 있다.As described above, according to the optical pointing system and the method of calculating the motion value of the system, the maximum search window and / or the sampling rate can be varied according to the amount of light and / or the speed of motion. Therefore, it is possible to find an accurate motion value according to the amount of light and / or the speed of motion.
또한, 본 발명에 따른 광 포인팅 시스템 및 이 시스템의 움직임 값 계산방법에 의하면 최대 서치 윈도우 및/또는 샘플링 레이트를 가변함으로써 전력소모가 일정하게 유지되고, 동작속도가 높아지게 된다.In addition, according to the optical pointing system and the method of calculating the motion value of the present invention, the power consumption is kept constant and the operating speed is increased by varying the maximum search window and / or the sampling rate.
본 발명의 움직임 값 계산방법은 광 마우스, 핸드폰, 및 PDA와 같은 기기에 적용이 가능하다. The motion value calculation method of the present invention can be applied to devices such as an optical mouse, a mobile phone, and a PDA.
Claims (18)
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/717,959 US7256387B2 (en) | 2002-11-21 | 2003-11-20 | Optical pointing system and method for controlling a sampling rate and a maximum search window thereby |
TW092132498A TWI270808B (en) | 2002-11-21 | 2003-11-20 | Optical pointing system and method for calculating movement value thereof |
CNB2003101151091A CN1284072C (en) | 2002-11-21 | 2003-11-21 | Optical positioning system and method for computing this optical positioning system moving value |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20020072821 | 2002-11-21 | ||
KR1020020072821 | 2002-11-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20040045303A KR20040045303A (en) | 2004-06-01 |
KR100623081B1 true KR100623081B1 (en) | 2006-09-18 |
Family
ID=37341288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020030079623A KR100623081B1 (en) | 2002-11-21 | 2003-11-11 | Optical pointing system and movement value control method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100623081B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100851659B1 (en) | 2006-09-19 | 2008-08-13 | 주식회사 애트랩 | Optical Pointing Device and power supplying semiconductor device for optical pointing |
KR100868175B1 (en) * | 2007-01-08 | 2008-12-02 | 크루셜텍 (주) | Mobil phone having optical pointing device and thereof method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05324179A (en) * | 1992-05-25 | 1993-12-07 | Sanyo Electric Co Ltd | Input device for hand-written data |
JPH1069351A (en) | 1996-08-28 | 1998-03-10 | Casio Comput Co Ltd | Display device |
JPH1074126A (en) | 1996-08-29 | 1998-03-17 | Nec Ic Microcomput Syst Ltd | Coordinate position input device |
JP2001110266A (en) | 1999-10-04 | 2001-04-20 | Canon Inc | Input device and input control method for input device |
JP2001159947A (en) | 1999-12-02 | 2001-06-12 | Canon Inc | Drive controller, method for controlling drive and storage medium |
-
2003
- 2003-11-11 KR KR1020030079623A patent/KR100623081B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05324179A (en) * | 1992-05-25 | 1993-12-07 | Sanyo Electric Co Ltd | Input device for hand-written data |
JPH1069351A (en) | 1996-08-28 | 1998-03-10 | Casio Comput Co Ltd | Display device |
JPH1074126A (en) | 1996-08-29 | 1998-03-17 | Nec Ic Microcomput Syst Ltd | Coordinate position input device |
JP2001110266A (en) | 1999-10-04 | 2001-04-20 | Canon Inc | Input device and input control method for input device |
JP2001159947A (en) | 1999-12-02 | 2001-06-12 | Canon Inc | Drive controller, method for controlling drive and storage medium |
Also Published As
Publication number | Publication date |
---|---|
KR20040045303A (en) | 2004-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8212794B2 (en) | Optical finger navigation utilizing quantized movement information | |
US7256387B2 (en) | Optical pointing system and method for controlling a sampling rate and a maximum search window thereby | |
US8169420B2 (en) | Reporting optical tracking data based on integrated resolution switching and surface detection | |
US8344325B2 (en) | Electronic device with sensing assembly and method for detecting basic gestures | |
US8619029B2 (en) | Electronic device with sensing assembly and method for interpreting consecutive gestures | |
TWI345723B (en) | Programmable resolution for optical pointing device | |
US7511699B2 (en) | Optical pointing system and method for controlling power and/or clock signal thereof | |
US8294105B2 (en) | Electronic device with sensing assembly and method for interpreting offset gestures | |
US20140078318A1 (en) | Electronic Device with Sensing Assembly and Method for Interpreting Consecutive Gestures | |
JP2005302036A (en) | Optical device for measuring distance between device and surface | |
KR20150030747A (en) | Low Power Operation of an Optical Touch-Sensitive Device for Detecting Multitouch Events | |
US8913232B2 (en) | Methods and systems for measuring speckle translation with spatial filters | |
KR20040011310A (en) | Optical mouse and method for calculating motion value thereof | |
US10613650B2 (en) | Navigation device with fast frame rate upshift | |
JP2011138503A (en) | Object detection device | |
KR100623081B1 (en) | Optical pointing system and movement value control method thereof | |
US20040145568A1 (en) | Optical mouse and method for preventing abnormal operation of the same | |
US20070126699A1 (en) | Optical navigation device and method of operating the same | |
KR20040050662A (en) | Optical mouse having improved accuracy and the method for controlling it | |
Wada et al. | Laser pointer as a mouse | |
KR100448151B1 (en) | Navigation method and navigation system | |
US10509113B2 (en) | Techniques for performing time of flight measurements | |
JP3076617B2 (en) | Method and apparatus for adjusting sensitivity of photoelectric switch | |
KR100449629B1 (en) | Optical mouse sensor chip with function of self-wakeup, and optical mouse having the sensor chip | |
JPH04350715A (en) | Input device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120828 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20130802 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150817 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20160826 Year of fee payment: 11 |
|
FPAY | Annual fee payment |
Payment date: 20170904 Year of fee payment: 12 |
|
FPAY | Annual fee payment |
Payment date: 20180829 Year of fee payment: 13 |
|
FPAY | Annual fee payment |
Payment date: 20190826 Year of fee payment: 14 |