KR20110056836A - 모바일 단말기에 탑재되는 영상시스템 - Google Patents

모바일 단말기에 탑재되는 영상시스템 Download PDF

Info

Publication number
KR20110056836A
KR20110056836A KR1020090113316A KR20090113316A KR20110056836A KR 20110056836 A KR20110056836 A KR 20110056836A KR 1020090113316 A KR1020090113316 A KR 1020090113316A KR 20090113316 A KR20090113316 A KR 20090113316A KR 20110056836 A KR20110056836 A KR 20110056836A
Authority
KR
South Korea
Prior art keywords
image
section
image data
function
unit
Prior art date
Application number
KR1020090113316A
Other languages
English (en)
Other versions
KR101651623B1 (ko
Inventor
이미향
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020090113316A priority Critical patent/KR101651623B1/ko
Publication of KR20110056836A publication Critical patent/KR20110056836A/ko
Application granted granted Critical
Publication of KR101651623B1 publication Critical patent/KR101651623B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

모바일 단말기에 탑재되는 영상시스템에 관한 것이다. 상기 영상시스템은 다수의 렌즈를 포함하여 피사체의 광 이미지를 입사받는 렌즈부, 상기 렌즈부로부터 입사받은 광 이미지를 전기적 신호인 영상데이터로 변환하는 이미지 센서부, 상기 영상데이터 내에서 사용자가 지정된 구간에서 사용자가 지정된 강도로 이미지의 밝기를 조절하는 지정 구간 AE(Auto Exposure) 기능의 선택 및 상기 구간과 상기 강도의 입력을 받는 사용자 입력부, 상기 지정 구간 AE 기능을 선택할 경우 상기 영상 데이터를 상기 구간 및 상기 강도에 따라 이미지의 밝기를 가지도록 영상데이터를 처리하는 이미지 신호 처리부, 및 상기 영상데이터를 화면에 출력하는 디스플레이부를 포함한다.
모바일 단말기, 영상시스템, 지정 구간, 지정 강도, 밝기

Description

모바일 단말기에 탑재되는 영상시스템{Image system loaded in mobile terminal}
본 발명은 모바일 단말기에 탑재되는 영상시스템에 관한 것이다.
카메라 모듈의 자동 노출(Auto Exposure, 이하 "AE"라고도 함) 기능은 조리개의 열림 정도와 셔터의 속도를 조절하여 필름에 닿는 광량과 노출되는 시간을 자동으로 제어하여 영상 이미지의 밝기를 일정하게 유지하는 것으로, 피사체와 그 주변환경의 광량과 피사체의 광 반사율 등을 고려하여 자동으로 제어한다.
카메라 모듈의 경우에는 ISP(Image Signal Processor) 내에 AE 알고리즘이 탑재되며, 피사체 주위의 조도 변화 또는 피사체의 밝기에 대응하여 매 입력 영상 프레임 단위로 휘도(피사체의 밝기) 레벨을 조절하는 방식으로 자동 노출 제어 기능이 수행된다.
종래의 AE 제어기술은 피사체를 촬영할 경우 이미지 전체의 밝기(Brightness)를 조정하기 때문에 전체 이미지가 밝아지거나 어두워지게 된다. 따 라서, 화각 안의 피사체가 검은 색일 경우 어둡게 인식해 버려 주 피사체 외의 주변의 사물이 너무 포화되는 현상이 발생하게 된다. 반대로 화각 안의 피사체가 흰색이라면 AE 기능이 작용하여 밝은 낮일지라도 전체 화면이나 주변의 사물이 너무 어둡게 되는 현상이 발생하는 문제점이 있다.
본 발명은 부분적으로 포화되거나 피사체가 어두워지는 현상을 개선하여 화각안에서 전체적으로 노출이 균일하게 조절되는 모바일 단말기에 탑재되는 영상 시스템을 제공한다.
본 발명의 일 실시예에 따른 영상 시스템은 다수의 렌즈를 포함하여 피사체의 광 이미지를 입사받는 렌즈부, 상기 렌즈부로부터 입사받은 광 이미지를 전기적 신호인 영상데이터로 변환하는 이미지 센서부, 상기 영상데이터 내에서 사용자가 지정된 구간에서 사용자가 지정된 강도로 이미지의 밝기를 조절하는 지정 구간 AE(Auto Exposure) 기능의 선택 및 상기 구간과 상기 강도의 입력을 받는 사용자 입력부, 상기 지정 구간 AE 기능을 선택할 경우 상기 영상 데이터를 상기 구간 및 상기 강도에 따라 이미지의 밝기를 가지도록 영상데이터를 처리하는 이미지 신호 처리부, 및 상기 영상데이터를 화면에 출력하는 디스플레이부를 포함하며, 모바일 단말기에 탑재된다.
본 실시예에 따른 영상 시스템은 피사체의 밝기에 따라서 화면이 급격하게 밝아지거나 어두워지는 현상을 개선하여 실제에 가까운 이미지를 얻을 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 주 피사체가 어두운 경우 종래 AE 제어기술을 이용하여 촬영된 이미지를 보여주는 사진이다. 도 1을 참조하면, 어두운 피사체(A)로 인하여 밝은 부분(B)은 포화되어 피사체가 전체적으로 실제에 가깝게 표현되지 못함을 보여준다.
도 2는 촬영된 이미지를 밝기 제어를 통하여 보정한 사진이다.
도 2를 참조하면, 이미지가 포화(A)된다고 해서(a 참조) 밝기 제어를 통하여 보정하면(b 참조) 포화되는 현상은 사라질지라도 어두운 피사체(B)의 표현이 잘 되 지 않는 문제점이 있다.
이하에서, 지정 구간 AE 기능 또는 방법은 영상 이미지의 밝기를 본 실시예에 따라 조절하는 것을 말한다.
도 3은 본 실시예에 따른 카메라 모듈을 포함하는 영상시스템을 나타내는 블록도이다. 도 3을 참조하면, 영상시스템(10)은 카메라 모듈(200), 사용자 입력부(310), 디스플레이부(350) 및 메모리(330)를 포함하고, 카메라 모듈(200)은 렌즈부(210), 이미지 센서부(220) 및 이미지 신호 처리부(230)를 포함한다.
렌즈부(210)는 다수의 렌즈를 포함하여 피사체의 광 이미지를 입사 받는다. 이미지 센서부(220)는 렌즈부(210)로부터 입사받은 광 이미지를 전기적 신호인 영상데이터로 변환한다. 이미지 신호 처리부(230)는 이하에서 후술되는 사용자에 의해 설정된 지정 구간 AE 기능을 적용시키고자 하는 구간 및 강도에 따라 영상 이미지의 밝기를 가지도록 영상데이터를 영상처리한다.
사용자 입력부(310)는 사용자로부터 프리뷰 상태에서 지정 구간 AE 기능의 선택을 입력받고, 지정 구간 AE 기능을 선택한 경우 사용자로부터 지정 구간 AE 기능을 적용시키고자 하는 구간 및 강도를 입력받는다. 사용자 입력부(310)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드, 조그 휠, 조그 스위치 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(350)와 상호 레이어 구조를 이룰 때, 이를 터치 스크린이라 한다. 후술하는 디스플레이부(350)와 터치패드가 상호 레이어 구조를 이루어 터치 스크린을 이루는 경우, 디스플레이부(350)는 출력장치 이외에 입력장치로도 사용될 수 있다.
메모리(330)는 이미지 센서부(220)로부터의 영상 데이터를 인코더를 거쳐 인코딩된 압축 영상 데이터를 저장한다. 여기서, 영상 데이터는 각 화소 마다의 레드(red), 그린(green), 블루(blue)에 관한 게인(gain) 등의 정보를 의미하는 RGB정보를 포함한다.
디스플레이부(350)는 메모리(330)에 저장된 영상 데이터를 읽어서 화면에 출력하며, 터치패드가 상호 레이어 구조로 중첩됨으로써, 상기 디스플레이부(350)가 터치스크린으로 동작하여 사용자의 터치에 의한 정보의 입력이 가능하게 할 수도 있다. 또한, 사용자 입력부(310)에 지정 구간 AE 기능이 선택된 경우, 출력되는 화면의 이미지를 소정의 수의 블록으로 분할하여 보여주고 사용자가 사용자 입력부(310)를 통하여 지정 구간 AE 기능을 적용시키고자 하는 구간 및 강도를 입력할 시 입력된 내용을 보여준다. 이러한 디스플레이부(350)는 사용자 입력부(310)의 입력과 디스플레이부(350)의 출력 관계를 제어하는 제어부(도시되지 않음)를 더 포함할 수 있다.
이러한 디스플레이부(350)는 액정 디스플레이 (liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystaldisplay), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), TOLED(Transparrent OLED) 등일 수 있다. 이러한 영상 시스템(10)은 모바일 단말기에 탑재될 수 있다. 모바일 단말기는 휴대용 전화기, PDA(personal digital assistants) 등일 수 있다.
도 4는 본 실시예에 따른 카메라 모듈을 포함하는 영상시스템에서의 지정 구 간 AE 방법을 설명하는 순서도이다.
도 4를 참조하면, 프리뷰 상태에서 사용자는 사용자 입력부(310)를 통하여 지정 구간 AE 기능을 선택한다(S110). 지정 구간 AE 기능이 선택됨에 따라 디스플레이부(350)에 출력된 이미지는 소정의 수의 블록으로 분할된다.
다음으로, 지정 구간 AE 기능을 적용시키고자 하는 구간을 설정한다(S120). 구체적으로는, 터치 패드 또는 키 패드(key pad)로 구성된 사용자 입력부(310)를 이용하여 분할된 블록을 지정할 수 있다. 디스플레이부(350)가 터치스크린으로 동작하는 경우는 사용자의 터치에 의해 지정 구간 AE 기능을 적용시키고자 하는 구간을 설정 입력할 수 있다. 사용자 입력부(310)가 키 패드(key pad)로 구성된 경우는 방향키와 지정된 키를 이용하여 지정 구간 AE 기능을 적용시키고자 하는 구간을 설정 입력할 수 있다. 지정 구간 AE 기능을 적용시키고자 하는 구간을 복수의 블록으로 지정할 수도 있다.
그런 다음, 지정된 구간에 지정 구간 AE 기능을 적용시키고자 하는 강도를 설정한다(S130). 예를 들어, 강도는 1 내지 3 또는 1 내지 5 등 다양하게 범위를 가질 수 있으며, 지정 구간 AE 기능의 강도 범위 중 하나를 선택할 수 있다. 지정 구간 AE 기능의 적용 강도가 높아질수록 지정된 구간에 노출이 많이 적용된 이미지가 생성된다. 터치 패드를 이용하여 지정 구간 AE 기능을 설정하는 경우는 디스플레이에 터치를 할 때마다 강도를 증가시키도록 설정될 수 있다. 다음으로 이미지를 캡처한다(S140). 이러한 과정으로 캡처된 이미지는 지정된 구간 및 강도로 노출이 조절된다.
도 5는 본 실시예에 따른 지정 구간 AE 기능을 통한 구간 및 강도 설정의 일 예를 보여주는 도면이다.
도 5를 참조하면, 디스플레이에 출력된 이미지가 8 × 8 블록으로 분할되어 각 블록의 숫자는 AE 강도를 나타낸다. 숫자가 1인 블록은 AE 강도가 기본임을 나타내고 숫자가 3인 블록은 유저에 의해 AE 기능을 적용하는 구간으로 AE 강도 3으로 적용됨을 보여준다. 여기서, 블록을 분할하는 수는 하나의 예시에 불과하고 디스플레이에 출력된 이미지가 다양한 수로 분할될 수 있음은 당업자에게 자명할 것이다.
도 6은 본 실시예에 따른 지정 구간 AE 기능을 통한 구간 및 강도 설정의 다른 예를 보여주는 도면이다. 도 6을 참조하면, 화각의 아래구간에 지정 구간 AE 기능을 적용하여 각각 2 또는 3의 AE 강도를 설정하였다.
도 7은 본 실시예에 따른 지정 구간 AE 방법을 적용한 이미지를 보여주는 사진이다. 도 7을 참조하면, 어두운 피사체로 인하여 주변의 밝기가 포화된 사진(a)이 본 실시예에 따른 지정 구간 AE 방법을 적용하여 주변의 밝기가 포화되는 것을 막고 실제에 근사한 이미지를 얻을 수 있음을 확인할 수 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터,데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상술한 모든 기능은 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등과 같은 프로세서에 의해 수행될 수 있다. 상기 코드의 설계, 개발 및 구현은 본 발명의 설명에 기초하여 당업자에게 자명하다고 할 것이다.
이상 본 발명에 대하여 실시예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서, 상술한 실시예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시예들을 포함한다고 할 것이다.
도 1은 주 피사체가 어두운 경우 종래 AE 제어기술을 이용하여 촬영된 이미지를 보여주는 사진이다.
도 2는 촬영된 이미지를 밝기 제어를 통하여 보정한 사진이다.
도 3은 본 실시예에 따른 카메라 모듈을 포함하는 영상시스템을 나타내는 블록도이다.
도 4는 본 실시예에 따른 카메라 모듈을 포함하는 영상시스템에서의 지정 구간 AE 방법을 설명하는 순서도이다.
도 5는 본 실시예에 따른 지정 구간 AE 기능을 통한 구간 및 강도 설정의 일 예를 보여주는 도면이다.
도 6은 본 실시예에 따른 지정 구간 AE 기능을 통한 구간 및 강도 설정의 다른 예를 보여주는 도면이다.
도 7은 본 실시예에 따른 지정 구간 AE 방법을 적용한 이미지를 보여주는 사진이다.
<도면 주요 부분에 대한 부호의 설명>
10: 영상시스템 200: 카메라 모듈
210: 렌즈부 220: 이미지 센서부
230: 이미지 신호 처리부 310: 사용자 입력부
330: 메모리 350: 디스플레이부

Claims (6)

  1. 다수의 렌즈를 포함하여 피사체의 광 이미지를 입사받는 렌즈부;
    상기 렌즈부로부터 입사받은 광 이미지를 전기적 신호인 영상데이터로 변환하는 이미지 센서부;
    상기 영상데이터 내에서 사용자가 지정된 구간에서 사용자가 지정된 강도로 이미지의 밝기를 조절하는 지정 구간 AE(Auto Exposure) 기능의 선택 및 상기 구간과 상기 강도의 입력을 받는 사용자 입력부;
    상기 지정 구간 AE 기능을 선택할 경우 상기 영상 데이터를 상기 구간 및 상기 강도에 따라 이미지의 밝기를 가지도록 영상데이터를 처리하는 이미지 신호 처리부; 및
    상기 영상데이터를 화면에 출력하는 디스플레이부를 포함하며 모바일 단말기에 탑재되는 영상 시스템.
  2. 제 1 항에 있어서,
    상기 지정 구간 AE 기능을 선택할 경우 상기 디스플레이부는 상기 화면에 출력되는 영상데이터를 블록으로 분할하여 보여주는 영상 시스템.
  3. 제 2 항에 있어서,
    상기 지정 구간 AE 기능이 적용되는 상기 구간의 선택은 상기 블록을 지정함 으로써 수행되는 영상 시스템.
  4. 제 1 항에 있어서,
    상기 사용자 입력부는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드, 조그 휠 및 조그 스위치 중 적어도 하나인 영상 시스템.
  5. 제 4 항에 있어서,
    상기 사용자 입력부가 터치 패드이고 상기 디스플레이부와 상기 터치 패드가 상호 레이어 구조를 이루는 경우는 상기 디스플레이부는 상기 지정 구간 AE 기능의 선택 및 상기 구간과 상기 강도의 입력을 받는 영상 시스템.
  6. 제 1 항에 있어서,
    상기 디스플레이부는 상기 사용자 입력부의 입력과 상기 디스플레이부의 출력 관계를 제어하는 제어부를 포함하는 영상 시스템.
KR1020090113316A 2009-11-23 2009-11-23 모바일 단말기에 탑재되는 영상시스템 KR101651623B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090113316A KR101651623B1 (ko) 2009-11-23 2009-11-23 모바일 단말기에 탑재되는 영상시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090113316A KR101651623B1 (ko) 2009-11-23 2009-11-23 모바일 단말기에 탑재되는 영상시스템

Publications (2)

Publication Number Publication Date
KR20110056836A true KR20110056836A (ko) 2011-05-31
KR101651623B1 KR101651623B1 (ko) 2016-08-26

Family

ID=44365143

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090113316A KR101651623B1 (ko) 2009-11-23 2009-11-23 모바일 단말기에 탑재되는 영상시스템

Country Status (1)

Country Link
KR (1) KR101651623B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090112397A (ko) * 2008-04-24 2009-10-28 삼성디지털이미징 주식회사 디지털 영상 처리 장치 및 그 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090112397A (ko) * 2008-04-24 2009-10-28 삼성디지털이미징 주식회사 디지털 영상 처리 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR101651623B1 (ko) 2016-08-26

Similar Documents

Publication Publication Date Title
US11228720B2 (en) Method for imaging controlling, electronic device, and non-transitory computer-readable storage medium
US9781321B2 (en) Display device configured as an illumination source
JP5072087B2 (ja) 液晶表示装置および液晶表示方法
JP5624809B2 (ja) 画像信号処理装置
JP5728498B2 (ja) 撮像装置及びその発光量制御方法
JP6641181B2 (ja) 画像処理装置および撮像装置、それらの制御方法ならびにプログラム
CN111866482A (zh) 一种显示方法、终端及存储介质
US11363193B2 (en) Electronic apparatus and image correction method thereof
US11019254B2 (en) Image processing apparatus, control method for image processing apparatus, and storage medium having correction of effect of virtual light source
US10587811B2 (en) Display control apparatus and control method for the same
JP2019004230A (ja) 画像処理装置及び方法、及び撮像装置
JP2009171012A (ja) プロジェクタ
KR20110072213A (ko) 영상보정방법
JP2011166491A (ja) 携帯機向けカメラを用いた表示部の画質調整方法、その装置及びそのプログラム
KR101613528B1 (ko) 영상 이미지 보정방법
JP5347488B2 (ja) 投影装置
CN113810677A (zh) 屏幕的亮度调节方法、终端及可读存储介质
KR101651623B1 (ko) 모바일 단말기에 탑재되는 영상시스템
JP2006270752A (ja) 電子ファインダー及びそれを用いた電子カメラ
US11336802B2 (en) Imaging apparatus
JP2004287808A (ja) 携帯型情報端末装置
US20220217285A1 (en) Image processing device, image processing method, and recording medium
US11770511B2 (en) Image processing apparatus, image capture apparatus, control method, and computer-readable storage medium
JP5846856B2 (ja) カメラ付インターホン装置
JP4212638B2 (ja) デジタルカメラ

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190711

Year of fee payment: 4