KR101426811B1 - Decision System Of Channel - Google Patents

Decision System Of Channel Download PDF

Info

Publication number
KR101426811B1
KR101426811B1 KR1020120014366A KR20120014366A KR101426811B1 KR 101426811 B1 KR101426811 B1 KR 101426811B1 KR 1020120014366 A KR1020120014366 A KR 1020120014366A KR 20120014366 A KR20120014366 A KR 20120014366A KR 101426811 B1 KR101426811 B1 KR 101426811B1
Authority
KR
South Korea
Prior art keywords
channel
image information
reference image
receiver
application
Prior art date
Application number
KR1020120014366A
Other languages
Korean (ko)
Other versions
KR20130045141A (en
Inventor
김권영
Original Assignee
김권영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김권영 filed Critical 김권영
Publication of KR20130045141A publication Critical patent/KR20130045141A/en
Application granted granted Critical
Publication of KR101426811B1 publication Critical patent/KR101426811B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23109Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 채널 판정 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 현재 전송중인 화면의 영상 정보를 토대로 TV를 시청하는 시청자가 시청하는 채널을 판정할 수 있는 채널 판정 시스템 및 그 방법에 관한 것이다.The present invention relates to a channel determination system and a method thereof, and more particularly, to a channel determination system and method for determining a channel viewed by a viewer watching a TV based on video information of a currently transmitted screen.

Description

채널 판정 시스템 및 그 방법 {Decision System Of Channel}≪ Desc / Clms Page number 1 > Decision System Of Channel &

본 발명은 채널 판정 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 현재 전송중인 화면의 영상 정보를 토대로 TV를 시청하는 시청자가 시청하는 채널을 판정할 수 있는 채널 판정 시스템 및 그 방법에 관한 것이다.The present invention relates to a channel determination system and a method thereof, and more particularly, to a channel determination system and method for determining a channel viewed by a viewer watching a TV based on video information of a currently transmitted screen.

기술의 발달에 따라 일방향성을 가진 TV가 양방향으로 인터렉팅이 가능한 대화형 기기로 진화하고 있으며, 스마트 TV의 등장으로 각종 어플리케이션의 실행이 가능한 컴퓨팅 기기로 발전하고 있다.With the development of technology, TV with unidirectional has evolved into an interactive device capable of interacting in both directions, and smart TV is evolving into a computing device capable of executing various applications.

종래의 TV는 양방향 통신을 위한 미들웨어를 구비한 셋톱박스와 연결되고, 상기 셋톱박스는 케이블 사업자가 관리하는 리턴 패스 서버를 통해 연결되어 각종 컨텐츠나 어플리케이션을 제공하고 있다. The conventional TV is connected to a set-top box having middleware for bidirectional communication, and the set-top box is connected through a return path server managed by a cable provider to provide various contents and applications.

상기와 같이 셋톱박스가 연결된 TV의 경우에는(셋톱박스에서 프로그램과 어플리케이션을 동시에 제공하는 경우에는) 케이블 사업자가 전송하는 채널 정보에 채널 식별정보가 포함되므로 셋톱박스 자체에서 시청자가 시청하는 채널을 판정할 수 있으나, TV 자체는 상기 셋톱박스에서 전송된 화상 데이터만을 송출하므로 TV 장치 자체로서는 시청자가 시청하는 채널을 판정할 수 없었다.As described above, in the case of a TV to which a set-top box is connected (when a program and an application are simultaneously provided in a set-top box), channel information transmitted by the cable provider includes channel identification information. However, since the TV itself transmits only the image data transmitted from the set-top box, the TV device itself can not determine the channel viewed by the viewer.

따라서, 시청자가 시청하는 채널 기반으로 제공되는 각종 어플리케이션의 실행은 셋톱박스에 종속되어야 하므로 셋톱박스가 연결되지 않는 환경에서는 물론 셋톱박스가 연결된 환경에서도 반드시 셋톱박스를 통해서만 어플리케이션의 전송 및 실행이 가능하므로 컨텐츠 제공 루트가 한정되는 문제가 있었다.Accordingly, since execution of various applications provided on a channel-based basis viewed by the viewer is dependent on the set-top box, it is possible to transmit and execute the application only through the set-top box in an environment in which the set- There is a problem that the content providing route is limited.

상기와 같은 문제점을 해결하기 위해 안출된 것으로서 본 발명의 목적은 셋톱박스의 도움없이 TV로 송출되는 화면 정보를 추출하여 시청자가 현재 시청 중인 채널을 판정할 수 있는 채널 판정 시스템 및 그 방법을 제공하는 데 있다.SUMMARY OF THE INVENTION It is therefore an object of the present invention to provide a channel determination system and method for extracting screen information transmitted to a TV without help of a set-top box to determine a channel currently being watched by a viewer There is.

또한, 상기 현재 시청 중인 채널 판정을 통해 채널에 매핑된 어플리케이션을 실시간으로 제공할 수 있는 채널 판정 시스템 및 그 방법을 제공하는 데 있다.
It is another object of the present invention to provide a channel determination system and method that can provide an application mapped to a channel in real time through the channel determination that is currently being viewed.

상기와 같은 목적을 달성하기 위해 본 발명에 따른 채널 판정 시스템은 현재 시청 중인 채널의 영상 데이터 중 기준 영상 정보를 추출하는 TV 수신기와 상기 TV 수신기로부터 추출된 기준 영상 정보와 모든 채널의 기준 영상 정보를 비교하여 일치하는 채널을 추출하여 채널을 판정하는 어플리케이션 서버를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a channel determination system including a TV receiver for extracting reference image information from image data of a currently viewed channel, reference image information extracted from the TV receiver, And an application server for comparing the extracted channels to determine a channel by extracting coincident channels.

그리고 상기 TV 수신기는 영상 데이터를 수신받는 영상 데이터 수신모듈과 상기 수신된 영상 데이터 중 채널 판정을 위한 기준 영상 정보를 추출하는 기준 영상 정보 추출모듈과 상이 수신된 영상 데이터를 출력하는 영상 출력 모듈을 포함하는 것을 특징으로 한다.The TV receiver includes a video data receiving module for receiving video data, a reference video information extracting module for extracting reference video information for channel determination among the received video data, and a video output module for outputting the received video data .

또한, 상기 어플리케이션 서버는 방송 중인 채널에 매핑되는 어플리케이션을 저장 관리하는 데이터베이스와 상기 TV 수신기로부터 수신된 기준 영상 정보와 현재 방송중인 각 채널의 기준 영상 정보를 비교하여 일치하는 채널을 추출하여 채널을 판정하는 채널 판정부 및 상기 채널 판정부를 통해 판정된 채널에 매핑된 어플리케이션을 상기 데이터베이스로부터 추출하여 상기 TV 수신기로 전송하는 어플리케이션 관리부를 포함하는 것을 특징으로 한다.Also, the application server compares the reference image information received from the TV receiver with the reference image information of each channel currently being broadcast, extracts a matching channel, and determines a channel And an application manager for extracting an application mapped to the channel determined through the channel determination unit from the database and transmitting the extracted application to the TV receiver.

상기 기준 영상 정보는 전체 화소의 영상 정보, 점 단위로 임의로 설정된 특정 화소 들의 영상 정보, 선 단위로 가로 및 세로 선으로 연결된 좌표에 해당하는 화소 들의 영상 정보 또는 이들의 블렌딩된 평균 영상 정보, 면 단위로 특정 화소들의 군집체인 화소 군들의 영상 정보 또는 이들의 블렌딩된 평균 영상 정보 중 선택된 어느 하나인 것을 특징으로 한다.
The reference image information may include image information of all pixels, image information of specific pixels set arbitrarily on a point-by-point basis, image information of pixels corresponding to coordinates connected by horizontal and vertical lines on a line basis, blended average image information thereof, The image information of the pixel groups which are a cluster of specific pixels or the blended average image information of the pixel groups.

상기에서 살펴본 바와 같이 본 발명에 따른 채널 판정 시스템은 TV 수신기를 통해 시청자가 현재 시청하고 있는 채널을 영상 정보로부터 판별할 수 있으므로 셋톱박스와 같은 장비 없이도 시청하는 채널을 판정할 수 있는 탁월한 효과가 발생한다.
As described above, since the channel determination system according to the present invention can discriminate the channel currently viewed by the viewer from the video information through the TV receiver, there is an excellent effect of determining the channel to be watched without a device such as a set-top box do.

도 1은 본 발명의 바람직한 실시예에 따른 채널 판정 시스템을 개략적으로 도시한 시스템 블럭도이고, 도 2는 어플리케이션 서버의 상세 블럭도이다.
도 3은 본 발명의 바람직한 실시예에 따른 점 단위 영상 정보를 기준 영상 정보로 설정된 것을 도시한 것이다.
도 4는 본 발명의 바람직한 실시예에 따른 면 단위 영상 정보를 기준 영상 정보로 설정된 것을 도시한 것이다.
도 5는 본 발명의 바람직한 실시예에 따른 선 단위 영상 정보를 기준 영상 정보로 설정된 것을 도시한 것이다.
도 6은 본 발명의 바람직한 실시예에 따른 선 단위 영상 정보를 통한 채널 판정 방법을 개략적으로 도시한 것이다.
도 7은 본 발명의 제 2 실시예에 따른 채널 판정 시스템을 개략적으로 도시한 시스템 구성도이다.
FIG. 1 is a system block diagram schematically showing a channel determination system according to a preferred embodiment of the present invention, and FIG. 2 is a detailed block diagram of an application server.
FIG. 3 illustrates point-by-point image information according to a preferred embodiment of the present invention set as reference image information.
FIG. 4 is a view illustrating that face-based image information according to a preferred embodiment of the present invention is set as reference image information.
FIG. 5 is a diagram illustrating line-based image information according to a preferred embodiment of the present invention set as reference image information.
FIG. 6 is a schematic view illustrating a channel determination method using line-based image information according to a preferred embodiment of the present invention.
7 is a system configuration diagram schematically showing a channel determination system according to a second embodiment of the present invention.

이하, 본 발명의 구체적인 실시예에 대하여 도면을 참조하여 상세하게 설명하기로 한다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings.

<제 1 실시예>&Lt; Embodiment 1 >

도 1은 본 발명의 바람직한 실시예에 따른 채널 판정 시스템을 개략적으로 도시한 시스템 블럭도이고, 도 2는 어플리케이션 서버의 상세 블럭도이다.FIG. 1 is a system block diagram schematically showing a channel determination system according to a preferred embodiment of the present invention, and FIG. 2 is a detailed block diagram of an application server.

도 1 및 2를 참조하면, 본 발명에 따른 채널 판정 시스템은 현재 시청 중인 채널의 영상 데이터 중 기준 영상 정보를 추출하는 TV 수신기(10)와 상기 TV 수신기로부터 추출된 기준 영상 정보와 모든 채널의 기준 영상 정보를 비교하여 일치하는 채널을 추출하여 채널을 판정하는 어플리케이션 서버(20)를 포함하여 구성될 수 있다.1 and 2, a channel determination system according to the present invention includes a TV receiver 10 for extracting reference image information from image data of a currently viewed channel, reference image information extracted from the TV receiver, And an application server 20 for comparing the video information and extracting a matching channel to determine a channel.

여기서, 상기 영상 데이터는 송출되는 프레임 데이터 중 특정 프레임 데이터를 캡쳐한 데이터를 의미한다. Here, the image data refers to data obtained by capturing specific frame data among transmitted frame data.

상기 TV 수신기(10)는 영상 데이터를 수신받는 영상 데이터 수신모듈(110)과 상기 수신된 영상 데이터 중 채널 판정을 위한 기준 영상 정보를 추출하는 기준 영상 정보 추출모듈(120)과 사이 수신된 영상 데이터를 출력하는 영상 출력 모듈(130)을 포함하여 구성될 수 있다.The TV receiver 10 includes a video data receiving module 110 receiving video data, a reference video information extracting module 120 extracting reference video information for channel determination among the received video data, And a video output module 130 for outputting video data.

상기 영상 데이터는 방송국으로부터 직접 수신되는 영상 데이터일 수 있으며, 케이블 사업자를 거쳐 셋톱 박스를 통해 수신되는 영상 데이터일 수 있다.The video data may be video data directly received from a broadcasting station, or may be video data received through a set top box via a cable provider.

상기 기준 영상 정보 추출모듈(120)은 영상 데이터 중 기 설정된 기준 영상 정보만을 추출하는 역할을 담당한다.The reference image information extraction module 120 extracts only predetermined reference image information from the image data.

여기서, 기준 영상 정보는 상기 하나의 프레임 전체의 영상 데이터가 될 수 있으나, 영상 데이터 전체를 기준 영상 정보로 설정할 경우 채널 판정의 정확성을 높일 수는 있으나, 추출되는 데이터 양이 많아서 서버에 지나친 부하가 발생할 수 있으므로 상기 영상 데이터 중 일부 데이터를 기준 영상 정보로 설정하는 것이 바람직하다. Here, the reference image information may be image data of the entire one frame. However, if the entire image data is set as the reference image information, accuracy of channel determination can be improved. However, since the amount of extracted data is large, It is preferable to set some of the image data as reference image information.

그리고 상기 기준 영상 정보는 TV 수신기의 식별정보를 포함할 수 있다. 어플리케이션 서버가 다수 개의 TV 수신기를 통합적으로 채널을 판정하기 때문에 각 TV 수신기를 식별할 필요가 있으며, 상기 TV 수신기는 하나의 컴퓨팅 기기로 작용할 수 있으므로 독립적인 IP 어드레스 정보 또는 ID 정보가 식별정보로 활용될 수 있다.The reference image information may include identification information of a TV receiver. The application server needs to identify each TV receiver because the TV receiver collectively judges the channels, and the TV receiver can function as a single computing device, so that independent IP address information or ID information is utilized as identification information .

도 3은 본 발명의 바람직한 실시예에 따른 점 단위 영상 정보를 기준 영상 정보로 설정된 것을 도시한 것이다.FIG. 3 illustrates point-by-point image information according to a preferred embodiment of the present invention set as reference image information.

도 3을 참조하면, 상기 기준 영상 정보는 영상 데이터 중 특정 화소의 영상 정보로 구성될 수 있다. Referring to FIG. 3, the reference image information may be image information of a specific pixel in the image data.

보다 구체적으로, 기준 영상 정보를 위한 특정 위치의 화소가 기준 화소로 설정될 수 있으며, 영상 정보 추출 모듈(120)은 도 2와 같이 설정된 기준 화소의 영상 정보(RGB값)만을 추출할 수 있다.More specifically, the pixel at the specific position for the reference image information may be set as the reference pixel, and the image information extraction module 120 may extract only the image information (RGB value) of the reference pixel set as shown in FIG.

결국, 설정된 기준 화소가 하나의 점으로 구성되므로 기준 영상 정보가 점 단위 영상 정보로 구성된다.As a result, since the reference pixel is composed of one point, the reference image information is composed of point-by-point image information.

예를 들어, 해상도 1920 * 1080인 경우 (1000, 1000) 화소가 기준 화소로 설정된 경우 가로 1000번째 화소와 세로 1000번째 화소가 기준 화소가 된다.For example, when a pixel having a resolution of 1920 * 1080 (1000, 1000) is set as a reference pixel, a horizontal 1000th pixel and a vertical 1000th pixel become reference pixels.

그리고 영상 정보가 8비트 데이터로 구성된 경우 256개로 구분된 RGB 데이터 중 하나의 값이 RGB 값이 된다.If the image information is composed of 8-bit data, one of the 256 pieces of RGB data is RGB value.

그리고 영상 주파수(예를 들어, 60Hz)에 따라 수신되는 영상 프레임 데이터 중 특정 프레임의 영상 데이터 중에서 기준 영상 정보만을 추출할 수 있다.Then, only the reference image information can be extracted from the image data of a specific frame among the image frame data received according to the image frequency (for example, 60 Hz).

예를 들어, 60Hz의 경우 1초에 60개의 영상 프레임 데이터가 화면에 송출되고, 각 영상 프레임 데이터가 하나의 영상 데이터를 구성하게 된다. 따라서, 짝수 번째 영상 프레임이 특정 프레임으로 설정된 경우 기준 영상 정보 추출 모듈은 짝수 번째 영상 프레임마다 기준 영상 정보를 추출하도록 구성될 수 있다.For example, in the case of 60 Hz, 60 image frame data are transmitted to the screen in one second, and each image frame data forms one image data. Therefore, when the even-numbered image frame is set to a specific frame, the reference image information extraction module can be configured to extract the reference image information for every even-numbered image frame.

또한, 60개의 영상 프레임 데이터 중 설정된 특정 프레임(예를 들어, 30번째 영상 프레임 데이터)의 영상 데이터를 추출하여 기준 영상 정보를 추출할 수 있다. 도 4는 본 발명의 바람직한 실시예에 따른 면 단위 영상 정보를 기준 영상 정보로 설정된 것을 도시한 것이다.Also, the reference image information can be extracted by extracting image data of a specific frame (for example, 30th image frame data) set out of 60 image frame data. FIG. 4 is a view illustrating that face-based image information according to a preferred embodiment of the present invention is set as reference image information.

도 4를 참조하면, 기준 영상 정보는 특정 화소의 군집체인 특정 화소군의 영상 정보로 구성될 수 있다.Referring to FIG. 4, reference image information may be composed of image information of a specific pixel group which is a cluster of a specific pixel.

보다 구체적으로, 도 4a와 같이 기준 영상 정보가 다수 개의 특정 화소군으로 설정될 수 있으며, 기준 영상 정보 추출 모듈은 각 특정 화소군의 영상 정보만을 추출하게 된다. More specifically, as shown in FIG. 4A, the reference image information can be set to a plurality of specific pixel groups, and the reference image information extraction module extracts only the image information of each specific pixel group.

한편, 상기 특정 화소군의 화소 블렌딩 값(평균 값)을 영상 정보로 추출할 수 있다.On the other hand, the pixel blending value (average value) of the specific pixel group can be extracted as image information.

특정 화소군에 포함되는 모든 화소의 영상 정보를 추출할 경우 데이터량이 커지게 되므로 상기 특정 화소군에 포함된 모든 화소를 블렌딩할 경우 각 특정 화소군마다 하나의 블렌딩값 만을 가지게 되므로 데이터량을 감소시킬 수 있다.When the image information of all the pixels included in the specific pixel group is extracted, the amount of data becomes large. Therefore, when all the pixels included in the specific pixel group are blended, only one blending value is provided for each specific pixel group. .

이를 위해, 상기 기준 영상 정보 추출 모듈은 특정 화소군에 포함된 화소의 영상 정보를 블렌딩하여 평균 값을 산출하는 블렌딩 모듈을 포함할 수 있다.To this end, the reference image information extraction module may include a blending module for calculating an average value by blending image information of pixels included in a specific pixel group.

예를 들어, 해상도 1920 * 1080인 경우 (1900, 1060) ~ (1920, 1080)이 하나의 화소군인 경우 가로 1900, 세로 1060부터 가로 1920, 세로 1080번째에 속하는 400개 화소의 영상 정보(RGB값)를 블렌딩한 평균 RGB값을 추출하게 된다.For example, when the resolution is 1920 * 1080, the image information (RGB values) of 400 pixels belonging to 1900, 1060, 1920, and 1080th pixels in the case of (1900, 1060) ) Is blended to extract the average RGB value.

그리고 도 4b와 같이 전체 화면을 다수 개의 분면으로 분할하고, 상기 분할된 분면의 블렌딩된 평균 값을 기준 영상 정보로 설정할 수 있다. 여기서, 분할되는 최소 하나 이상의 분면이면, 임의로 설정할 수 있다.As shown in FIG. 4B, the entire screen may be divided into a plurality of partial surfaces, and the blended average value of the divided partial surfaces may be set as the reference image information. Here, if at least one divided surface is divided, it can be arbitrarily set.

도 5는 본 발명의 바람직한 실시예에 따른 선 단위 영상 정보를 기준 영상 정보로 설정된 것을 도시한 것이다.FIG. 5 is a diagram illustrating line-based image information according to a preferred embodiment of the present invention set as reference image information.

도 5를 참조하면, 기준 영상 정보 추출 모듈은 특정 가로 또는 세로 좌표에서 선형 좌표에 해당하는 화소를 기준 화소로 설정하여 추출할 수 있다.Referring to FIG. 5, the reference image information extraction module may extract and set a pixel corresponding to a linear coordinate in a specific horizontal or vertical coordinate as a reference pixel.

또한, 선 단위로 추출된 화소의 영상 정보를 블렌딩한 평균값을 추출할 수 있음은 자명한 것이다. 상기와 같이 기준 영상 정보 추출 모듈을 통해 기준 영상 정보가 추출되면 어플리케이션 서버로 상기 추출된 기준 영상 정보를 전송한다.Also, it is obvious that the average value obtained by blending the image information of the pixels extracted in the line unit can be extracted. When the reference image information is extracted through the reference image information extraction module, the extracted reference image information is transmitted to the application server.

기본적으로, TV 수신기는 IP를 가지고 양방향 통신이 가능한 컴퓨팅 기기이므로 어플리케이션 서버와 인터넷망을 통해 데이터 송수신이 가능하다.Basically, the TV receiver is a computing device capable of bidirectional communication with IP, so data can be transmitted and received through the application server and the Internet network.

상기 어플리케이션 서버(20)는 데이터베이스에 저장되는 모든 채널의 기준 영상 정보를 관리하는 채널 관리부(210)와 상기 TV 수신기로부터 수신된 기준 영상 정보와 상기 채널 관리부로부터 전송된 현재 방송중인 각 채널의 모든 채널의 기준 영상 정보를 비교하여 일치하는 채널을 추출하여 채널을 판정하는 채널 판정부(220) 및 상기 모든 채널의 기준 영상 정보, TV 수신기 정보 및 방송 중인 채널에 매핑되는 어플리케이션을 관리하는 어플리케이션 관리부(230)와 상기 모든 채널의 기준 영상 정보, 어플리케이션을 저장하는 데이터베이스(240)를 포함하여 구성될 수 있다.The application server 20 includes a channel management unit 210 for managing reference image information of all channels stored in a database, reference image information received from the TV receiver, and all channels of each currently broadcast channel transmitted from the channel management unit A channel determination unit 220 for comparing the reference video information of the channel with the reference video information and extracting a matching channel to determine a channel, and an application management unit 230 for managing applications mapped to reference video information, TV receiver information, And a database 240 for storing reference image information and applications of all the channels.

여기서, 상기 어플리케이션은 방송 중인 채널과 관련된 각종 영상 컨텐츠 정보를 포함한다. 예를 들어, 방송 중인 채널이 홈쇼핑 채널이라면 방송 중인 홈쇼핑 상품의 구매를 위한 상품 구매 어플리케이션과 같이 방송중인 채널과 관련하여 제작되고, 설치되는 모든 어플리케이션을 포함할 수 있다.Here, the application includes various image content information related to a channel being broadcasted. For example, if the channel being broadcast is a home shopping channel, it may include all applications that are manufactured and installed in relation to a channel being broadcast, such as a product purchase application for purchasing a home shopping product on air.

상기 채널 관리부(210)는 현재 방송 중인 모든 채널로부터 설정된 기준 영상 정보만을 추출하여 생성된 모든 채널의 기준 영상 정보를 관리하는 역할을 담당한다.The channel management unit 210 manages reference video information of all channels generated by extracting only reference video information from all channels currently broadcasting.

여기서, 상기 모든 채널의 기준 영상 정보는 각 채널에 송출되는 프로그램 중 설정된 기준 영상 정보를 추출한 정보를 의미하고, 프로그램의 기준 영상 정보를 프로그램의 전체 러닝타임보다 적은 시간으로 쪼개어 저장하고, 이를 비교 검색하여 영상 컨텐츠를 제공하거나 영상 컨텐츠의 정보를 제공할 수 있다.Herein, the reference image information of all the channels means information extracted from the set reference image information among the programs transmitted to each channel, and the reference image information of the program is divided and stored in a time shorter than the entire running time of the program, Thereby providing image contents or providing information of the image contents.

상기 채널 판정부(220)는 상기 TV 수신기로부터 수신된 기준 영상 정보에 포함된 식별정보로부터 TV 수신기를 식별하는 TV수신기 식별모듈(221)과 상기 기준 영상 정보와 모든 채널의 기준 영상 정보를 비교하여 일치하는 채널을 추출하여 시청 채널을 판정하는 채널 판정 모듈(222)을 포함하여 구성될 수 있다.The channel determination unit 220 compares the reference image information with the reference image information of all the channels by a TV receiver identification module 221 that identifies the TV receiver from the identification information included in the reference image information received from the TV receiver And a channel determination module 222 for extracting coincident channels and determining viewing channels.

상기 어플리케이션 관리부(230)는 상기 채널 판정부(220)로부터 시청중인 채널이 판정되면, 상기 시청중인 채널에 매핑되는 어플리케이션 정보를 데이터베이스(240)로부터 추출하여 인터넷 망을 통해 상기 TV수신기로 송신한다.When the channel being watched is determined, the application management unit 230 extracts application information mapped to the channel being watched from the database 240 and transmits the application information to the TV receiver through the Internet network.

상기 TV수신기는 상기 수신된 어플리케이션 정보를 수신하여, 영상 출력부를 통해 출력되는 영상 데이터에 믹싱하여 송출한다.The TV receiver receives the received application information, mixes it with video data output through a video output unit, and transmits the mixed video data.

그리고 상기 어플리케이션 정보를 시청한 시청자가 어플리케이션 상세 정보를 요청할 경우 상기 어플리케이션 관리부(230)가 상기 데이터베이스(240)로부터 상기 상세 정보에 해당되는 어플리케이션을 추출하여 TV 수신기로 전송하고, 상기 수신된 어플리케이션을 설치하거나, 포함된 컨텐츠를 메모리(미도시)에 저장한다.When the viewer who has viewed the application information requests application detailed information, the application management unit 230 extracts the application corresponding to the detailed information from the database 240 and transmits the extracted application to the TV receiver, Or stores the contained contents in a memory (not shown).

여기서, 상기 어플리케이션 상세 정보는 특정 기능을 실행하는 프로그램 또는 각종 컨텐츠로 구성된 데이터를 포함할 수 있다. 상기 컨텐츠는 영상 컨텐츠를 포함할 수 있다.Here, the application detailed information may include a program for executing a specific function or data composed of various contents. The content may include image content.

이하, 구체적인 채널 판정 방법에 대해 살펴보기로 한다.Hereinafter, a specific channel determination method will be described.

점 단위의 화소가 기준 영상 정보로 설정된 경우는 상기 채널 판정 모듈(222)은 기준 영상 정보로 설정된 특정 화소의 화소값(RGB값)을 비교하여 일치하는 모든 채널의 기준 영상 정보에 대응되는 채널을 시청중인 채널로 판정한다.When the pixel unit is set as the reference image information, the channel determination module 222 compares the pixel value (RGB value) of the specific pixel set as the reference image information with the channel corresponding to the reference image information of all matching channels It is determined that the channel is being watched.

또한, 상기 기준 정보가 다수개의 화소로 구성되는 경우 상기 다수개의 화소 간의 차이를 측정하고, 상기 측정된 화소 간의 차이 값을 비교하여 채널을 판정할 수 있다.In addition, when the reference information is composed of a plurality of pixels, the difference between the plurality of pixels may be measured, and the difference between the measured pixels may be compared to determine the channel.

보다 구체적으로, 화소간의 차이(d)는 하기의 수학식에 의해 산출할 수 있다.More specifically, the difference d between pixels can be calculated by the following equation.

Figure 112012011440625-pat00001
Figure 112012011440625-pat00001

여기서, pn, pm은 n, m에 해당하는 특정 화소에 대한 RGB 값이고, x,y,z는 R,G,B 의 비트값을 나타내고, d(pn, pm)은 pn과 pm의 화소 차이를 거리 개념으로 도식화 하는 값으로, 이 값의 차이가 적을수록 두 화소가 유사성이 높게된다.Here, pn and pm are RGB values for a specific pixel corresponding to n and m, x, y and z represent bit values of R, G and B, and d (pn, pm) As a distance concept, and the smaller the difference is, the higher the similarity of the two pixels.

그리고 기준 영상 정보가 도 4와 같이 특정 화소의 군집체인 특정 화소군의 영상 정보로 구성되는 경우 TV 수신기로부터 수신된 상기 각 특정 화소군의 영상 정보의 화소값(RGB값)과 모든 채널의 기준 영상 정보의 화소값(RGB)을 비교하여 일치하는 채널을 시청중인 채널로 판정한다. 4, when the pixel value (RGB value) of the image information of each specific pixel group received from the TV receiver and the reference image of all the channels And compares the pixel values (RGB) of the information with each other to determine a coincident channel as a channel being watched.

한편, 전술한 바와 같이 상기 특정 화소군의 화소 블렌딩 값(평균 값)을 영상 정보로 추출할 수 있다.On the other hand, as described above, the pixel blending value (average value) of the specific pixel group can be extracted as image information.

그리고 기준 영상 정보가 도 6과 같이 특정 가로 또는 세로 좌표에서 선형 좌표에 해당하는 화소로 설정된 경우 선 단위로 추출된 화소의 영상 정보를 블렌딩한 평균값을 비교하여 채널을 판정할 수 있다.When the reference image information is set to a pixel corresponding to a linear coordinate in a specific horizontal or vertical coordinate as shown in FIG. 6, the channel can be determined by comparing the average value blended with the image information of the pixel extracted in the line unit.

또한, 상기 채널 판정 모듈은 상기 선 단위로 기준 화소를 설정하는 경우 선형 좌표에 해당하는 화소를 연결한 그래프를 비교하거나, 압축 함수를 통해 비교할 수 있다.In addition, when the reference pixel is set in the line unit, the channel determination module may compare the graphs connected with the pixels corresponding to the linear coordinates, or may compare the graph with a compression function.

먼저, 도 6a와 같이 기준 영상 추출 모듈이 가로 또는 세로의 선형 좌표에서 각 화소(pn)의 R,G,B값을 각각 나열한 R,G,B 각각의 RGB 그래프를 생성할 수 있으며, 상기 생성된 RGB 그래프와 도 6b와 같이 기준 RGB 그래프의 포락선을 비교하거나, 설정된 RGB값을 초과하는 화소의 위치와 기준 RGB 그래프를 비교하여 채널을 판정할 수 있다.First, as shown in FIG. 6A, the reference image extraction module can generate R, G, and B RGB graphs of R, G, and B values of each pixel pn in horizontal or vertical linear coordinates, As shown in FIG. 6B, the envelope of the reference RGB graph may be compared with the RGB graph of FIG. 6B, or the channel may be determined by comparing the position of the pixel exceeding the set RGB value with the reference RGB graph.

또한, 상기 RGB 그래프의 포락선 상의 특정 지점 간의 기울기를 비교하여 채널을 판정할 수 있다.In addition, the channel can be determined by comparing the slopes between specific points on the envelope of the RGB graph.

상기와 같이 채널 판정부를 통해 TV 수신기를 통해 시청 중인 채널이 판정되면 데이터 베이스에 저장된 채널에 매핑된 어플리케이션을 추출하여 TV 수신기로 전송한다.If the channel being watched through the TV receiver is determined through the channel determination unit as described above, the application mapped to the channel stored in the database is extracted and transmitted to the TV receiver.

<제 2 실시예>&Lt; Embodiment 2 >

상기 제 1 실시예는 TV 수신기가 시청자가 시청중인 채널의 기준 영상 정보를 어플리케이션 서버로 전송하고, 상기 어플리케이션 서버가 상기 기준 영상 정보를 분석하여 채널을 판정하는 방식인데 반하여, 제 2 실시예는 어플리케이션 서버로부터 전송된 모든 채널의 기준 영상 정보로부터 TV 수신기가 직접 채널을 판정하는 방식이다.In the first embodiment, the TV receiver transmits reference video information of a channel that a viewer is viewing to an application server, and the application server analyzes the reference video information to determine a channel. On the contrary, The TV receiver directly determines the channel from the reference image information of all channels transmitted from the server.

도 7은 본 발명의 제 2 실시예에 따른 채널 판정 시스템을 개략적으로 도시한 시스템 구성도이다.7 is a system configuration diagram schematically showing a channel determination system according to a second embodiment of the present invention.

도 7을 참조하면, 본 발명의 제 2 실시예에 따른 채널 판정 시스템은 현재 시청 중인 채널의 영상 데이터 중 기준 영상 정보를 추출하고, 어플리케이션 서버로부터 전송된 모든 채널의 기준 영상 정보와 비교하여 채널을 판정하여 상기 어플리케이션 서버로 시청 채널 정보를 송신하는 TV 수신기(30)와 상기 TV 수신기로 모든 채널의 기준 영상 정보를 전송하고, 상기 TV 수신기로부터 판정된 시청 채널 정보를 관리하는 어플리케이션 서버(40)를 포함하여 구성될 수 있다.Referring to FIG. 7, the channel determination system according to the second embodiment of the present invention extracts reference image information from the image data of the currently viewed channel, compares the reference image information with reference image information of all channels transmitted from the application server, An application server (40) for transmitting reference channel information of all channels to the TV receiver and managing viewing channel information determined by the TV receiver And the like.

여기서, 상기 TV 수신기(30)는 영상 데이터를 수신받는 영상 데이터 수신모듈(310)과 상기 수신된 영상 데이터 중 채널 판정을 위한 기준 영상 정보를 추출하는 기준 영상 정보 추출모듈(320)과 상기 어플리케이션 서버로부터 수신된 모든 채널의 기준 영상 정보와 현재 시청 중인 채널의 기준 영상 정보를 비교하여 일치하는 채널을 추출하여 채널을 판정하는 채널 판정모듈(330)을 포함하여 구성될 수 있다.Here, the TV receiver 30 includes a video data receiving module 310 receiving video data, a reference video information extracting module 320 extracting reference video information for channel determination among the received video data, And a channel determination module 330 for comparing the reference image information of all the channels received from the reference image information of the current channel and the reference image information of the currently viewed channel to extract a matching channel to determine a channel.

즉, 제 1 실시예의 어플리케이션 서버(20)에 포함되는 채널 판정부(220)가 제 2 실시예에서는 TV 수신기(30)의 채널 판정 모듈(330)로 대체된다. 따라서, 제 1 실시예는 어플리케이션 서버가 모든 TV 수신기의 채널을 통합적으로 판정하는 방식인 데 반하여, 제 2 실시예는 TV 수신기가 독립적으로 채널을 판정하는 방식으로 구분된다. That is, the channel determination unit 220 included in the application server 20 of the first embodiment is replaced with the channel determination module 330 of the TV receiver 30 in the second embodiment. Accordingly, the first embodiment is a method in which an application server integrally determines channels of all TV receivers, whereas the second embodiment is divided into a method in which a TV receiver independently determines channels.

이에 따라, 상기 어플리케이션 서버(40)는 방송 중인 채널에 매핑되는 어플리케이션을 저장 관리하는 데이터베이스(430)와 상기 TV 수신기로부터 수신된 시청 채널 정보를 상기 데이터베이스에 저장 관리하는 채널 관리부(410) 및 상기 채널 판정부를 통해 판정된 채널에 매핑된 어플리케이션을 상기 데이터베이스로부터 추출하여 상기 TV 수신기로 전송하는 어플리케이션 관리부(420)를 포함하여 구성될 수 있다.Accordingly, the application server 40 may include a database 430 for storing and managing applications mapped to a broadcasting channel, a channel management unit 410 for storing and managing viewing channel information received from the TV receiver in the database, And an application manager 420 for extracting an application mapped to the channel determined by the determination unit from the database and transmitting the extracted application to the TV receiver.

상기 제 1 실시예에서 어플리케이션 서버의 채널 판정부가 수행하는 채널 판정 방법과 제 2 실시예에서 TV 수신기의 채널 판정 모듈이 수행하는 채널 판정 방식은 동일하므로 구체적인 채널 판정 방법에 대해서는 생략하기로 한다.The channel determination method performed by the channel determination unit of the application server in the first embodiment is the same as the channel determination method performed by the channel determination module of the TV receiver in the second embodiment, and thus a detailed channel determination method will be omitted.

이상에서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 본 발명의 보호범위는 상기 실시예에 한정되는 것이 아니며, 해당 기술분야의 통상의 지식을 갖는 자라면 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention.

10 : TV 수신기 20 : 어플리케이션 서버10: TV receiver 20: application server

Claims (11)

영상 데이터를 수신받는 영상 데이터 수신모듈과 상기 수신된 영상 데이터 중 채널 판정을 위한 기준 영상 정보를 추출하는 기준 영상 정보 추출모듈과 상기 수신된 영상 데이터를 출력하는 영상 출력 모듈을 포함하여 현재 시청 중인 채널의 영상 데이터 중 기준 영상 정보를 추출하는 TV 수신기와;
방송 중인 채널에 매핑되는 어플리케이션을 저장 관리하는 데이터베이스와 상기 데이터베이스에 저장되는 모든 채널의 기준 영상 정보를 관리하는 채널 관리부와 상기 TV 수신기로부터 수신된 기준 영상 정보와 현재 방송중인 각 채널의 기준 영상 정보를 비교하여 일치하는 채널을 추출하여 채널을 판정하는 채널 판정부 및 상기 채널 판정부를 통해 판정된 채널에 매핑된 어플리케이션을 상기 데이터베이스로부터 추출하여 상기 TV 수신기로 전송하는 어플리케이션 관리부를 포함하여 상기 TV 수신기로부터 추출된 기준 영상 정보와 모든 채널의 기준 영상 정보를 비교하여 일치하는 채널을 추출하여 채널을 판정하는 어플리케이션 서버를 포함하고;
상기 채널 판정부는
상기 기준 영상 정보는 선 단위로 가로 및 세로 선으로 연결된 좌표에 해당하는 화소 들의 영상 정보로 설정되고,
상기 가로 또는 세로 선의 선형 좌표에서 각 화소(pn)의 R,G,B값을 각각 나열하여 생성된 R,G,B 각각의 RGB 그래프와 기준 RGB 그래프의 포락선을 비교하거나, 설정된 RGB값을 초과하는 화소의 위치와 기준 RGB 그래프를 비교하여 채널을 판정하는 것을 특징으로 하는 채널 판정 시스템.
A reference image information extracting module for extracting reference image information for determining a channel among the received image data and a video output module for outputting the received video data, A TV receiver for extracting reference image information from the image data of the image data;
A channel management unit for managing reference image information of all channels stored in the database; a reference management unit for receiving reference image information received from the TV receiver and reference image information of each channel currently being broadcasted; And extracting from the database an application mapped to the channel determined by the channel determination unit and transmitting the extracted application to the TV receiver, wherein the application management unit extracts And an application server for comparing the reference image information and the reference image information of all channels to extract a matching channel to determine a channel;
The channel determination unit
Wherein the reference image information is set as image information of pixels corresponding to coordinates connected by horizontal and vertical lines in a line unit,
G and B generated by arranging the R, G, and B values of each pixel pn in the horizontal or vertical linear coordinates, and comparing the envelope of the RGB graph of each of the R, G, and B with the reference RGB graph, And compares the position of the pixel with the reference RGB graph to determine the channel.
삭제delete 삭제delete 영상 데이터를 수신받는 영상 데이터 수신모듈과 상기 수신된 영상 데이터 중 채널 판정을 위해 현재 시청중인 채널의 기준 영상 정보를 추출하는 기준 영상 정보 추출모듈과 어플리케이션 서버로부터 수신된 모든 채널의 기준 영상 정보와 상기 추출된 기준 영상 정보를 비교하여 일치하는 채널을 추출하여 판정하는 채널 판정모듈을 포함하는 TV 수신기와;
방송 중인 채널에 매핑되는 어플리케이션을 저장 관리하는 데이터베이스와 상기 TV 수신기로부터 수신된 시청 채널 정보를 상기 데이터베이스에 저장 관리하는 채널 관리부 및 상기 채널 관리부에 저장된 시청 채널에 매핑된 어플리케이션을 상기 데이터베이스로부터 추출하여 상기 TV 수신기로 전송하는 어플리케이션 관리부를 포함하는 어플리케이션 서버를 포함하고;
상기 채널 판정모듈은
상기 기준 영상 정보는 선 단위로 가로 및 세로 선으로 연결된 좌표에 해당하는 화소 들의 영상 정보로 설정되고,
상기 가로 또는 세로 선의 선형 좌표에서 각 화소(pn)의 R,G,B값을 각각 나열하여 생성된 R,G,B 각각의 RGB 그래프와 기준 RGB 그래프의 포락선을 비교하거나, 설정된 RGB값을 초과하는 화소의 위치와 기준 RGB 그래프를 비교하여 채널을 판정하는 것을 특징으로 하는 채널 판정 시스템.
A reference image information extraction module for extracting reference image information of a channel currently being watched for determining a channel among the received image data, a reference image information extraction module for extracting reference image information of all channels received from the application server, A TV receiver including a channel determination module for comparing the extracted reference image information to extract a matching channel and determining the channel;
A database for storing and managing an application mapped to a broadcasting channel; a channel management unit for storing and managing viewing channel information received from the TV receiver in the database; and an application mapped to the viewing channel stored in the channel management unit, An application server including an application management unit for transmitting the application program to a TV receiver;
The channel determination module
Wherein the reference image information is set as image information of pixels corresponding to coordinates connected by horizontal and vertical lines in a line unit,
G and B generated by arranging the R, G, and B values of each pixel pn in the horizontal or vertical linear coordinates, and comparing the envelope of the RGB graph of each of the R, G, and B with the reference RGB graph, And compares the position of the pixel with the reference RGB graph to determine the channel.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제 1항 또는 제 4항에 있어서,
상기 채널 관리부는
상기 기준 영상 정보로 프로그램의 기준 영상 정보를 프로그램의 전체 러닝타임보다 적은 시간으로 쪼개어 저장 관리하고,
상기 어플리케이션 관리부가 상기 기준 영상 정보를 비교, 검색하여 컨텐츠를 제공하거나 컨텐츠의 정보를 제공하는 것을 특징으로 하는 채널 판정 시스템.
The method according to claim 1 or 4,
The channel management unit
The reference image information of the program is divided into a time shorter than the entire running time of the program,
Wherein the application management unit compares and searches the reference image information to provide content or provide information on the content.
KR1020120014366A 2011-10-24 2012-02-13 Decision System Of Channel KR101426811B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110108840 2011-10-24
KR1020110108840 2011-10-24

Publications (2)

Publication Number Publication Date
KR20130045141A KR20130045141A (en) 2013-05-03
KR101426811B1 true KR101426811B1 (en) 2014-08-05

Family

ID=48657389

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120014366A KR101426811B1 (en) 2011-10-24 2012-02-13 Decision System Of Channel

Country Status (1)

Country Link
KR (1) KR101426811B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050014945A (en) * 2003-08-01 2005-02-21 (주)바이웍스 System for Providing Data Service Associated to Television Broadcasting Service
JP2005051716A (en) * 2003-07-31 2005-02-24 Nec Corp Audience survey system and method, program for audience survey, and audience survey terminal and server

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005051716A (en) * 2003-07-31 2005-02-24 Nec Corp Audience survey system and method, program for audience survey, and audience survey terminal and server
KR20050014945A (en) * 2003-08-01 2005-02-21 (주)바이웍스 System for Providing Data Service Associated to Television Broadcasting Service

Also Published As

Publication number Publication date
KR20130045141A (en) 2013-05-03

Similar Documents

Publication Publication Date Title
US11659220B2 (en) System and method for surveying broadcasting ratings
CN106233747B (en) Identification Data generating means and method, image identification device and recording medium
KR102258407B1 (en) Fingerprint layouts for content fingerprinting
KR102105313B1 (en) Generating a sequence of audio fingerprints at a set top box
CN102467661B (en) Multimedia device and method for controlling the same
US8345917B2 (en) Image processing system and viewership effect measuring method
US20140002749A1 (en) Generating a Sequence of Audio Fingerprints at a Set Top Box
US11902598B2 (en) Optimized content delivery
CN101365102B (en) Audience rating statistical method and system based on video content recognition
KR20180030565A (en) Detection of Common Media Segments
US10390083B2 (en) Video fingerprinting based on fourier transform of histogram
JP6424339B2 (en) Display control apparatus and display control method
US8826318B2 (en) Image based interactive ticker system in television signal
KR101426811B1 (en) Decision System Of Channel
EP3323244A1 (en) System and method for improving work load management in acr television monitoring system
US20140223472A1 (en) Method to enhance a video content in a receiving device
KR101453788B1 (en) Method for providing logotional advertisement using object recognition based on smart-TV
KR101143942B1 (en) Method for detecting broadcast provider and system thereof
JP6479062B2 (en) Data distribution system and data distribution method
JP2018050270A (en) Content provision device, content provision method, and content management system
KR101760752B1 (en) Method and system for providing information with screen scanning
KR20140075655A (en) Method for providing logotional advertisement using object recognition based on smart-TV
KR20120080326A (en) Apparatus and method for audience measurement in multimedia streaming system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
LAPS Lapse due to unpaid annual fee