KR102202316B1 - Interactive media content supply system - Google Patents

Interactive media content supply system Download PDF

Info

Publication number
KR102202316B1
KR102202316B1 KR1020200076618A KR20200076618A KR102202316B1 KR 102202316 B1 KR102202316 B1 KR 102202316B1 KR 1020200076618 A KR1020200076618 A KR 1020200076618A KR 20200076618 A KR20200076618 A KR 20200076618A KR 102202316 B1 KR102202316 B1 KR 102202316B1
Authority
KR
South Korea
Prior art keywords
image
unit
image sensor
music
sensor module
Prior art date
Application number
KR1020200076618A
Other languages
Korean (ko)
Inventor
유성운
Original Assignee
주식회사 푸름엘엔티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 푸름엘엔티 filed Critical 주식회사 푸름엘엔티
Priority to KR1020200076618A priority Critical patent/KR102202316B1/en
Application granted granted Critical
Publication of KR102202316B1 publication Critical patent/KR102202316B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention provides an interactive media content provision system, which is a system for providing a media content within a predetermined space provided with a table, including: a sound input unit for receiving a sound within the predetermined space; an image sensor including an image sensor module having an infrared cut-off filter, and an infrared image sensor module for capturing an infrared image; an image analysis unit for monitoring movement and temperature variations of a human body and an object from an image obtained by combining images acquired from the image sensor module and the infrared image sensor module, and recognizing a pattern of the movement and temperature variations to determine whether the recognized pattern corresponds to a preset pattern; a music database for storing a music content corresponding to the preset pattern; and a music reproduction control unit for performing control to reproduce a music corresponding to the pattern from the music database through a sound output unit when movement and temperature variations corresponding to the preset pattern is detected by the image analysis unit.

Description

인터렉티브 미디어 컨텐츠 제공 시스템{Interactive media content supply system}Interactive media content supply system

본 발명은 인터렉티브 미디어 컨텐츠 출력 시스템에 관한 것으로서, 보다 상세하게는 일정 공간 내에 대상자의 행동 및 상황에 반응하여 미디어 컨텐츠의 선정 및 출력을 하는 시스템에 관한 것이다.The present invention relates to an interactive media content output system, and more particularly, to a system for selecting and outputting media content in response to an action and situation of a subject in a predetermined space.

최근 인터넷 및 각종 통신기기의 발전으로 인해, 인터넷 등의 온라인망을 통해 제공되는 서비스는 점차 다종 다 양해지고 있다. 즉, 인터넷에 접속하는 사용자는 온라인 망을 통해, 자료 검색, 주식 거래, 은행 업무, 게임, 채팅, 음악, 영화 및 드라마 등 각종 동영상 감상 등의 작업을 자유로이 즐길 수 있게 되었다. 다만, 이와 같은 작업들은 클라이언트 단말기가 특정 서버로부터 일방적으로 전송되는 컨텐츠를 활용하는 것에 그치므로 사용자들의 욕구를 충족시키지 못하는 문제점이 있다.With the recent development of the Internet and various communication devices, services provided through online networks such as the Internet are gradually diversifying. In other words, users who access the Internet can freely enjoy tasks such as data search, stock trading, banking, games, chatting, music, movies, and watching various videos, such as dramas, through an online network. However, since such tasks are limited to using the content transmitted unilaterally from a specific server by the client terminal, there is a problem in that it does not satisfy the needs of users.

또한 컨텐츠의 제공이 사용자의 설정 등 수동적인 방식에 의하여 그 제공방법 등이 결정됨으로써 능동적인 컨텐츠의 제공이 어려운 측면이 있다.In addition, since the provision of contents is determined by a passive method such as a user's setting, it is difficult to provide active contents.

등록특허 10-1181300는 직각 및 정면의 2대의 저가형 카메라를 이용한 사용자 영상처리 방식 기반의 동작 인식정보 좌표화를 통해 고정밀성을 요구하지 않는 실감콘텐츠 재생 시스템에서 콘텐츠 인터랙션 처리 기능을 수행하도록 함으로써 교육, 학습 또는 홍보 목적의 공공서비스 기반 사용자 체험형 실감콘텐츠의 체험 공간 내의 사용자의 손, 발의 움직임을 통해 스크린 상의 콘텐츠와 인터랙션을 수행하면서 실시간 효과 및 반응을 피드백하는 실감콘텐츠 재생 시스템을 구축할 수 있도록 한 멀티카메라기반의 동작인식 처리방법을 제공한다.Registered Patent 10-1181300 teaches, by performing a content interaction processing function in a sensory content reproduction system that does not require high precision through the coordinates of motion recognition information based on a user image processing method using two low-cost cameras at right angles and front. It is possible to build a realistic content playback system that provides feedback on real-time effects and reactions while interacting with the content on the screen through the movement of the hands and feet of the user in the experience space of user experience-type realistic content based on public services for learning or promotion purposes. It provides a multi-camera-based motion recognition processing method.

이와 같이 사용자의 행동에 반응하여 미디어를 출력하거나 제공하는 것을 인터렉티브 방식의 미디어 제공시스템이라고 하며, 이러한 방식의 시스템은 최근 증가하는 추세이다.In this way, outputting or providing media in response to a user's behavior is referred to as an interactive media providing system, and this type of system has recently increased.

카페 또는 레스토랑과 같이 일정한 공간에서 식사 등을 하는 경우 업주 측에서 제공하는 음악 등을 일방적으로 제공하는 것으로부터 탈피하여 식사나 해당 공간내에서의 상황에 적합하도록 음악 등의 미디어 컨텐츠가 제공될 수 있는 시스템을 제공한다.When eating in a certain space such as a cafe or restaurant, media content such as music can be provided to suit the situation within the space or dining by breaking away from unilateral provision of music provided by the business owner. System.

테이블이 구비된 일정 공간 내의 미디어 컨텐츠를 제공하는 시스템에 있어서, 본 발명에 따른 인터렉티브 미디어 컨텐츠 제공 시스템은 상기 일정 공간 내의 소리를 입력받는 사운드 입력부; 적외선 차단 필터를 구비하는 이미지센서 모듈과, 적외선 이미지를 촬영하는 적외선 이미지 센서 모듈을 포함하는 영상센서; 상기 이미지 센서 모듈과 적외선 이미지 센서 모듈로부터 취득한 이미지를 조합한 이미지로부터 인체 및 사물의 움직임과 온도 변화를 모니터링하고, 상기 움직임 및 온도 변화의 패턴을 인식하여 기 설정된 패턴에 대응하는지를 판단하는 영상분석부; 상기 설정된 패턴에 대응하는 음악 컨텐츠가 저장되는 음악 데이터베이스; 및 A system for providing media content in a predetermined space equipped with a table, wherein the interactive media content providing system according to the present invention comprises: a sound input unit receiving sound in the predetermined space; An image sensor including an image sensor module including an infrared cut filter and an infrared image sensor module for photographing an infrared image; An image analysis unit that monitors the movement and temperature change of the human body and objects from the combined image of the image sensor module and the image acquired from the infrared image sensor module, recognizes the pattern of movement and temperature change, and determines whether it corresponds to a preset pattern ; A music database in which music content corresponding to the set pattern is stored; And

상기 영상분석부에 의하여 기 설정된 패턴에 대응하는 움직임 및 온도 변화가 감지되는 경우 상기 음악 데이터베이스로부터 해당 패턴에 대응하는 음악을 사운드 출력부를 통하여 재생되도록 제어하는 음악 재생제어부;를 포함한다.And a music reproduction control unit for controlling music corresponding to the pattern from the music database to be reproduced through a sound output unit when movement and temperature changes corresponding to a preset pattern are detected by the image analysis unit.

또한 상기 영상분석부는, 상기 이미지 센서 모듈에서 촬영된 영상을 모폴로지 처리, 윤곽선 검출, 이미지 컨투어 처리 및 컨투어 근사법 적용을 통하여 상기 일정 공간 내 사물의 외곽선을 인식하는 외곽선 인식부;를 포함할 수 있다.In addition, the image analysis unit may include an outline recognition unit that recognizes the outline of the object in the predetermined space through morphology processing, contour detection, image contour processing, and applying a contour approximation method on the image captured by the image sensor module.

또한 상기 영상분석부는 상기 적외선 이미지 모듈로부터 촬영된 영상을 통하여 인체의 수 및 중심 위치를 선정하고, 상온에 비하여 높은 온도를 갖는 객체의 수 및 위치를 검출하는 발열체 검출부;를 포함할 수 있다.In addition, the image analysis unit may include a heating element detection unit that selects the number and center position of the human body through the image photographed from the infrared image module, and detects the number and position of objects having a higher temperature than room temperature.

또한 상기 영상분석부는, 상기 외곽선 인식부 및 상기 발열체 검출부로부터 외곽선 및 발열체 데이터를 전달받아 각각의 인체를 포함하는 발열체에 대한 외곽선을 매칭시키는 외곽선 설정부; 및 상기 외곽선 설정부에 의하여 외곽선이 설정된 식기 및 인체를 모니터링하여 식기 수와 종류의 변화, 식기의 온도 변화, 상기 인체의 동작이 기 설정된 패턴에 부합하는지를 판정하여 상기 음악 재생제어부에 전달하는 모니터링부;를 포함할 수 있다.In addition, the image analysis unit may include an outline setting unit for receiving an outline and heating element data from the outline recognition unit and the heating element detection unit and matching the outlines of the heating elements including the human body; And a monitoring unit that monitors dishes and a human body whose outlines are set by the outline setting unit, determines whether the number and type of dishes, changes in temperature of the dishes, and movements of the human body conform to a preset pattern, and transmits them to the music reproduction control unit. May include;

또한 상기 음악 재생제어부는 상기 사운드 입력부를 통하여 입력되는 사운드 중 사람의 목소리 대역의 사운드가 일정 시간 이상 입력되는 경우 상기 사운드 출력부를 통하여 출력되는 사운드의 출력을 낮출 수 있다.In addition, the music reproduction control unit may lower the output of the sound output through the sound output unit when the sound of the human voice band is input for a predetermined time or longer among sounds input through the sound input unit.

본 발명에 따른 인터렉티브 미디어 컨텐츠 제공 시스템은 정확한 인체 및 사물의 움직임을 포착하고, 온도에 따른 분위기의 변화를 감지함으로써 상황을 정확하게 파악하고 이에 적합한 컨텐츠를 제공함으로써 실제 상황에서 영화의 한장면과 같은 방식으로 미디어 컨텐츠를 제공할 수 있다.The interactive media content providing system according to the present invention captures the exact movement of the human body and objects, detects the change of the atmosphere according to the temperature, accurately grasps the situation and provides the appropriate content, in the same way as a scene of a movie in an actual situation. Media content can be provided.

도 1은 본 발명에 따른 인터렉티브 미디어 컨텐츠 제공 시스템을 설명하기 위한 블록도이다.
도 2는 일 실시예에 따른 영상 분석부를 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 인터렉티브 미디어 컨텐츠 제공방법을 설명하기 위한 순서도이다.
도 4 내지 도 7은 일 실시예에 따른 이미지 처리를 순차적으로 나타내는 개략적인 이미지이다.1 is a block diagram illustrating an interactive media content providing system according to the present invention.
2 is a block diagram illustrating an image analysis unit according to an exemplary embodiment.
3 is a flowchart illustrating a method of providing interactive media content according to an exemplary embodiment.
4 to 7 are schematic images sequentially illustrating image processing according to an exemplary embodiment.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다. 특별한 정의나 언급이 없는 경우에 본 설명에 사용하는 방향을 표시하는 용어는 도면에 표시된 상태를 기준으로 한다. 또한 각 실시예를 통하여 동일한 도면부호는 동일한 부재를 가리킨다. 한편, 도면상에서 표시되는 각 구성은 설명의 편의를 위하여 그 두께나 치수가 과장될 수 있으며, 실제로 해당 치수나 구성간의 비율로 구성되어야 함을 의미하지는 않는다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. Unless there is a specific definition or reference, terms indicating directions used in this description are based on the state indicated in the drawings. In addition, the same reference numerals refer to the same members throughout each embodiment. On the other hand, each component displayed in the drawings may be exaggerated in thickness or dimensions for convenience of description, and does not mean that it should be configured in a ratio between the corresponding dimensions or components.

도 1 내지 도 2를 참조하여 인터렉티브 미디어 컨텐츠 제공 시스템을 설명한다. 도 1은 본 발명에 따른 인터렉티브 미디어 컨텐츠 제공 시스템을 설명하기 위한 블록도이고, 도 2는 일 실시예에 따른 영상 분석부를 설명하기 위한 블록도이다.An interactive media content providing system will be described with reference to FIGS. 1 to 2. 1 is a block diagram illustrating an interactive media content providing system according to the present invention, and FIG. 2 is a block diagram illustrating an image analysis unit according to an exemplary embodiment.

본 실시예에 따른 사운드 입력부(110)와 사운드 출력부(160)은 각각 일반적인 마이크와 스피커가 이에 해당할 수 있다. 즉, 사운드 입력부(110)는 마이크로폰 등의 카페 등의 일정한 영역 내에서 발생하는 소리를 녹음하는 장치이며, 사운드 출력부(160)는 음악 재생제어부(150)의 선택에 따라 선정된 음악 등을 출력한다. 다만, 유무선 타입이나 기타 구체적인 장치의 종류에는 제한이 없이 다양한 형태로 구현될 수 있다.The sound input unit 110 and the sound output unit 160 according to the present embodiment may correspond to a general microphone and a speaker, respectively. That is, the sound input unit 110 is a device for recording sound generated within a certain area such as a cafe such as a microphone, and the sound output unit 160 outputs music selected according to the selection of the music reproduction control unit 150 do. However, the type of wired/wireless type or other specific devices may be implemented in various forms without limitation.

영상센서(120)는 테이블이 구비된 일정 공간 내에서 미디어 컨텐츠를 제공하는 시스템의 영상 취득과 관련된 구성부이다. 영상센서(120)는 이미지센서 모듈과 적외선 이미지 센서 모듈을 포함한다. 이미지센서 모듈은 적외선 차단 필터를 구비하여 일반적인 가시광선에 의한 영상을 취득하고, 적외선 이미지 센서 모듈은 동일한 영상을 적외선 대역에서 촬영한다.The image sensor 120 is a component related to image acquisition of a system that provides media content within a predetermined space equipped with a table. The image sensor 120 includes an image sensor module and an infrared image sensor module. The image sensor module includes an infrared cut-off filter to acquire an image by general visible light, and the infrared image sensor module captures the same image in an infrared band.

영상분석부(130)는 외곽선 인식부(131), 발열체 검출부(133), 외곽선 설정부(135) 및 모니터링부(137)을 포함하며, 이미지 센서 모듈과 적외선 이미지 센서 모듈로부터 취득한 이미지를 조합한 이미지로부터 인체 및 사물의 움직임과 온도 변화를 모니터링하고, 인체 및 사물의 움직임 및 온도 변화의 패턴을 인식하여 기 설정된 패턴에 대응하는지를 판단한다.The image analysis unit 130 includes an outline recognition unit 131, a heating element detection unit 133, an outline setting unit 135, and a monitoring unit 137, and a combination of images acquired from an image sensor module and an infrared image sensor module. It monitors the movement and temperature change of the human body and objects from the image, recognizes the pattern of movement and temperature changes of the human body and objects, and determines whether it corresponds to a preset pattern.

구체적으로, 도 4 내지 도 7에 도시된 바와 같이 외곽선 인식부(131)는 이미지 센서 모듈에서 촬영된 영상을 모폴로지 처리, 윤곽선 검출, 이미지 컨투어 처리 및 컨투어 근사법 적용을 통하여 상기 일정 공간 내 사물의 외곽선 및 사물을 인식한다. 도 4 내지 도 7은 일 실시예에 따른 이미지 처리를 순차적으로 나타내는 개략적인 이미지이다.Specifically, as shown in FIGS. 4 to 7, the outline recognition unit 131 processes the image captured by the image sensor module through morphology processing, contour detection, image contour processing, and applying a contour approximation method. And recognize things. 4 to 7 are schematic images sequentially illustrating image processing according to an exemplary embodiment.

먼저, 도 4와 같이 입력된 영상 이미지를 그레이 스케일(GrayScale)이미지로 변환한다. 그레이 스케일된 이미지를 이진화하여, 전체 이미지에 하나의 임계 값을 적용하고, 임계 값은 설치되는 환경에 따라 달라질 수 있는 관계로 환경에 맞게 임계 값을 조절한다.First, as shown in FIG. 4, the input video image is converted into a gray scale image. By binarizing the gray scaled image, one threshold value is applied to the entire image, and the threshold value is adjusted according to the environment because the threshold value may vary depending on the environment in which it is installed.

다음으로 종래와는 달리 가우시안 필터(Gaussian Filter) 처리하지 않고 도 5에 도시된 바와 같이 영상의 모폴로지 처리를 수행한다. 가우시안 필터는 영상의 노이즈 감소를 목적으로 하여 현재 픽셀 값과 주변 이웃 픽셀 값들의 가중평균을 이용해서 현재 픽셀의 값을 대체한다. 즉, 영상의 노이즈 값이 상대적으로 이웃 픽셀들 값과 상관성이 작기때문에 이웃 픽셀 값들의 가중평균의 방식으로 완화 시킬 수 있다. 가우시안 필터의 경우 접시의 엣지(edge)를 사용하는 특징점에서는 노이즈는 제거되나 엣지 정보는 유지되지 않는 문제가 있다.Next, as shown in FIG. 5, without processing a Gaussian filter, unlike in the related art, morphology processing of the image is performed. The Gaussian filter replaces the current pixel value using a weighted average of the current pixel value and neighboring pixel values for the purpose of reducing noise in an image. That is, since the noise value of the image has a relatively small correlation with the values of neighboring pixels, it can be relaxed by a weighted average method of neighboring pixel values. In the case of a Gaussian filter, there is a problem in that noise is removed but edge information is not maintained at the characteristic point using the edge of the dish.

이에 비하여 모폴로지(Morphology) 처리를 하여 노이즈 제거와 빈 공간 채우기와 선 잇기가 가능하다. 모폴로지 처리기법은 영상을 반복적으로 처리해서 영상의 밝은 영역이나 어두운 영역부분을 축소, 확대하는 처리 기법이다. 종류에는 침식(erode), 팽창(dilate), 열림(opening), 닫힘(closing)이 있다. 그 중에서 팽창 연산을 사용하였다. 팽창 연산은 침식 후 팽창 연산을 결합한 형태로 구현이 된다. On the other hand, it is possible to remove noise, fill empty space, and connect lines by performing a morphology process. The morphology processing technique is a processing technique that reduces or enlarges the bright or dark areas of an image by repeatedly processing an image. Types include erode, dilate, opening, and closing. Among them, the expansion operation was used. The expansion operation is implemented by combining the expansion operation after erosion.

다음으로 도 6에 도시된 바와 같이 윤곽선 검출(Edge Detection)을 수행한다. OpenCV에서 제공하는 cvCanny함수를 이용하여 윤곽선을 검출한다. cvCanny함수중에서 ‘threshold1’는 외곽선이 아닌 영역이며, ‘threshold2’는 외곽선인 영역이다. 따라서 ‘threshold1’과 ‘threshold2’의 사이가 Canny Procedure에 의해 외곽선 유무를 판단하게 된다.Next, as shown in FIG. 6, edge detection is performed. The contour is detected using the cvCanny function provided by OpenCV. In the cvCanny function,'threshold1' is an area that is not an outline, and'threshold2' is an area that is an outline. Therefore, it is determined whether there is an outline between'threshold1' and'threshold2' using the Canny Procedure.

다음으로 이미지 컨투어(Contour) 기법으로 동일한 색 또는 픽셀 값을 가지고 잇는 영역의 경계선, 물체의 윤곽선 및 외형을 파악한다. OpenCV의 findContours함수를 사용하여 이미지의 컨투어 정보, 컨투어의 상하구조(hierarchy) 정보를 얻을 수가 있다. Next, an image contour technique is used to grasp the boundary line of the area having the same color or pixel value, the outline of the object, and the appearance. OpenCV's findContours function can be used to obtain image contour information and contour hierarchy information.

다음으로 도 7에 도시된 바와 같이 컨투어 근사법( Contour Approximation) 처리를 한다. 이 때 Douglas-Peucker알고리즘을 적용하여 컨투어 포인트의 수를 줄여 실제 컨투어 라인과 근사한 라인을 그린다.Next, a contour approximation process is performed as shown in FIG. 7. At this time, the Douglas-Peucker algorithm is applied to reduce the number of contour points and draw a line that is close to the actual contour line.

OpneCV에서 approxPolyDP라는함수를 이용하였으면 입력 값으로 컨투어 포인트배열, 실제 컨투어 라인과 근사치의 최대거리, 폐곡선 또는 양끝이 열려 있는 곡선 인지가 있다. 입력 값 중에서 컨투어 라인과 근사치의 최대 거리의 값에 따라서 근사 되는 결과가 다르게 나올 수 있다.If the function approxPolyDP is used in OpneCV, the input values include contour point arrangement, the maximum distance between the actual contour line and the approximation value, whether it is a closed curve or a curve with both ends open. Among the input values, the approximate result may differ depending on the value of the contour line and the maximum distance of the approximation.

컨투어 라인과 근사치의 최대거리 값이 작으면 원본 컨투어 이미지와 비슷한 결과가 나타나는 것으로서 꼭지점의 개수는 줄어 들 수가 있다. 컨투어 라인과 근사치의 최대거리 값의 값이 크면 원본 Contour와 차이가 있는 결과가 나온다.If the maximum distance between the contour line and the approximation is small, the result is similar to that of the original contour image, and the number of vertices can be reduced. If the value of the maximum distance between the contour line and the approximation is large, the result is different from the original contour.

이런 컨투어 근사법을 통해서 꼭지점 수를 검출해서 꼭지점 수가 3개일때는 삼각형, 4개일때는 사각형, 5개일때는 오각형, 6개일때는 육각형, 8개 또는 10개일 때는 원으로 인식하도록 할 수 있다. 그리고 꼭지점의 개수가 4개이상일 때 모든 꼭지점의 각도를 구하여서 사각형인지, 오각형, 육각형, 원인지를 판명하도록 하는 것이 바람직하다.Through this contour approximation, the number of vertices can be detected and recognized as a triangle when the number of vertices is 3, a square when there are 4, a pentagon when there are 5, a hexagon when there are 6, and a circle when there are 8 or 10. In addition, when the number of vertices is 4 or more, it is desirable to obtain the angles of all vertices to determine whether they are square, pentagonal, hexagonal, or the cause.

이와 같은 방식으로 사물 특히 식기 등의 형상 및 종류를 파악할 수 있으며, 기타 사람의 외형을 검출할 수 있다.In this way, the shape and type of objects, especially dishes, etc. can be recognized, and the appearance of other people can be detected.

발열체 검출부(133)은 적외선 이미지 모듈로부터 촬영된 영상을 통하여 인체의 수 및 중심 위치를 선정하고, 상온에 비하여 높은 온도를 갖는 객체의 수 및 위치를 검출한다. 발열체 검출부(133)를 통하여 인체가 위치하는 지점을 인지할 수 있으며, 해당 장소에 식사 등을 하고 있는 사람의 수를 파악할 수 있다. 또한 가열된 음식으로 인하여 온도가 상승한 식기의 위치를 파악할 수 있으며, 특정 시점에서의 해당 식기의 온도를 추정하는 데에 이용할 수 있다.The heating element detection unit 133 selects the number and center position of the human body through an image photographed from the infrared image module, and detects the number and position of objects having a higher temperature than room temperature. Through the heating element detection unit 133, the point where the human body is located can be recognized, and the number of people eating meals at the corresponding place can be recognized. In addition, it is possible to determine the location of a dish whose temperature has risen due to the heated food, and can be used to estimate the temperature of the dish at a specific point in time.

모니터링부(137)는 외곽선 인식부(131) 및 발열체 검출부(133)로부터 외곽선 및 발열체 데이터를 전달받아 각각의 인체를 포함하는 발열체에 대한 외곽선을 매칭시키고, 외곽선 설정부에 의하여 외곽선이 설정된 식기 및 인체를 모니터링하여 식기 수와 종류의 변화, 식기의 온도 변화, 인체의 동작이 기 설정된 패턴에 부합하는지를 판정하여 상기 음악 재생제어부에 전달한다.The monitoring unit 137 receives the outline and heating element data from the outline recognition unit 131 and the heating element detection unit 133, matches the outline of the heating element including the human body, and sets the outline by the outline setting unit. The human body is monitored to determine whether a change in the number and type of dishes, a change in temperature of the dishes, and a movement of the human body conform to a preset pattern, and transmits it to the music reproduction control unit.

즉, 모니터링부(137)는 식기의 수, 종류, 온도의 변화, 사람의 수, 움직임 등을 감지하고, 이러한 변화가 기 설정된 패턴에 부합하는지를 모니터링하여 특정 패턴에 해당하는 경우 이를 음악 재생제어부(150)로 전달하게 된다.That is, the monitoring unit 137 detects changes in the number, type, temperature, number of people, movements, etc. of dishes, and monitors whether the change matches a preset pattern, and if it corresponds to a specific pattern, the music reproduction control unit ( 150).

음악 데이터베이스(140)에는 다양한 음악 등의 미디어 컨텐츠가 저장된다. 이 때 각 미디어 컨텐츠에는 각종 패턴에 대응하는 태그가 함께 저장될 수 있다. 예를 들어, 식전, 테이블 세팅, 식사 시작, 식사 중, 대화 중, 디저트 등과 같이 레스토랑이나 카페 등과 같은 장소에서 발생할 수 있는 각종 상황 및 패턴에 대응하는 태크 등이 설정될 수 있다.The music database 140 stores media contents such as various music. In this case, tags corresponding to various patterns may be stored together in each media content. For example, tags corresponding to various situations and patterns that may occur in places such as restaurants or cafes, such as before a meal, table setting, meal start, during meal, during conversation, dessert, etc. may be set.

음악 재생제어부(150)는 영상분석부(130)에 의하여 기 설정된 패턴에 대응하는 움직임 및 온도 변화가 감지되는 경우 상술한 음악 데이터베이스(140)로부터 해당 패턴에 대응하는 음악을 사운드 출력부를 통하여 재생되도록 제어한다.When the motion and temperature changes corresponding to the preset pattern are detected by the image analysis unit 130, the music playback control unit 150 plays music corresponding to the pattern from the above-described music database 140 through the sound output unit. Control.

이 때 음악 재생제어부(150)는 사운드 입력부(110)를 통하여 입력되는 사운드 중 사람의 목소리 대역의 사운드가 일정 시간 이상 입력되는 경우 사운드 출력부를 통하여 출력되는 사운드의 출력을 낮추어 대화에 집중이 가능한 분위기를 조성할 수 있으며, 각 음악과 음악의 변동 구간에서 페이드인과 페이드아웃 효과를 주어 자연스럽게 분위기의 전환을 유도하는 것도 가능하다.At this time, the music reproduction control unit 150 lowers the output of the sound output through the sound output unit when the sound of the human voice band among the sounds input through the sound input unit 110 is input for a predetermined period of time or more, so that an atmosphere in which the conversation can be concentrated. It is also possible to induce a natural change of atmosphere by giving fade-in and fade-out effects in each music and music fluctuation section.

도 3을 참조하여 인터렉티브 미디어 컨텐츠 제공방법을 설명한다. 도 3은 일 실시예에 따른 인터렉티브 미디어 컨텐츠 제공방법을 설명하기 위한 순서도이다.A method of providing interactive media content will be described with reference to FIG. 3. 3 is a flowchart illustrating a method of providing interactive media content according to an exemplary embodiment.

영상센서가 이미지센서 모듈과 적외선 이미지 센서 모듈을 통하여 일반 영상(S110)과 적외선 영상(S115)를 촬영한다. 이미지센서 모듈은 적외선 차단 필터를 구비하여 일반적인 가시광선에 의한 영상을 취득하고, 적외선 이미지 센서 모듈은 동일한 영상을 적외선 대역에서 촬영한다.The image sensor captures a general image (S110) and an infrared image (S115) through the image sensor module and the infrared image sensor module. The image sensor module includes an infrared cut-off filter to acquire an image by general visible light, and the infrared image sensor module captures the same image in an infrared band.

다음으로 외곽선 인식부에서 이진화된 일반 영상을 모폴로지 처리, 윤곽선 검출, 이미지 컨투어 처리 및 컨투어 근사법 적용을 통하여 상기 일정 공간 내 사물의 외곽선 및 사물을 인식하고(S120), 발열체 검출부는 적외선 이미지 모듈로부터 촬영된 영상을 통하여 인체의 수 및 중심 위치를 선정하고, 상온에 비하여 높은 온도를 갖는 객체의 수 및 위치를 검출한다.Next, the general image binarized by the outline recognition unit is recognized by morphology processing, contour detection, image contour processing, and contour approximation to recognize the outline of the object in the predetermined space and the object (S120), and the heating element detection unit is photographed from the infrared image module. The number and center position of the human body is selected through the image, and the number and position of objects having a higher temperature than room temperature are detected.

이어서 모니터링부는 외곽선 인식부 및 발열체 검출부로부터 외곽선 및 발열체 데이터를 전달받아 각각의 인체를 포함하는 발열체에 대한 외곽선을 매칭시키고(S130), 외곽선 설정부에 의하여 외곽선이 설정된 식기 및 인체를 모니터링하여 식기 수와 종류의 변화, 식기의 온도 변화, 인체의 동작이 기 설정된 패턴에 부합하는지를 판정하여 상기 음악 재생제어부에 전달한다(S200, S210).Subsequently, the monitoring unit receives the outline and heating element data from the outline recognition unit and the heating element detection unit, matches the outline of each heating element including the human body (S130), and monitors the tableware and human body whose outlines are set by the outline setting unit to count the number of dishes. It is determined whether the change in the type of and, the temperature change of the tableware, and the motion of the human body conform to a preset pattern, and transmits it to the music reproduction control unit (S200, S210).

음악 재생제어부에서는 이러한 인식된 패턴을 기반으로 분위기에 적합한 음악 등의 미디어 컨텐츠를 재생하게 된다.The music playback control unit plays media content such as music suitable for an atmosphere based on the recognized pattern.

이상 본 발명의 바람직한 실시예에 대하여 설명하였으나, 본 발명의 기술적 사상이 상술한 바람직한 실시예에 한정되는 것은 아니며, 특허청구범위에 구체화된 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양하게 구현될 수 있다.Although the preferred embodiment of the present invention has been described above, the technical idea of the present invention is not limited to the above-described preferred embodiment, and may be variously implemented within the scope not departing from the technical idea of the present invention embodied in the claims. have.

110: 사운드 입력부
120: 영상센서
130: 영상분석부
131: 외곽선 인식부
133: 발열체 검출부
135: 외곽선 설정부
137: 모니터링부
140: 음악 데이터베이스
150: 음악 재생제어부
160: 사운드 출력부110: sound input unit
120: image sensor
130: image analysis unit
131: outline recognition unit
133: heating element detection unit
135: outline setting unit
137: monitoring unit
140: music database
150: music playback control unit
160: sound output unit

Claims (5)

테이블이 구비된 일정 공간 내의 미디어 컨텐츠를 제공하는 시스템에 있어서,
상기 일정 공간 내의 소리를 입력받는 사운드 입력부;
적외선 차단 필터를 구비하는 이미지센서 모듈과, 적외선 이미지를 촬영하는 적외선 이미지 센서 모듈을 포함하는 영상센서;
상기 이미지 센서 모듈과 적외선 이미지 센서 모듈로부터 취득한 이미지를 조합한 이미지로부터 인체 및 사물의 움직임과 온도 변화를 모니터링하고, 상기 움직임 및 온도 변화의 패턴을 인식하여 기 설정된 패턴에 대응하는지를 판단하는 영상분석부;
기 설정된 패턴에 대응하는 음악 컨텐츠가 저장되는 음악 데이터베이스;
상기 영상분석부에 의하여 기 설정된 패턴에 대응하는 움직임 및 온도 변화가 감지되는 경우 상기 음악 데이터베이스로부터 해당 패턴에 대응하는 음악을 사운드 출력부를 통하여 재생되도록 제어하는 음악 재생제어부;를 포함하고,
상기 영상분석부는,
상기 이미지 센서 모듈에서 촬영된 영상을 모폴로지 처리, 윤곽선 검출, 이미지 컨투어 처리 및 컨투어 근사법 적용을 통하여 상기 일정 공간 내 사물의 외곽선을 인식하는 외곽선 인식부;를 포함하며,
상기 영상분석부는 상기 적외선 이미지 모듈로부터 촬영된 영상을 통하여 인체의 수 및 중심 위치를 선정하고, 상온에 비하여 높은 온도를 갖는 객체의 수 및 위치를 검출하는 발열체 검출부;를 포함하고,
상기 영상분석부는,
상기 외곽선 인식부 및 상기 발열체 검출부로부터 외곽선 및 발열체 데이터를 전달받아 각각의 인체를 포함하는 발열체에 대한 외곽선을 매칭시키는 외곽선 설정부; 및
상기 외곽선 설정부에 의하여 외곽선이 설정된 식기 및 인체를 모니터링하여 식기 수와 종류의 변화, 식기의 온도 변화, 상기 인체의 동작이 기 설정된 패턴에 부합하는지를 판정하여 상기 음악 재생제어부에 전달하는 모니터링부;를 포함하는 인터렉티브 미디어 컨텐츠 제공 시스템.In a system for providing media content in a predetermined space equipped with a table,
A sound input unit receiving sound in the predetermined space;
An image sensor including an image sensor module including an infrared cut filter and an infrared image sensor module for photographing an infrared image;
An image analysis unit that monitors the movement and temperature change of the human body and objects from the combined image of the image sensor module and the image acquired from the infrared image sensor module, recognizes the pattern of movement and temperature change, and determines whether it corresponds to a preset pattern ;
A music database in which music content corresponding to a preset pattern is stored;
Including; a music reproduction control unit for controlling the music corresponding to the pattern to be played from the music database through a sound output unit when a movement and temperature change corresponding to a preset pattern is detected by the image analysis unit,
The image analysis unit,
And an outline recognition unit for recognizing the outline of the object in the predetermined space through morphology processing, contour detection, image contour processing, and contour approximation of the image captured by the image sensor module, and
The image analysis unit includes; a heating element detection unit that selects the number and the center position of the human body through the image photographed from the infrared image module, and detects the number and position of objects having a higher temperature than room temperature,
The image analysis unit,
An outline setting unit that receives the outline and the heating element data from the outline recognition unit and the heating element detection unit and matches the outline of each heating element including the human body; And
A monitoring unit that monitors dishes and a human body whose outlines are set by the outline setting unit, determines whether the number and type of dishes, temperature changes of the dishes, and movements of the human body conform to a preset pattern, and transmits them to the music reproduction control unit; Interactive media content providing system comprising a. 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 음악 재생제어부는 상기 사운드 입력부를 통하여 입력되는 사운드 중 사람의 목소리 대역의 사운드가 일정 시간 이상 입력되는 경우 상기 사운드 출력부를 통하여 출력되는 사운드의 출력을 낮추는 인터랙티브 미디어 컨텐츠 제공 시스템.The method of claim 1,
The music reproduction control unit is an interactive media content providing system that lowers the output of the sound output through the sound output unit when the sound of the human voice band is input for a predetermined time or longer among sounds input through the sound input unit.
KR1020200076618A 2020-06-23 2020-06-23 Interactive media content supply system KR102202316B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200076618A KR102202316B1 (en) 2020-06-23 2020-06-23 Interactive media content supply system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200076618A KR102202316B1 (en) 2020-06-23 2020-06-23 Interactive media content supply system

Publications (1)

Publication Number Publication Date
KR102202316B1 true KR102202316B1 (en) 2021-01-13

Family

ID=74142650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200076618A KR102202316B1 (en) 2020-06-23 2020-06-23 Interactive media content supply system

Country Status (1)

Country Link
KR (1) KR102202316B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101511422B1 (en) * 2013-04-16 2015-04-20 주식회사 샵캐스트 Off line-store management system for providing emotion music
KR20150044434A (en) * 2012-08-17 2015-04-24 이베이 인크. Recommendations based on wearable sensors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150044434A (en) * 2012-08-17 2015-04-24 이베이 인크. Recommendations based on wearable sensors
KR101511422B1 (en) * 2013-04-16 2015-04-20 주식회사 샵캐스트 Off line-store management system for providing emotion music

Similar Documents

Publication Publication Date Title
US11182615B2 (en) Method and apparatus, and storage medium for image data processing on real object and virtual object
US10516916B2 (en) Method of processing video data, device, computer program product, and data construct
US11094131B2 (en) Augmented reality apparatus and method
CN110189378A (en) A kind of method for processing video frequency, device and electronic equipment
CN111480156A (en) System and method for selectively storing audiovisual content using deep learning
US20030007700A1 (en) Method and apparatus for interleaving a user image in an original image sequence
CN108038836B (en) Image processing method and device and mobile terminal
CN109872297A (en) Image processing method and device, electronic equipment and storage medium
US11490157B2 (en) Method for controlling video enhancement, device, electronic device and storage medium
CN108141526A (en) Communication system and method
CN110300316A (en) Method, apparatus, electronic equipment and the storage medium of pushed information are implanted into video
CN112752116A (en) Display method, device, terminal and storage medium of live video picture
CN105847734A (en) Face recognition-based video communication method and system
CN109286772A (en) Audio method of adjustment, device, electronic equipment and storage medium
KR20180129339A (en) Method for image compression and method for image restoration
US10134164B2 (en) Information processing apparatus, information processing system, information processing method, and program
KR102202316B1 (en) Interactive media content supply system
CN111491124B (en) Video processing method and device and electronic equipment
CN115811589A (en) Infrared remote control video device and infrared remote control video playing method
CN114727119A (en) Live broadcast and microphone connection control method and device and storage medium
KR102570735B1 (en) Apparatus and method for suggesting an augmented reality avatar pose based on artificial intelligence reflecting the structure of the surrounding environment and user preferences
US20020085738A1 (en) Controlling a processor-based system by detecting flesh colors
CN105898182A (en) Bullet screen song-requesting method and system based on face identification
CN113840158B (en) Virtual image generation method, device, server and storage medium
EP3073747A1 (en) Method and device for adapting an audio level of a video

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant