KR20240028274A - Cooking apparatus and method for controlling cooking apparatus - Google Patents
Cooking apparatus and method for controlling cooking apparatus Download PDFInfo
- Publication number
- KR20240028274A KR20240028274A KR1020230010835A KR20230010835A KR20240028274A KR 20240028274 A KR20240028274 A KR 20240028274A KR 1020230010835 A KR1020230010835 A KR 1020230010835A KR 20230010835 A KR20230010835 A KR 20230010835A KR 20240028274 A KR20240028274 A KR 20240028274A
- Authority
- KR
- South Korea
- Prior art keywords
- food
- state
- change
- image frames
- control unit
- Prior art date
Links
- 238000010411 cooking Methods 0.000 title claims abstract description 201
- 238000000034 method Methods 0.000 title claims abstract description 67
- 235000013305 food Nutrition 0.000 claims abstract description 292
- 230000008859 change Effects 0.000 claims abstract description 161
- 230000008569 process Effects 0.000 claims abstract description 39
- 230000015654 memory Effects 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 30
- 238000012423 maintenance Methods 0.000 claims description 20
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 abstract description 9
- 239000011521 glass Substances 0.000 description 14
- 235000013372 meat Nutrition 0.000 description 14
- 235000008429 bread Nutrition 0.000 description 12
- 238000010438 heat treatment Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001704 evaporation Methods 0.000 description 3
- 230000008020 evaporation Effects 0.000 description 3
- 238000009835 boiling Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004751 neurological system process Effects 0.000 description 1
- 235000013550 pizza Nutrition 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 235000014347 soups Nutrition 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 235000013547 stew Nutrition 0.000 description 1
- 238000010257 thawing Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
- F24C7/00—Stoves or ranges heated by electric energy
- F24C7/08—Arrangement or mounting of control or safety devices
- F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
- F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
- A47J37/00—Baking; Roasting; Grilling; Frying
- A47J37/06—Roasters; Grills; Sandwich grills
- A47J37/0623—Small-size cooking ovens, i.e. defining an at least partially closed cooking cavity
- A47J37/0664—Accessories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Food Science & Technology (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Electric Stoves And Ranges (AREA)
Abstract
개시된 조리 기기는, 챔버(50); 상기 챔버 내부를 촬영하도록 마련되는 카메라(60); 및 상기 카메라와 전기적으로 연결되는 제어부(200);를 포함하고, 상기 제어부는 조리가 수행되는 동안 복수의 이미지 프레임을 획득하도록 상기 카메라를 제어하고, 상기 복수의 이미지 프레임으로부터 상기 챔버 내 조리물의 상태 변화를 식별하고, 상기 조리물의 상태 변화에 기초하여 복수의 이미지 프레임 중 일부의 이미지 프레임을 추출하고, 상기 조리물의 상태 변화에 대응하는 음향을 상기 추출된 일부의 이미지 프레임에 추가하여 조리 과정의 요약 동영상을 생성한다.The disclosed cooking device includes a chamber 50; A camera 60 provided to photograph the inside of the chamber; and a control unit 200 electrically connected to the camera, wherein the control unit controls the camera to obtain a plurality of image frames while cooking is performed, and determines the state of the food in the chamber from the plurality of image frames. Identify changes, extract some image frames from a plurality of image frames based on changes in the state of the food, and add sounds corresponding to the change in the state of the food to some of the extracted image frames to summarize the cooking process. Create a video.
Description
개시된 발명은 조리 기기 및 조리 기기의 제어 방법에 관한 것이다.The disclosed invention relates to a cooking appliance and a method of controlling the cooking appliance.
조리 기기는, 음식물과 같은 조리 대상을 가열하여 조리하기 위한 기기로, 조리 대상의 가열, 해동, 건조 및 살균 등 조리와 관련된 여러 기능을 제공할 수 있는 장치를 의미한다. 예를 들면, 조리 기기는, 가스 오븐이나 전기 오븐과 같은 오븐(oven), 마이크로파 가열 장치(이하 전자 레인지, microwave), 가스 레인지, 전기 레인지, 가스 그릴 또는 전기 그릴을 의미할 수 있다.A cooking device is a device for heating and cooking a cooking object, such as food, and refers to a device that can provide various functions related to cooking, such as heating, defrosting, drying, and sterilizing the cooking object. For example, a cooking device may mean an oven such as a gas oven or an electric oven, a microwave heating device (hereinafter referred to as a microwave oven), a gas range, an electric range, a gas grill, or an electric grill.
일반적으로 오븐은 열을 발생시키는 히터를 이용하여 음식물에 직접 열을 전달하거나 조리실 내부를 가열하여 음식물을 조리한다. 전자 레인지는 고주파를 열원으로 하여 음식물의 분자 배열을 교란시킴에 따라 발생되는 분자간 마찰열에 의해 음식물을 조리한다.In general, ovens cook food by transferring heat directly to food using a heater that generates heat or by heating the inside of the cooking chamber. Microwave ovens use high-frequency waves as a heat source to cook food through frictional heat between molecules generated by disturbing the molecular arrangement of food.
최근에는 조리 기기의 챔버 내에 카메라를 설치하고 카메라에 의해 획득된 이미지를 사용자에게 제공하는 기술이 등장하고 있다.Recently, technology has emerged that installs a camera in the chamber of a cooking appliance and provides images acquired by the camera to the user.
개시된 발명은, 조리물의 조리가 수행되는 동안 획득되는 동영상을 분석하여 조리물의 상태 변화를 식별하고, 조리물의 상태 변화에 적합한 음향을 추가하여 조리 과정의 요약 동영상을 생성할 수 있는 조리 기기 및 조리 기기의 제어 방법을 제공한다.The disclosed invention is a cooking appliance and cooking device that can identify changes in the state of the food by analyzing the video acquired while the food is being cooked, and generate a summary video of the cooking process by adding sound suitable for the change in the state of the food. Provides a control method.
일 실시예에 따른 조리 기기(1)는, 챔버(50); 상기 챔버 내부를 촬영하도록 마련되는 카메라(60); 및 상기 카메라와 전기적으로 연결되는 제어부(200);를 포함하고, 상기 제어부는 조리가 수행되는 동안 복수의 이미지 프레임을 획득하도록 상기 카메라를 제어하고, 상기 복수의 이미지 프레임으로부터 상기 챔버 내 조리물의 상태 변화를 식별하고, 상기 조리물의 상태 변화에 기초하여 복수의 이미지 프레임 중 일부의 이미지 프레임을 추출하고, 상기 조리물의 상태 변화에 대응하는 음향을 상기 추출된 일부의 이미지 프레임에 추가하여 조리 과정의 요약 동영상을 생성한다.A
일 실시예에 따른 제어 방법은, 조리가 수행되는 동안 복수의 이미지 프레임을 획득하도록 카메라를 제어하고; 상기 복수의 이미지 프레임으로부터 챔버 내 조리물의 상태 변화를 식별하고; 상기 조리물의 상태 변화에 기초하여 복수의 이미지 프레임 중 일부의 이미지 프레임을 추출하고; 상기 조리물의 상태 변화에 대응하는 음향을 상기 추출된 일부의 이미지 프레임에 추가하여 조리 과정의 요약 동영상을 생성하는 것;을 포함을 포함한다.A control method according to an embodiment includes controlling a camera to acquire a plurality of image frames while cooking is performed; identify changes in the state of the food in the chamber from the plurality of image frames; extracting some image frames from a plurality of image frames based on changes in the state of the food; and adding sounds corresponding to changes in the state of the food to some of the extracted image frames to generate a summary video of the cooking process.
개시된 조리 기기 및 조리 기기의 제어 방법은, 조리물의 조리가 수행되는 동안 획득되는 복수의 이미지 프레임을 분석하여 조리물의 상태 변화를 식별하고, 조리물의 상태 변화에 적합한 음향을 추가하여 요약 동영상을 생성할 수 있다.The disclosed cooking appliance and method for controlling the cooking appliance identify changes in the state of the food by analyzing a plurality of image frames acquired while the food is being cooked, and generate a summary video by adding sound suitable for the change in the state of the food. You can.
개시된 조리 기기 및 조리 기기의 제어 방법은, 조리물의 상태 변화에 적합한 음향이 삽입된 요약 동영상을 사용자에게 제공할 수 있다. 사용자는 조리 과정의 요약 동영상에서 시각 정보뿐만 아니라 청각 정보까지 획득할 수 있어 조리 과정을 보다 용이하게 파악할 수 있다. 따라서 사용자의 만족감이 상승할 수 있다.The disclosed cooking appliance and cooking appliance control method can provide a user with a summary video in which sound appropriate for changes in the state of food is inserted. Users can obtain not only visual information but also auditory information from the summary video of the cooking process, making it easier to understand the cooking process. Therefore, user satisfaction can increase.
본 문서에서 달성하고자 하는 기술적 과제 및 효과는 전술된 것으로 제한되지 않으며, 언급된 것들 이외의 다른 기술적 과제 및 효과도 아래의 설명으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems and effects to be achieved in this document are not limited to those described above, and other technical problems and effects other than those mentioned will be clearly understood by those skilled in the art from the description below. It could be.
도 1은 다양한 전자 장치들에 의해 구현되는 네트워크 시스템을 도시한다.
도 2는 일 실시예에 따른 조리 기기의 사시도이다.
도 3은 일 실시예에 따른 조리 기기의 단면도이다.
도 4는 트레이가 챔버 측벽의 제1 지지대에 거치된 예를 도시한다.
도 5는 일 실시예에 따른 조리 기기의 제어 구성들을 도시한다.
도 6은 도 5에서 설명된 제어부의 구조를 예시한다.
도 7은 시간의 흐름에 따른 조리물의 상태 변화를 설명하는 표이다.
도 8은 도 7에서 설명된 조리물의 상태 변화량을 나타내는 그래프 및 조리물의 상태 변화에 따라 구분되는 복수의 섹션에 추가되는 음향의 파형을 도시한다.
도 9는 일 실시예에 따른 음향 매칭 테이블을 도시한다.
도 10은 사용자 기기를 통해 제공되는 요약 동영상과 요약 동영상의 편집을 위한 그래픽 사용자 인터페이스를 도시한다.
도 11은 일 실시예에 따른 조리 기기의 제어 방법을 설명하는 순서도이다.
도 12는 복수의 조리물이 조리된 경우에 대한 조리 기기의 제어 방법을 설명하는 순서도이다.
도 13은 도 11과 도 12에서 설명된 조리 기기의 제어 방법의 일부 단계를 더 상세히 기재한 순서도이다.
도 14는 조리 기기, 서버 및 사용자 기기 간 상호 작용의 일 예를 설명하는 순서도이다.
도 15는 조리 기기, 서버 및 사용자 기기 간 상호 작용의 다른 예를 설명하는 순서도이다.1 shows a network system implemented by various electronic devices.
Figure 2 is a perspective view of a cooking appliance according to one embodiment.
Figure 3 is a cross-sectional view of a cooking appliance according to one embodiment.
Figure 4 shows an example in which the tray is mounted on the first support on the side wall of the chamber.
5 shows control configurations of a cooking appliance according to one embodiment.
FIG. 6 illustrates the structure of the control unit described in FIG. 5.
Figure 7 is a table explaining changes in the state of food over time.
FIG. 8 shows a graph showing the amount of change in the state of the food described in FIG. 7 and a waveform of sound added to a plurality of sections divided according to the change in the state of the food.
Figure 9 shows an acoustic matching table according to one embodiment.
10 shows a summary video provided through a user device and a graphical user interface for editing the summary video.
11 is a flowchart explaining a method of controlling a cooking appliance according to an embodiment.
Figure 12 is a flowchart explaining a method of controlling a cooking appliance when a plurality of foods are cooked.
Figure 13 is a flowchart describing in more detail some steps of the method for controlling the cooking appliance described in Figures 11 and 12.
14 is a flowchart illustrating an example of interaction between a cooking appliance, a server, and a user device.
15 is a flow chart illustrating another example of interaction between a cooking appliance, a server, and a user device.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다.The various embodiments of this document and the terms used herein are not intended to limit the technical features described in this document to specific embodiments, and should be understood to include various changes, equivalents, or replacements of the embodiments.
도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.In connection with the description of the drawings, similar reference numbers may be used for similar or related components.
아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 아이템 한 개 또는 복수 개를 포함할 수 있다.The singular form of a noun corresponding to an item may include a single item or a plurality of items, unless the relevant context clearly indicates otherwise.
본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.As used herein, “A or B”, “at least one of A and B”, “at least one of A or B”, “A, B or C”, “at least one of A, B and C”, and “A Each of phrases such as “at least one of , B, or C” may include any one of the items listed together in the corresponding phrase, or any possible combination thereof.
"제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다.Terms such as "first", "second", or "first" or "second" may be used simply to distinguish one element from another, and may be used to distinguish such elements in other respects, such as importance or order) is not limited.
어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 어떤 구성요소가 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.One (e.g. first) component is said to be "coupled" or "connected" to another (e.g. second) component, with or without the terms "functionally" or "communicatively". Where mentioned, it means that one component can be connected to another component directly (e.g. wired), wirelessly, or through a third component.
“포함하다” 또는 "가지다"등의 용어는 본 문서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.Terms such as “include” or “have” are intended to designate the existence of features, numbers, steps, operations, components, parts, or combinations thereof described in this document, but do not include one or more other features, numbers, or steps. , does not exclude in advance the possibility of the existence or addition of operations, components, parts, or combinations thereof.
어떤 구성요소가 다른 구성요소와 "연결", "결합", "지지" 또는 "접촉"되어 있다고 할 때, 이는 구성요소들이 직접적으로 연결, 결합, 지지 또는 접촉되는 경우뿐 아니라, 제3 구성요소를 통하여 간접적으로 연결, 결합, 지지 또는 접촉되는 경우를 포함한다.When a component is said to be “connected,” “coupled,” “supported,” or “in contact” with another component, this means not only when the components are directly connected, coupled, supported, or in contact, but also when a third component This includes cases where it is indirectly connected, coupled, supported, or contacted through.
어떤 구성요소가 다른 구성요소 "상에" 위치하고 있다고 할 때, 이는 어떤 구성요소가 다른 구성요소에 접해 있는 경우뿐 아니라 두 구성요소 사이에 또 다른 구성요소가 존재하는 경우도 포함한다.When a component is said to be located “on” another component, this includes not only cases where a component is in contact with another component, but also cases where another component exists between the two components.
“및/또는"이라는 용어는 복수의 관련된 기재된 구성요소들의 조합 또는 복수의 관련된 기재된 구성요소들 중의 어느 구성요소를 포함한다.The term “and/or” includes a combination of a plurality of related described elements or any element of a plurality of related described elements.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예에 대해 설명한다.Hereinafter, the operating principle and embodiments of the present invention will be described with reference to the attached drawings.
도 1은 다양한 전자 장치들에 의해 구현되는 네트워크 시스템을 도시한다.1 shows a network system implemented by various electronic devices.
도 1을 참조하면, 가전 기기(10)는 다른 가전 기기, 사용자 기기(2) 또는 서버(3)와 통신할 수 있는 통신 모듈, 사용자 입력을 수신하거나 사용자에게 정보를 출력하는 사용자 인터페이스, 가전 기기(10)의 동작을 제어하는 적어도 하나의 프로세서 및 가전 기기(10)의 동작을 제어하기 위한 프로그램이 저장된 적어도 하나의 메모리를 포함할 수 있다.Referring to Figure 1, the
가전 기기(10)는 다양한 종류의 가전 제품들 중 적어도 하나일 수 있다. 예를 들어, 가전 기기(10)는 도시된 바와 같이 냉장고(11), 식기세척기(12), 전기레인지(13), 전기오븐(14), 공기조화기(15), 의류 관리기(16), 세탁기(17), 건조기(18), 마이크로파 오븐(19) 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니며, 예를 들어, 도면에 도시되지 않은 청소 로봇, 진공 청소기, 텔레비전 등의 다양한 타입의 가전 제품을 포함할 수 있다. 또한, 앞서 언급된 가전 제품들은 예시에 불과하며, 앞서 언급된 가전 제품들 외에도, 다른 가전 기기, 사용자 기기(2) 또는 서버(3)와 연결되어 후술하는 동작을 수행할 수 있는 기기는 일 실시예에 따른 가전 기기(10)에 포함될 수 있다.The
서버(3)는 다른 서버, 가전 기기(10) 또는 사용자 기기(2)와 통신할 수 있는 통신 모듈, 다른 서버, 가전 기기(10) 또는 사용자 기기(2)로부터 수신된 데이터를 처리할 수 있는 적어도 하나의 프로세서 및 데이터를 처리하기 위한 프로그램 또는 처리된 데이터를 저장할 수 있는 적어도 하나의 메모리를 포함할 수 있다. 이러한 서버(3)는 워크스테이션(workstation), 클라우드(cloud), 데이터 드라이브(data drive), 데이터 스테이션(data station) 등 다양한 컴퓨팅 디바이스로 구현될 수 있다. 서버(3)는 기능, 기능의 세부 구성 또는 데이터 등을 기준으로 물리적 또는 논리적으로 구분된 하나 이상의 서버로 구현될 수 있으며, 각 서버 간의 통신을 통해 데이터를 송수신하고 송수신된 데이터를 처리할 수 있다.The server (3) has a communication module capable of communicating with other servers, home appliances (10) or user devices (2), and can process data received from other servers, home appliances (10) or user devices (2). It may include at least one processor and at least one memory capable of storing a program for processing data or processed data. This
서버(3)는 사용자 계정을 관리하고, 사용자 계정에 결부시켜 가전 기기(10)를 등록하고, 등록된 가전 기기(10)를 관리하거나 제어하는 등의 기능을 수행할 수 있다. 예를 들어, 사용자는 사용자 기기(2)를 통해 서버(3)에 접속하여, 사용자 계정을 생성할 수 있다. 사용자 계정은 사용자에 의해 설정된 아이디와 비밀번호에 의해 식별될 수 있다. 서버(3)는 정해진 절차에 따라 가전 기기(10)를 사용자 계정에 등록할 수 있다. 예를 들어, 서버(3)는 가전 기기(10)의 식별 정보(예: 시리얼 넘버 또는 맥 주소(MAC address) 등)를 사용자 계정에 연결하여, 가전 기기(10)를 등록, 관리, 제어할 수 있다. 사용자 기기(2)는 가전 기기(10) 또는 서버(3)와 통신할 수 있는 통신 모듈, 사용자 입력을 수신하거나 사용자에게 정보를 출력하는 사용자 인터페이스, 사용자 기기(2)의 동작을 제어하는 적어도 하나의 프로세서 및 사용자 기기(2)의 동작을 제어하기 위한 프로그램이 저장된 적어도 하나의 메모리를 포함할 수 있다. The
사용자 기기(2)는 사용자가 휴대하거나, 사용자의 가정 또는 사무실 등에 배치될 수 있다. 사용자 기기(2)는 퍼스널 컴퓨터(personal computer), 단말기(terminal), 휴대폰(portable telephone), 스마트 폰(smart phone), 휴대 장치(handheld device), 착용 장치(wearable device) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. The
사용자 기기(2)의 메모리에는 가전 기기(10)를 제어하기 위한 프로그램, 즉 어플리케이션이 저장될 수 있다. 어플리케이션은 사용자 기기(2)에 설치된 상태로 판매되거나, 외부 서버로부터 다운로드 받아 설치될 수 있다. A program for controlling the
사용자가 사용자 기기(2)에 설치된 어플리케이션을 실행함으로써 서버(3)에 접속하여 사용자 계정을 생성하고, 로그인 된 사용자 계정을 기반으로 서버(3)와 통신을 수행하여 가전 기기(10)를 등록할 수 있다. The user runs the application installed on the user device (2), connects to the server (3), creates a user account, and registers the home appliance (10) by communicating with the server (3) based on the logged in user account. You can.
예를 들어, 사용자 기기(2)에 설치된 어플리케이션에서 안내하는 절차에 따라 가전 기기(10)가 서버(3)에 접속될 수 있도록 가전 기기(10)를 조작하면, 서버(3)에서 해당 사용자 계정에 가전 기기(10)의 식별 정보(예: 시리얼 넘버 또는 맥 주소(MAC address) 등)를 등재함으로써, 사용자 계정에 가전 기기(10)를 등록할 수 있다.For example, if the
사용자는 사용자 기기(2)에 설치된 어플리케이션을 이용하여 가전 기기(10)를 제어할 수 있다. 예를 들어, 사용자가 사용자 기기(2)에 설치된 어플리케이션으로 사용자 계정에 로그인 하면, 사용자 계정에 등록된 가전 기기(10)가 나타나고, 가전 기기(10)에 대한 제어 명령을 입력하면 서버(3)를 통해 가전 기기(10)에 제어 명령을 전달할 수 있다. The user can control the
네트워크는 유선 네트워크와 무선 네트워크를 모두 포함할 수 있다. 유선 네트워크는 케이블 네트워크 또는 전화 네트워크 등을 포함하며, 무선 네트워크는 전파를 통하여 신호를 송수신하는 모든 네트워크를 포함할 수 있다. 유선 네트워크와 무선 네트워크는 서로 연결될 수 있다.The network may include both wired and wireless networks. A wired network includes a cable network or a telephone network, and a wireless network may include any network that transmits and receives signals through radio waves. Wired networks and wireless networks can be connected to each other.
네트워크는 인터넷 같은 광역 네트워크(wide area network, WAN), 접속 중계기(Access Point, AP)를 중심으로 형성된 지역 네트워크(local area network, LAN) 및/또는 접속 중계기(AP)를 통하지 않는 근거리 무선 네트워크를 포함할 수 있다. 근거리 무선 네트워크는, 예를 들면, 블루투스(Bluetooth??, IEEE 802.15.1), 지그비(Zigbee, IEEE 802.15.4), 와이파이 다이렉트(Wi-Fi Direct), NFC(Near Field Communication), 지-웨이브(Z-Wave) 등을 포함할 수 있으나, 예시된 것들로 한정되지 않는다.The network is a wide area network (WAN) such as the Internet, a local area network (LAN) formed around an access point (AP), and/or a short-range wireless network that does not go through an access point (AP). It can be included. Short-range wireless networks include, for example, Bluetooth® (IEEE 802.15.1), Zigbee (IEEE 802.15.4), Wi-Fi Direct, NFC (Near Field Communication), and Z-Wave. (Z-Wave), etc., but is not limited to the examples.
접속 중계기(AP)는 가전 기기(10) 또는 사용자 기기(2)를 서버(3)가 연결된 광역 네트워크(WAN)에 연결시킬 수 있다. 가전 기기(10) 또는 사용자 기기(2)는 광역 네트워크(WAN)를 통해 서버(3)에 연결될 수 있다.The access repeater (AP) can connect the
접속 중계기(AP)는 와이파이(Wi-Fi??, IEEE 802.11), 블루투스(Bluetooth??, IEEE 802.15.1), 지그비(Zigbee, IEEE 802.15.4) 등의 무선 통신을 이용하여 가전 기기(10) 또는 사용자 기기(2)와 통신하고 유선 통신을 이용하여 광역 네트워크(WAN)에 접속할 수 있으나, 이에 한정되는 것은 아니다.The access repeater (AP) connects home appliances (10 ) or can communicate with the
다양한 실시예에 따라, 가전 기기(10)는 접속 중계기(AP)를 통하지 않고 사용자 기기(2) 또는 서버(3)와 직접 연결될 수도 있다.According to various embodiments, the
가전 기기(10)는 원거리 무선 네트워크 또는 근거리 무선 네트워크를 통해 사용자 기기(2) 또는 서버(3)와 연결될 수 있다.The
예를 들어, 가전 기기(10)는 근거리 무선 네트워크(예: 와이파이 다이렉트)를 통해 사용자 기기(2)와 연결될 수 있다.For example, the
또 다른 예로, 가전 기기(10)는 원거리 무선 네트워크(예: 셀룰러 통신 모듈)를 이용하여 광역 네트워크(WAN)를 통해 사용자 기기(2) 또는 서버(3)와 연결될 수 있다.As another example, the
또 다른 예로, 가전 기기(10)는 유선 통신을 이용하여 광역 네트워크(WAN)에 접속하고, 광역 네트워크(WAN)를 통해 사용자 기기(2) 또는 서버(3)와 연결될 수 있다.As another example, the
가전 기기(10)가 유선 통신을 이용하여 광역 네트워크(WAN)에 접속할 수 있는 경우, 접속 중계기로서 동작할 수도 있다. 이에 따라, 가전 기기(10)는 다른 가전 기기를 서버(3)가 연결된 광역 네트워크(WAN)에 연결시킬 수 있다. 또한, 다른 가전 기기는 가전 기기(10)를 서버(3)가 연결된 광역 네트워크(WAN)에 연결시킬 수 있다.If the
가전 기기(10)는 네트워크를 통하여 동작 또는 상태에 관한 정보를 다른 가전 기기, 사용자 기기(2) 또는 서버(3)에 전송할 수 있다. 예를 들어, 가전 기기(10)는 서버(3)로부터 요청이 수신되는 경우, 가전 기기(10)에서 특정 이벤트가 발생한 경우, 또는 주기적으로 또는 실시간으로 동작 또는 상태에 관한 정보를 다른 가전 기기, 사용자 기기(2) 또는 서버(3)로 전송할 수 있다. 서버(3)는 가전 기기(10)로부터 동작 또는 상태에 관한 정보가 수신되면 저장되어 있던 가전 기기(10)의 동작 또는 상태에 관한 정보를 업데이트하고, 네트워크를 통하여 사용자 기기(2)에 가전 기기(10)의 동작 및 상태에 관한 업데이트된 정보를 전송할 수 있다. 여기서, 정보의 업데이트란 기존 정보에 새로운 정보를 추가하는 동작, 기존 정보를 새로운 정보로 대체하는 동작 등 기존 정보가 변경되는 다양한 동작을 포함할 수 있다.The
가전 기기(10)는 다른 가전 기기, 사용자 기기(2) 또는 서버(3)로부터 다양한 정보를 획득하고, 획득된 정보를 사용자에게 제공할 수 있다. 예를 들어, 가전 기기(10)는 서버(3)로부터 가전 기기(10)의 기능과 관련된 정보(예를 들어, 조리법, 세탁법 등), 다양한 환경 정보(예를 들어, 날씨, 온도, 습도 등)의 정보를 획득하고, 사용자 인터페이스를 통해 획득된 정보를 출력할 수 있다.The
가전 기기(10)는 다른 가전 기기, 사용자 기기(2) 또는 서버(3)로부터 수신되는 제어 명령에 따라 동작할 수 있다. 예를 들어, 가전 기기(10)는 사용자 입력이 없더라도 서버(3)의 제어 명령에 따라 동작할 수 있도록 사용자의 사전 승인을 획득한 경우, 가전 기기(10)는 서버(3)로부터 수신되는 제어 명령에 따라 동작할 수 있다. 여기서, 서버(3)로부터 수신되는 제어 명령은 사용자가 사용자 기기(2)를 통해 입력한 제어 명령 또는 기 설정된 조건에 기초한 제어 명령 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
사용자 기기(2)는 통신 모듈을 통해 사용자에 관한 정보를 가전 기기(10) 또는 서버(3)에 전송할 수 있다. 예를 들어, 사용자 기기(2)는 사용자의 위치, 사용자의 건강 상태, 사용자의 취향, 사용자의 일정 등에 관한 정보를 서버(3)에 전송할 수 있다. 사용자 기기(2)는 사용자의 사전 승인에 따라 사용자에 관한 정보를 서버(3)에 전송할 수 있다.The
가전 기기(10), 사용자 기기(2) 또는 서버(3)는 인공 지능 등의 기술을 이용하여 제어 명령을 결정할 수 있다. 예를 들어, 서버(3)는 가전 기기(10)의 동작 또는 상태에 관한 정보를 수신하거나 사용자 기기(2)의 사용자에 관한 정보를 수신하여 인공 지능 등의 기술을 이용하여 처리하고, 처리 결과에 기초하여 가전 기기(10) 또는 사용자 기기(2)에 처리 결과 또는 제어 명령을 전송할 수 있다.The
이하에서 설명되는 조리 기기(1)는 전술된 가전 기기(10)에 해당한다.The
도 2는 일 실시예에 따른 조리 기기의 사시도이다. 도 3은 일 실시예에 따른 조리 기기의 단면도이다. 도 4는 트레이가 챔버 측벽의 제1 지지대에 거치된 예를 도시한다.Figure 2 is a perspective view of a cooking appliance according to one embodiment. Figure 3 is a cross-sectional view of a cooking appliance according to one embodiment. Figure 4 shows an example in which the tray is mounted on the first support on the side wall of the chamber.
도 2, 도 3 및 도 4를 참조하면, 조리 기기(1)는, 외관을 형성하는 하우징(1h)과, 하우징(1h)의 개구를 개폐하도록 마련되는 도어(20)를 포함할 수 있다. 도어(20)는 적어도 하나의 투명 유리판(21)을 포함할 수 있다. 예를 들면, 도어(20)는 도어(20)의 외면을 형성하는 제1 투명 유리판(21)과 도어(20)의 내면을 형성하는 제2 투명 유리판(22)을 포함할 수 있다. 또한, 제1 투명 유리판(21)과 제2 투명 유리판(22) 사이에 제3 투명 유리판(23)이 배치될 수도 있다. 도어(20)가 3중 투명 유리판을 포함하는 것으로 예시되었으나, 이에 제한되지 않는다. 도어(20)는 2중 투명 유리판 또는 4중 투명 유리판을 포함할 수도 있다.Referring to FIGS. 2, 3, and 4, the
도어(20)에 포함되는 적어도 하나의 투명 유리판(21, 22, 23)은 윈도우 역할을 할 수 있다. 사용자는 도어(20)가 닫혀 있을 때 투명 유리판(21, 22, 23)을 통해 챔버(50) 내부를 관찰할 수 있다. 투명 유리판(21, 22, 23)은 내열 유리로 형성될 수 있다.At least one
조리 기기(1)의 하우징(1h)에는 조리 기기(1)의 동작과 관련된 정보를 표시하고 사용자 입력을 획득하기 위한 사용자 인터페이스(40)가 마련될 수 있다. 사용자 인터페이스(40)는 조리 기기(1)의 동작과 관련된 정보를 표시하는 디스플레이(41)와 사용자의 입력을 획득하는 입력부(42)를 포함할 수 있다. 디스플레이(41)와 입력부(42)는 하우징(1h)의 다양한 위치에 마련될 수 있다. 예를 들면, 디스플레이(41)와 입력부(42)는 하우징(1h)의 상측 전면에 위치할 수 있다. The
디스플레이(41)는 다양한 종류의 디스플레이 패널로 제공될 수 있다. 예를 들어, 디스플레이(41)는 액정 디스플레이 패널(Liquid Crystal Display Panel, LCD Panel), 발광 다이오드 패널(Light Emitting Diode Panel, LED Panel), 유기 발광 다이오드 패널(Organic Light Emitting Diode Panel, OLED Panel), 또는 마이크로 LED 패널을 포함할 수 있다. 디스플레이(41)는 터치 스크린을 포함하여 입력 장치로도 사용될 수 있다.The
디스플레이(41)는 사용자가 입력한 정보 또는 사용자에게 제공되는 정보를 다양한 화면으로 표시할 수 있다. 디스플레이(41)는 조리 기기(1)의 동작과 관련된 정보를 이미지 또는 텍스트 중 적어도 하나로 표시할 수 있다. 또한, 디스플레이(41)는 조리 기기(1)의 제어를 가능하게 하는 그래픽 사용자 인터페이스(GUI, Graphic User Interface)를 표시할 수 있다. 즉, 디스플레이(41)는 아이콘(Icon)과 같은 UI 엘리먼트(User Interface Element)를 표시할 수 있다.The
입력부(42)는 사용자 입력에 대응하는 전기적 신호(전압 또는 전류)를 제어부(200)로 전송할 수 있다. 입력부(42)는 다양한 버튼들 및/또는 다이얼을 포함할 수 있다. 예를 들면, 입력부(42)는 조리 기기(1)의 전원을 온 또는 오프 하기 위한 전원 버튼, 조리 동작을 시작 또는 정지하기 위한 시작/정지 버튼, 조리 코스를 선택하기 위한 조리 코스 버튼, 조리 온도를 설정하기 위한 온도 버튼 및 조리 시간을 설정하기 위한 시간 버튼 중 적어도 하나를 포함할 수 있다. 다양한 버튼들은 물리 버튼 또는 터치 버튼으로 마련될 수 있다.The
입력부(42)에 포함되는 다이얼은 회전 가능하게 마련될 수 있다. 다이얼의 회전에 의해 복수의 조리 코스 중 하나가 선택될 수 있다. 다이얼의 회전에 따라 디스플레이(41)에 표시되는 UI 엘리먼트들이 순차적으로 이동할 수 있다. 조리 기기(1)는 선택된 조리 코스에 따라 조리를 수행할 수 있다. 조리 코스는 조리 온도, 조리 시간, 히터(80)의 출력 및 팬(90)의 출력과 같은 조리 파라미터를 포함할 수 있다. 챔버(50) 내 트레이(T)의 위치, 조리물의 종류, 수량 및/또는 크기에 따라 다른 조리 코스가 선택될 수 있다.The dial included in the
조리 기기(1)는 하우징(1h) 내부에 마련되고 조리물이 위치할 수 있는 챔버(50)를 포함할 수 있다. 하우징(1h)의 전방에는 개구가 마련될 수 있다. 사용자는 하우징(1h)의 개구를 통해 조리물을 챔버(50) 내에 위치시킬 수 있다. 챔버(50)는 직육면체 형상으로 마련될 수 있다.The
챔버(50)의 양 측벽에는 트레이(T)의 거치를 위한 복수의 지지대(51, 52)가 마련될 수 있다. 지지대는 '레일'로 호칭될 수도 있다. 일 예로, 복수의 지지대(51, 52)는 챔버(50)의 좌측 내벽과 우측 내벽으로부터 돌출되도록 형성될 수 있다. 다른 예로, 복수의 지지대(51, 52)는 별도의 구조물로서 챔버(50)의 좌측 내벽과 우측 내벽에 장착 가능하도록 마련될 수 있다.A plurality of
복수의 지지대(51, 52) 각각은 전후 방향으로 미리 정해진 길이를 갖는다. 복수의 지지대(51, 52)는 상하 방향으로 서로 떨어진 위치에 마련될 수 있다. 예를 들면, 복수의 지지대(51, 52)는 제1 지지대(51)와, 제1 지지대(51)의 위치보다 높은 위치에 형성되는 제2 지지대(52)를 포함할 수 있다. 제1 지지대(51)는 챔버(50)의 바닥(50a)으로부터 제1 높이(h1)에 위치할 수 있다. 제2 지지대(52)는 챔버(50)의 바닥(50a)으로부터 제1 높이(h1)보다 높은 제2 높이(h2)에 위치할 수 있다.Each of the plurality of
제1 지지대(51)는 챔버(50)의 좌측 내벽과 우측 내벽 각각의 제1 높이에 위치하는 한 쌍의 지지대를 의미할 수 있다. 제2 지지대(52)는 챔버(50)의 좌측 내벽과 우측 내벽 각각의 제2 높이에 위치하는 한 쌍의 지지대를 의미할 수 있다. 챔버(50) 내 공간은 복수의 지지대(51, 52)에 의해 복수의 층으로 구분될 수 있다. 예를 들면, 챔버(50)의 바닥(50a)은 1층(F1)을 형성하고, 제1 지지대(51)는 2층(F2)을 형성하며, 제2 지지대(52)는 3층(F3)을 형성할 수 있다.The
복수의 지지대(51, 52)에 의해 트레이(T)가 챔버(50) 내에서 다양한 높이에 거치될 수 있다. 예를 들면, 트레이(T)는 챔버(50)의 바닥(50a), 제1 지지대(51) 또는 제2 지지대(52)에 거치될 수 있다. 트레이(T)가 챔버(50) 내에 투입되면, 트레이(T)의 상면은 챔버(50)의 천장과 마주할 수 있다. 트레이(T)의 상면에는 조리물이 위치할 수 있다. 트레이(T)는 다양한 형상을 가질 수 있다. 예를 들면, 트레이(T)는 직사각형 또는 원형으로 마련될 수 있다.The tray T can be held at various heights within the
복수의 트레이가 동시에 거치되는 경우, 복수의 조리 공간이 형성될 수 있다. 예를 들면, 복수의 트레이가 챔버(50)의 바닥(50a), 제1 지지대(51) 및 제2 지지대(52) 모두에 거치되면, 챔버(50) 내에는 1층 공간, 2층 공간 및 3층 공간이 형성될 수 있다.When multiple trays are mounted simultaneously, multiple cooking spaces may be formed. For example, when a plurality of trays are mounted on the
챔버(50)의 양 측벽에서 서로 다른 높이에 2개의 지지대(51, 52)가 마련되는 것으로 예시되었으나, 이에 제한되지 않는다. 설계에 따라 다양한 개수의 레일이 마련될 수 있다. 챔버(50)가 클수록 많은 수의 레일이 마련될 수 있다.Although it is illustrated that two
챔버(50)와 하우징(1h) 사이에는 조리 기기(1)의 동작에 필요한 다양한 부품들이 배치될 수 있다. 예를 들면, 조리 기기(1)는 카메라(60), 조명(70), 팬(90) 및 다양한 회로를 포함할 수 있다.Various parts necessary for the operation of the
카메라(60)는 챔버(50) 내부의 이미지를 획득할 수 있다. 카메라(60)는 획득한 이미지의 데이터를 제어부(200)로 전송할 수 있다. 카메라(60)는 렌즈와 이미지 센서를 포함할 수 있다. 카메라(60)의 시야(FOV)를 확보하기 위해, 카메라(60)의 위치와 인접한 챔버(50)의 상면의 일부는 투명 소재(예를 들면, 투명 내열 유리)로 형성될 수 있다.The
조명(70)은 챔버(50) 내부로 광을 방출할 수 있다. 조명(70)에서 방출되는 광에 의해 챔버(50) 내부가 밝아질 수 있다. 그에 따라 카메라(60)에 의해 획득된 이미지의 밝기, 대비 및/또는 선명도가 증가할 수 있고, 이미지에 포함된 오브젝트의 식별력이 향상될 수 있다. 조명(70)의 위치와 인접한 챔버(50)의 상면의 다른 일부에는 조명(70)의 광을 챔버(50) 내부로 투과시키고 확산시키기 위한 확산 소재가 마련될 수 있다.
챔버(50)의 상단에는 히터(80)가 위치할 수 있다. 히터(80)는 챔버(50) 내부로 열을 공급할 수 있다. 히터(80)가 생성하는 열에 의해 조리물이 조리될 수 있다. 히터(80)는 하나 이상으로 마련될 수 있다. 제어부(200)에 의해 히터(80)의 가열 레벨과 가열 시간이 조절될 수 있다. 챔버(50) 내 트레이(T)의 위치, 조리물의 종류, 수량 및/또는 크기에 따라 히터(80)의 출력과 가열 시간이 다르게 조절될 수 있다. 즉, 조리 코스에 따라 히터(80)의 동작이 다르게 제어될 수 있다.A
팬(90)은 챔버(50) 내부의 공기를 순환시킬 수 있다. 팬(90)은 모터와 블레이드를 포함할 수 있다. 팬(90)은 하나 이상으로 마련될 수 있다. 팬(90)이 동작함에 따라 히터(80)에 의해 가열된 공기가 챔버(50) 내부를 순환할 수 있다. 따라서 히터(80)에 의해 생성된 열이 챔버(50)의 상부로부터 하부까지 골고루 전달될 수 있다. 제어부(200)에 의해 팬(90)의 회전 속도와 회전 시간이 조절될 수 있다. 조리 코스에 따라 팬(90)의 동작이 다르게 제어될 수 있다. 챔버(50) 내 트레이(T)의 위치, 조리물의 종류, 수량 및/또는 크기에 따라 팬(90)의 출력과 회전 시간이 다르게 조절될 수 있다.The
도 5는 일 실시예에 따른 조리 기기의 제어 구성들을 도시한다.5 shows control configurations of a cooking appliance according to one embodiment.
도 5를 참조하면, 조리 기기(1)는 사용자 인터페이스(40), 카메라(60), 조명(70), 히터(80), 팬(90), 통신 회로(100), 온도 센서(110) 및 제어부(200)를 포함할 수 있다. 제어부(200)는 조리 기기(1)의 구성요소들과 전기적으로 연결되고, 조리 기기(1)의 구성요소들을 제어할 수 있다.Referring to FIG. 5, the
사용자 인터페이스(40)는 디스플레이(41)와 입력부(42)를 포함할 수 있다. 디스플레이(41)는 조리 기기(1)의 동작과 관련된 정보를 표시할 수 있다. 디스플레이(41)는 사용자가 입력한 정보 또는 사용자에게 제공되는 정보를 다양한 화면으로 표시할 수 있다.The
입력부(42)는 사용자 입력을 획득할 수 있다. 사용자 입력은 다양한 명령을 포함할 수 있다. 예를 들면, 입력부(42)는, 아이템을 선택하는 명령, 조리 코스를 선택하는 명령, 히터(80)의 가열 레벨을 조절하는 명령, 조리 시간을 조절하는 명령, 조리 온도를 조절하는 명령, 조리 시작 명령 또는 조리 중지 명령 중 적어도 하나를 획득할 수 있다. 사용자 입력은 사용자 기기(2)로부터 획득될 수도 있다.The
제어부(200)는 입력부(42) 또는 사용자 기기(2) 중 적어도 하나를 통해 수신되는 명령을 처리하여 조리 기기(1)의 작동을 제어할 수 있다. 조리 기기(1)는 메모리(220), 사용자 기기(2) 또는 서버(3)로부터 획득한 조리 코스 정보에 기초하여 조리를 자동으로 수행할 수 있다.The
카메라(60)는 챔버(50) 내부의 이미지를 획득할 수 있다. 카메라(60)는 미리 정해진 시야(FOV)를 가질 수 있다. 카메라(60)는 챔버(50)의 상부에 위치하고, 챔버(50)의 상면에서 챔버(50) 내부를 향하는 시야(FOV)를 가질 수 있다. 제어부(200)는 조리 기기(1)의 전원이 켜진 후 도어(20)가 닫히면 챔버(50) 내부의 이미지를 획득하도록 카메라(60)를 제어할 수 있다. 제어부(200)는 조리가 시작된 후 조리가 완료될 때까지 미리 정해진 시간 간격마다 챔버(50) 내부의 이미지를 획득하도록 카메라(60)를 제어할 수도 있다. 즉, 제어부(200)는 조리물의 조리가 수행되는 동안 복수의 이미지 프레임을 획득하도록 카메라(60)를 제어할 수 있다. 제어부(200)는 복수의 이미지 프레임으로부터 조리물의 상태 변화를 식별할 수 있다.The
조명(70)은 챔버(50) 내부로 광을 방출할 수 있다. 제어부(200)는 조리 기기(1)의 전원이 켜지면 광을 방출하도록 조명(70)을 제어할 수 있다. 제어부(200)는 조리가 완료될 때까지 또는 조리 기기(1)의 전원이 꺼질 때까지 광을 방출하도록 조명(70)을 제어할 수 있다.
히터(80)는 챔버(50) 내부로 열을 공급할 수 있다. 제어부(200)는 히터(80)의 출력을 조절할 수 있다. 예를 들면, 제어부(200)는 히터(80)의 가열 레벨과 가열 시간을 조절할 수 있다. 제어부(200)는 챔버(50) 내 트레이(T)의 위치, 조리물의 성질 및/또는 조리 코스에 따라 히터(80)의 가열 레벨과 가열 시간을 조절할 수 있다.The
팬(90)은 챔버(50) 내부의 공기를 순환시킬 수 있다. 제어부(200)는 팬(90)의 출력을 조절할 수 있다. 예를 들면, 제어부(200)는 팬(90)의 회전 속도와 회전 시간을 조절할 수 있다. 제어부(200)는 챔버(50) 내 트레이(T)의 위치, 조리물의 종류, 수량, 개수 및/또는 크기에 따라 팬(90)의 회전 속도와 회전 시간을 조절할 수 있다.The
통신 회로(100)는 네트워크를 통해 사용자 기기(2) 또는 서버(3) 중 적어도 하나와 연결을 수행할 수 있다. 제어부(200)는 통신 회로(100)를 통해 서버(3)로부터 다양한 정보, 다양한 신호 및/또는 다양한 데이터를 획득할 수 있다. 예를 들면, 통신 회로(100)는 사용자 기기(2)로부터 원격 제어 신호를 수신할 수 있다. 제어부(200)는 통신 회로(100)를 통해 서버(3)로부터 이미지를 분석하는데 사용되는 학습 모델을 획득할 수 있다.The
통신 회로(100)는 다양한 통신 모듈을 포함할 수 있다. 통신 회로(100)는 무선 통신 모듈 및/또는 유선 통신 모듈을 포함할 수 있다. 무선 통신 기술로서, 무선 랜(wireless local area network), 홈 RF(Home Radio Frequency), 적외선 통신, UWB(Ultra-wide band) 통신, 와이파이, 블루투스, 지그비(Zigbee) 등이 적용될 수 있다.
온도 센서(110)는 챔버(50) 내부의 온도를 검출할 수 있다. 온도 센서(110)는 챔버(50) 내부의 다양한 위치에 설치될 수 있다. 온도 센서(110)는 검출된 온도에 대응하는 전기적 신호를 제어부(200)에 전송할 수 있다. 제어부(200)는 챔버(50) 내부의 온도가 조리물의 종류, 개수 및/또는 조리 코스에 따라 정해지는 조리 온도로 유지되도록 히터(80)와 팬(90) 중 적어도 하나를 제어할 수 있다.The
이외에도, 조리 기기(1)는 다양한 센서를 포함할 수 있다. 예를 들면, 조리 기기(1)는 전류 센서와 전압 센서를 포함할 수 있다. 전류 센서는 조리 기기(1)의 전자 부품들에 인가되는 전류를 측정할 수 있다. 전압 센서는 조리 기기(1)의 전자 부품들에 인가되는 전압을 측정할 수 있다.In addition, the
제어부(200)는 프로세서(210)와 메모리(220)를 포함할 수 있다. 프로세서(210)는 하드웨어로서, 논리 회로와 연산 회로를 포함할 수 있다. 프로세서(210)는 조리 기기(1)의 동작을 위해 메모리(220)에 저장된 프로그램, 인스트럭션 및/또는 데이터를 이용하여 전기적으로 연결된 조리 기기(1)의 구성요소들을 제어할 수 있다. 제어부(200)는 콘덴서, 인덕터 및 저항 소자와 같은 회로 소자를 포함하는 제어 회로로 구현될 수 있다. 프로세서(210)와 메모리(220)는 별도의 칩으로 구현되거나, 단일의 칩으로 구현될 수 있다. 또한, 제어부(200)는 복수의 프로세서와 복수의 메모리를 포함할 수 있다.The
메모리(220)는 조리 기기(1)의 동작을 위한 프로그램, 어플리케이션 및/또는 데이터를 저장할 수 있고, 프로세서(210)에 의해 생성되는 데이터를 저장할 수 있다. 예를 들면, 메모리(220)는 조리물의 성질과 조리물의 상태 변화에 매칭되는 음향 정보를 포함하는 음향 매칭 테이블을 저장할 수 있다.The
메모리(220)는 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 플래시 메모리와 같은 비휘발성 메모리를 포함할 수 있다. 메모리(220)는 데이터를 일시적으로 기억하기 위한 S-램(Static Random Access Memory, S-RAM), D-램(Dynamic Random Access Memory)과 같은 휘발성 메모리를 포함할 수 있다.The
제어부(200)는 카메라(60)에 의해 획득된 복수의 이미지 프레임에 포함된 다양한 오브젝트를 식별할 수 있다. 제어부(200)는 이미지 프레임에 포함된 조리물을 식별할 수 있다. 제어부(200)는 메모리(220) 또는 서버(3)로부터 획득되는 학습 모델을 이용하여 복수의 이미지 프레임으로부터 조리물을 식별할 수 있고, 조리물의 성질(property)을 추정할 수 있다. 조리물의 성질은 조리물의 종류, 수량, 개수 및/또는 크기를 포함할 수 있다. 조리물이 복수인 경우, 제어부(200)는 복수의 조리물 각각의 성질을 식별할 수 있다.The
제어부(200)는 복수의 이미지 프레임을 분석하여 조리물의 상태 변화를 식별하고, 조리물의 상태 변화에 기초하여 복수의 이미지 프레임 중 일부의 이미지 프레임을 추출할 수 있다. 제어부(200)는 조리물의 상태 변화에 대응하는 음향을 추출된 일부의 이미지 프레임에 추가하여 조리 과정의 요약 동영상을 생성할 수 있다. 또한, 제어부(200)는 추출된 일부의 이미지 프레임 각각에 시간 정보, 조리물 상태 정보 및 음향 정보를 포함하는 메타 데이터를 삽입할 수 있다.The
제어부(200)는 카메라(60)에 의해 획득된 복수의 이미지 프레임으로부터 조리물의 상태 변화를 식별할 수 있다. 또한, 제어부(200)는 조리물의 상태 변화량을 결정할 수 있다. 제어부(200)는 서로 다른 시점에 획득된 이미지 프레임을 비교하여 조리물의 상태 변화량을 결정할 수 있다. 예를 들면, 제어부(200)는 서버(3)로부터 전송된 기준 이미지 프레임과 조리물의 조리가 수행되는 동안 카메라(60)에 의해 획득된 복수의 이미지 프레임 각각을 비교할 수 있다. 다른 예로, 제어부(200)는 조리 시작 시점에 카메라(60)에 의해 획득된 이미지 프레임을 기준 이미지 프레임으로 설정하고, 그 이후에 획득된 이미지 프레임들과 비교할 수 있다. 또 다른 예로, 제어부(200)는 조리 수행 중 특정 시점마다 카메라(60)에 의해 획득된 이미지 프레임을 기준 이미지 프레임으로 변경하고, 그 이후에 획득된 이미지 프레임들과 비교할 수 있다. 다시 말해, 제어부(200)는 n-1 시점에 획득된 이미지 프레임을 기준 이미지 프레임으로 설정하고, n 시점에 획득된 이미지 프레임과 비교할 수 있다.The
제어부(200)는 조리물의 크기 변화, 조리물의 형태 변화, 조리물의 색상 변화, 조리물의 텍스쳐 변화 중 적어도 하나를 검출하여 조리물의 상태 변화를 식별할 수 있고, 조리물의 상태 변화량을 결정할 수 있다. 조리물의 상태 변화량은 조리물의 크기 변화량, 조리물의 형태 변화량, 조리물의 색상 변화량, 조리물의 텍스쳐 변화량 중 적어도 하나를 포함할 수 있다. 서로 다른 시점에 획득된 이미지 프레임 간 비교를 통해 조리물의 크기 변화, 조리물의 형태 변화, 조리물의 색상 변화, 조리물의 텍스쳐 변화 중 적어도 하나가 검출될 수 있다.The
제어부(200)는 조리물의 상태 변화에 기초하여 복수의 이미지 프레임에 의해 생성되는 원시 동영상을 복수의 섹션으로 분할할 수 있다. 제어부(200)는 분할된 복수의 섹션 각각에서 적어도 하나의 이미지 프레임을 추출하여 일부의 이미지 프레임을 획득할 수 있다. 예를 들면, 제어부(200)는 조리물의 상태 변화량의 기울기가 미리 정해진 임계값보다 크거나 같은 상변화 구간을 검출하고, 상변화 구간의 시작 시점과 종료 시점을 기준으로 원시 동영상을 복수의 섹션으로 분할할 수 있다.The
또한, 제어부(200)는 조리물의 상태 변화량의 기울기가 임계값보다 작게 유지되는 상-유지(phase-holding) 구간을 검출할 수 있다. 제어부(200)는 조리물의 상태 변화량의 기울기가 임계값보다 작게 유지되는 상-유지 구간을 기준으로 원시 동영상을 복수의 섹션으로 분할할 수도 있다. 제어부(200)는 상-유지 구간을 하나의 섹션으로 결정할 수 있다. 조리물의 상태 변화량의 기울기가 일정 시간 이상 임계값보다 작게 유지되면, 제어부(200)는 해당 시간 구간을 상-유지 구간으로 결정할 수 있다. 다시 말해, 제어부(200)는 조리물의 상태 변화량의 기울기가 임계값보다 작게 유지되는 시간 길이가 미리 정해진 임계 시간보다 길거나 같은 경우, 조리물의 상태 변화량의 기울기가 임계값보다 작게 유지되는 상-유지 구간을 하나의 섹션으로 결정할 수 있다.Additionally, the
제어부(200)는 메모리(220)에 저장된 음향 매칭 테이블을 이용하여 복수의 섹션 각각에 추가될 음향을 결정할 수 있다. 분할된 복수의 섹션마다 조리물의 상태 변화가 상이한 경우, 제어부(200)는 분할된 복수의 섹션 각각에 서로 다른 음향을 추가할 수 있다.The
조리물이 복수인 경우, 제어부(200)는 복수의 조리물 각각의 성질과 복수의 조리물 각각의 상태 변화에 매칭되는 복수의 음향을 합성하여 조화 음향을 생성할 수 있다. 제어부(200)는 조화 음향을 추출된 일부의 이미지 프레임에 추가하여 조리 과정의 요약 동영상을 생성할 수 있다. 또한, 제어부(200)는 복수의 조리물 각각의 성질에 기초하여 복수의 음향 각각의 볼륨을 서로 다르게 결정할 수 있다.When there are multiple foods, the
조리 기기(1)의 구성요소는 전술된 것으로 제한되지 않는다. 조리 기기(1)는 전술된 구성요소들 외에도 다양한 구성요소들을 더 포함할 수 있으며, 전술된 구성요소들 중 일부가 생략되는 것도 가능하다.The components of the
도 6은 도 5에서 설명된 제어부의 구조를 예시한다.FIG. 6 illustrates the structure of the control unit described in FIG. 5.
도 6을 참조하면, 제어부(200)는 서브 제어부(200a)와 메인 제어부(200b)를 포함할 수 있다. 서브 제어부(200a)와 메인 제어부(200b)는 서로 전기적으로 연결되고, 각각 별도의 프로세서와 메모리를 포함할 수 있다. 메인 제어부(200b)는 히터(80) 및 팬(90)과 전기적으로 연결되고 히터(80)의 동작과 팬(90)의 동작을 제어할 수 있다.Referring to FIG. 6, the
서브 제어부(200a)는 사용자 인터페이스(40), 카메라(60), 조명(70), 통신 회로(100) 및 온도 센서(110)의 동작을 제어할 수 있다. 서브 제어부(200a)는 사용자 인터페이스(40)를 통해 입력되는 사용자 입력에 대응하는 전기적 신호를 처리할 수 있고, 조리 기기(1)의 동작에 관한 정보를 표시하도록 사용자 인터페이스(40)를 제어할 수 있다. The sub-controller 200a may control the operations of the
서브 제어부(200a)는 서버(3)로부터 조리물의 식별, 조리물의 성질 추정 및 조리물의 상태 변화 식별에 사용되는 학습 모델과 기준 이미지(Reference Image)를 획득할 수 있다. 서브 제어부(200a)는 이미지를 전처리 하고, 학습 모델을 이용하여 조리물을 식별하며, 조리물의 성질(조리물의 종류, 개수 및/또는 크기)를 추정할 수 있다. 카메라(60)에 의해 획득된 복수의 이미지 프레임 각각이 학습 모델에 입력될 수 있다. 학습 모델은 이미지 프레임에 포함된 조리물의 종류, 개수 및/또는 크기를 출력할 수 있다.The sub-controller 200a may obtain a learning model and a reference image from the
또한, 서브 제어부(200a)는 카메라(60)에 의해 획득된 복수의 이미지 프레임을 분석하여 조리물의 상태 변화를 식별할 수 있다. 서브 제어부(200a)는 기준 이미지 프레임과 복수의 이미지 프레임 각각을 비교하여 조리물의 상태 변화를 식별할 수 있다. 서브 제어부(200a)는 서로 다른 시점에 획득된 이미지 프레임을 비교하여 조리물의 상태 변화량을 결정할 수 있다. 서브 제어부(200a)는 조리물의 상태 변화에 기초하여 복수의 이미지 프레임 중 일부를 추출할 수 있다. 서브 제어부(200a)는 조리물의 상태 변화에 대응하는 음향을 추출된 일부의 이미지 프레임에 추가하여 조리 과정의 요약 동영상을 생성할 수 있다.Additionally, the sub-controller 200a may analyze a plurality of image frames obtained by the
학습 모델은 인공지능 모델을 의미한다. 학습 모델은 머신 러닝 및/또는 딥 러닝을 통해 생성될 수 있다. 학습 모델은 서버(3)에 의해 생성될 수 있으며, 조리 기기(1)의 메모리(220)에 저장될 수 있다. 학습 알고리즘은, 예를 들면, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으며, 예시된 것으로 한정되지 않는다. Learning model refers to an artificial intelligence model. Learning models may be created through machine learning and/or deep learning. The learning model may be created by the
학습 모델은 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 및/또는 심층 Q-네트워크(deep Q-networks)를 포함할 수 있으며, 예시된 것으로 제한되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.The learning model may include multiple artificial neural network layers. Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), and/or deep Q-networks, but are not limited to those illustrated. In addition to hardware structures, artificial intelligence models may additionally or alternatively include software structures.
서브 제어부(200a)는 인공 지능 알고리즘을 처리하기 위해, 다중 입력- 다중 출력 연산(즉, 매트릭스(Matrix) 연산)을 수행할 수 있는 특수한 프로세서를 포함할 수 있다. 서브 제어부(200a)에 포함되는 특수한 프로세서는 NPU(Neural Process Unit)로 호칭될 수 있다.The sub-controller 200a may include a special processor capable of performing multiple input-multiple output operations (i.e., matrix operations) to process artificial intelligence algorithms. A special processor included in the sub-controller 200a may be called a Neural Process Unit (NPU).
도 7은 시간의 흐름에 따른 조리물의 상태 변화를 설명하는 표이다. 도 8은 도 7에서 설명된 조리물의 상태 변화량을 나타내는 그래프 및 조리물의 상태 변화에 따라 구분되는 복수의 섹션에 추가되는 음향의 파형을 도시한다.Figure 7 is a table explaining changes in the state of food over time. FIG. 8 shows a graph showing the amount of change in the state of the food described in FIG. 7 and a waveform of sound added to a plurality of sections divided according to the change in the state of the food.
도 7에 도시된 표(700)를 참조하면, 조리가 시작된 후 조리물의 상태는 시간 흐름에 따라 변화할 수 있다. 조리물의 상태 변화는 여러 단계(phase)로 구분될 수 있다. 조리물이 빵인 경우, 최초에 반죽이 챔버(50)에 투입될 수 있다. Phase 1에서는 반죽이 일정 온도까지 가열될 수 있다. Phase 1은 조리 시작 시점인 t0 시점부터 t1 시점까지의 제1 시간 구간에 해당할 수 있다. Phase 1에서 반죽의 변화는 크지 않을 수 있으며, t0 시점에서 반죽의 크기와 t1 시점에서 반죽의 크기를 비교하면, 조리물의 상태 변화량은 5로 예시될 수 있다.Referring to the table 700 shown in FIG. 7, the state of the food may change over time after cooking begins. Changes in the state of cooked food can be divided into several phases. When the food to be cooked is bread, the dough may be initially put into the
Phase 2에서는 반죽의 크기와 형태가 급격하게 변할 수 있고, 사용자가 의도하는 빵의 형태가 갖추어 질 수 있다. Phase 2는 t1 시점부터 t2 시점까지의 제2 시간 구간에 해당할 수 있다. Phase 2의 시간 길이는 Phase 1보다 짧을 수 있다. 즉, 반죽의 크기와 형태가 빠른 시간 내에 급격히 변할 수 있다. t0 시점에서 반죽의 크기와 t2 시점에서 반죽의 크기를 비교하면, Phase 2에서 조리물의 상태 변화량은 30으로 예시될 수 있다.In
Phase 3에서는 빵의 크기 변화와 빵의 형태 변화가 적을 수 있고, 빵의 크기와 빵의 형태가 최종 크기 및 최종 형태와 유사하게 될 수 있다. Phase 3은 t2 시점부터 t3 시점까지의 제3 시간 구간에 해당할 수 있다. Phase 3의 시간 길이는 Phase 2보다 길 수 있다. t0 시점에서 반죽의 크기와 t3 시점에서 빵의 크기를 비교하면, Phase 3에서 조리물의 상태 변화량은 35로 예시될 수 있다.In
Phase 4에서는 빵의 색상이 급격하게 변할 수 있다. Phase 4는 t3 시점부터 t4 시점까지의 제4 시간 구간에 해당할 수 있다. Phase 4의 시간 길이는 Phase 2보다 짧을 수 있다. t0 시점에서 반죽의 크기 및 색상과 t3 시점에서 빵의 크기 및 색상을 비교하면, Phase 4에서 조리물의 상태 변화량은 50으로 예시될 수 있다.In
Phase 5에서는 빵의 색상 변화가 적을 수 있으며, Phase 5가 끝나는 t5 시점에 빵이 완성될 수 있다. Phase 5는 t4 시점부터 t5 시점까지의 제5 시간 구간에 해당할 수 있다. Phase 5의 시간 길이는 Phase 4보다 길고 Phase 3보다 짧을 수 있다. t0 시점에서 반죽의 크기 및 색상과 t5 시점에서 빵의 크기 및 색상을 비교하면, Phase 5에서 조리물의 상태 변화량은 55로 예시될 수 있다.In
표(700)의 각 단계(Phase)에서 예시된 조리물의 상태 변화량은 제어부(200)에 의해 산출될 수 있으며, 수치로 나타날 수 있다. 조리물의 상태 변화량은 다양한 형식의 수치로 획득될 수 있으며, 예를 들면, 퍼센트 수치로 획득될 수 있다. The amount of change in the state of the food shown in each phase of the table 700 can be calculated by the
조리물의 상태 변화량을 획득하기 위해 조리 시작 시점인 t0 시점에서 조리물의 상태와 각 단계의 종료 시점에서 조리물의 상태가 비교되는 것으로 설명되었으나, 이에 한정되지 않는다. 예를 들면, 조리물의 상태 변화량을 획득하기 위해, 각 단계의 시작 시점에서 조리물의 상태와 각 단계의 종료 시점에서 조리물의 상태가 비교될 수도 있다.In order to obtain the change in the state of the food, it has been described that the state of the food at the start of cooking, t0, and the state of the food at the end of each step are compared, but the method is not limited to this. For example, in order to obtain the amount of change in the state of the food, the state of the food at the start of each step may be compared with the state of the food at the end of each step.
한편, 조리물의 종류에 따라 상태 변화의 양상이 다르게 나타날 수 있다. 예를 들면, 조리물이 육류인 경우, Phase 1에서는 육류의 상태 변화가 미미할 수 있다. Phase 2에서는 육류로부터 수분과 유분이 빠져 나오면서 육류의 크기와 형태가 급격히 변할 수 있다. Phase 3에서 육류의 상태 변화가 크지 않을 수 있고, Phase 4에서 육류의 색상이 급격히 변할 수 있다. Phase 5에서 육류의 상태 변화는 적으며, 사용자가 원하는 최종 상태가 달성될 수 있다.Meanwhile, the state change may appear differently depending on the type of food. For example, if the food to be cooked is meat, the change in the state of the meat may be minimal in
조리 기기(1)는 카메라(60)에 의해 획득되는 복수의 이미지 프레임을 분석함으로써 조리물의 종류에 따라 다양하게 나타나는 상태 변화를 식별할 수 있다. 조리 기기(1)의 제어부(200)는 조리가 수행되는 동안 획득된 복수의 이미지 프레임으로부터 조리물(ex. 빵)의 상태가 도 7에서 설명된 5개의 단계(phase)를 거쳐 변화하는 것을 식별할 수 있다. 제어부(200)는 기준 이미지 프레임(ex. t0 시점에 획득된 이미지 프레임)과 복수의 이미지 프레임 각각을 비교하여 조리물의 상태 변화를 식별할 수 있다. The
제어부(200)는 조리물의 상태 변화량의 기울기가 미리 정해진 임계값보다 크거나 같은 상변화 구간을 검출할 수 있다. 도 8의 그래프(800)를 참조하면, t1 시점부터 t2 시점까지의 제2 시간 구간과 t3 시점부터 t4 시점까지의 제4 시간 구간에서 조리물의 상태 변화량의 기울기가 다른 시간 구간에서 조리물의 상태 변화량의 기울기보다 크다. 제2 시간 구간과 제4 시간 구간에서 조리물의 상태 변화량의 기울기는 미리 정해진 임계값보다 크거나 같을 수 있다. 제어부(200)는 제2 시간 구간과 제4 시간 구간을 상변화 구간으로 검출할 수 있다.The
또한, 제어부(200)는 조리물의 상태 변화량의 기울기가 임계값보다 작게 유지되는 상-유지 구간을 검출할 수 있다. 조리물의 상태 변화량의 기울기가 일정 시간 이상 임계값보다 작게 유지되면, 제어부(200)는 해당 시간 구간을 상-유지 구간으로 결정할 수 있다. 다시 말해, 제어부(200)는 조리물의 상태 변화량의 기울기가 임계값보다 작게 유지되는 시간 길이가 미리 정해진 임계 시간보다 길거나 같은 경우, 조리물의 상태 변화량의 기울기가 임계값보다 작게 유지되는 상-유지 구간을 하나의 섹션으로 결정할 수 있다. 도 8의 그래프(800)를 참조하면, t0 시점부터 t1 시점까지의 제1 시간 구간, t2 시점부터 t3 시점까지의 제3 시간 구간 및 t4 시점부터 t5 시점까지의 제5 시간 구간이 상-유지 구간에 해당할 수 있다.Additionally, the
제어부(200)는 상변화 구간의 시작 시점과 종료 시점을 기준으로 원시 동영상(raw video)을 복수의 섹션으로 분할할 수 있다. 또한, 제어부(200)는 조리물의 상태 변화량의 기울기가 임계값보다 작게 유지되는 상-유지 구간을 기준으로 원시 동영상을 복수의 섹션으로 분할할 수도 있다. 제어부(200)는 상변화 구간 및 상-유지 구간 중 적어도 하나에 기초하여 원시 동영상을 복수의 섹션으로 분할할 수 있다.The
원시 동영상은 복수의 이미지 프레임을 시간 흐름에 따라 나열한 것이다. 도 8에서, t1 시점, t2 시점, t3 시점 및 t4 시점을 기준으로, 원시 동영상은 5개의 섹션으로 분할될 수 있다. 즉, 원시 동영상은 t0 시점부터 t1 시점까지의 제1 섹션(S1), t1 시점부터 t2 시점까지의 제2 섹션(S2), t2 시점부터 t3 시점까지의 제3 섹션(S3), t3 시점부터 t4 시점까지의 제4 섹션(S4) 및 t4 시점부터 t5 시점까지의 제5 섹션(S5)을 포함할 수 있다.Raw video is a sequence of multiple image frames arranged over time. In Figure 8, based on the t1 time point, the t2 time point, the t3 time point, and the t4 time point, the raw video can be divided into five sections. That is, the raw video includes the first section (S1) from time t0 to t1, the second section (S2) from time t1 to time t2, the third section (S3) from time t2 to t3, and the third section (S3) from time t3 to time t3. It may include a fourth section (S4) from time point t4 and a fifth section (S5) from time point t4 to time t5.
도 7과 도 8을 비교하면, 제1 섹션(S1)은 Phase 1에 대응하는 이미지 프레임들을 포함하고, 제2 섹션(S2)은 Phase 2에 대응하는 이미지 프레임들을 포함하며, 제3 섹션(S3)은 Phase 3에 대응하는 이미지 프레임들을 포함하고, 제4 섹션(S4)은 Phase 4에 대응하는 이미지 프레임들을 포함하며, 제5 섹션(S5)은 Phase 5에 대응하는 이미지 프레임들을 포함한다. 즉, 서로 다른 시간 구간에 속하는 이미지 프레임들이 서로 다른 섹션으로 구분될 수 있다. 제어부(200)는 분할된 복수의 섹션(S1, S2, S3, S4, S5) 각각에서 적어도 하나의 이미지 프레임을 추출할 수 있다. 이를 통해, 원시 동영상을 구성하는 복수의 이미지 프레임 중 일부의 이미지 프레임이 추출될 수 있다.Comparing Figures 7 and 8, the first section (S1) includes image frames corresponding to Phase 1, the second section (S2) includes image frames corresponding to Phase 2, and the third section (S3) ) includes image frames corresponding to Phase 3, the fourth section S4 includes image frames corresponding to Phase 4, and the fifth section S5 includes image frames corresponding to Phase 5. That is, image frames belonging to different time intervals may be divided into different sections. The
도 7에서 설명된 바와 같이, 조리물을 조리하는 과정에서 조리물의 상태 변화가 다양한 양상으로 나타날 수 있다. 실제로, 조리물의 상태에 따라 다양한 소리가 발생할 수 있다. 예를 들어, 육류가 와이어 랙(또는 석쇠) 상에서 조리되는 경우, 조리 과정의 초기 구간(ex. Phase 1)에서는 육류의 상태 변화가 미미하고 특별한 소리가 발생하지 않을 수 있다. 조리 과정의 중반 구간(ex. Phase 2, 3)에서는 육류로부터 수분과 유분이 빠져나와 챔버(50)의 바닥(50a)에 부딪히고, 수분과 유분이 열기에 의해 증발됨으로써 소리가 발생할 수 있다. 조리 과정의 후반 구간(ex. Phase 4, 5)에서는 육류의 표면에서 유분이 끓는 소리가 발생할 수 있다.As explained in FIG. 7, changes in the state of food may appear in various ways during the process of cooking food. In fact, various sounds may be generated depending on the condition of the food. For example, when meat is cooked on a wire rack (or grill), the change in the state of the meat is minimal and no special sound may be generated in the initial section of the cooking process (ex. Phase 1). In the middle section of the cooking process (ex.
조리 기기(1)의 제어부(200)는 추출된 이미지 프레임들에 조리물의 성질과 조리물의 상태 변화에 매칭되는 음향을 합성함으로써 조리 과정의 요약 동영상을 생성할 수 있다. 제어부(200)는 복수의 섹션(S1, S2, S3, S4, S5) 각각에 음향을 추가할 수 있다. 제어부(200)는 메모리(220)에 저장된 음향 매칭 테이블을 이용하여 복수의 섹션(S1, S2, S3, S4, S5) 각각에 추가될 음향을 결정할 수 있다. 분할된 복수의 섹션(S1, S2, S3, S4, S5)마다 조리물의 상태 변화가 상이한 경우, 제어부(200)는 분할된 복수의 섹션(S1, S2, S3, S4, S5) 각각에 서로 다른 음향을 추가할 수 있다. 도 8의 음향 파형은, 제1 섹션(S1), 제2 섹션(S2), 제3 섹션(S3), 제4 섹션(S4) 및 제5 섹션(S5) 각각에 추가된 음향이 다른 것을 보여준다. 예를 들면, 상-유지 구간인 제1 섹션(S1), 제3 섹션(S3) 및 제5 섹션(S5)에는 백색음이 추가될 수 있다.The
도 9는 일 실시예에 따른 음향 매칭 테이블을 도시한다.Figure 9 shows an acoustic matching table according to one embodiment.
도 9를 참조하면, 음향 매칭 테이블(900)은 조리물의 성질(property)과 조리물의 상태 변화에 매칭되는 음향 정보를 포함할 수 있다. 음향 매칭 테이블(900)은 조리 기기(1)의 생산 시 메모리(220)에 저장될 수 있다. 음향 매칭 테이블(900)은 서버(3)로부터 다운로드 되어 메모리(220)에 저장될 수도 있다. 음향 매칭 테이블(900)은 업데이트 될 수 있다.Referring to FIG. 9 , the sound matching table 900 may include sound information matching the properties of the food and changes in the state of the food. The acoustic matching table 900 may be stored in the
전술된 바와 같이, 조리물의 성질은 조리물의 종류, 수량, 개수 및/또는 크기를 포함할 수 있다. 조리물의 성질에 따라 조리물의 상태 변화가 다양하게 나타날 수 있고, 조리물의 상태 변화에 따라 다양한 소리가 발생할 수 있다. 음향 매칭 테이블(900)은 다양한 조리물의 성질과 상태에 적절한 음향 정보를 포함할 수 있다.As described above, the properties of the food may include the type, quantity, number, and/or size of the food. Depending on the nature of the food, various changes in the state of the food may occur, and various sounds may be generated depending on the change in the state of the food. The sound matching table 900 may include sound information appropriate for the properties and conditions of various foods.
육류와 생선의 경우, 조리 상태에 따라 백색음, 굽는 음향, 기름 튀는 음향, 톡톡 튀는 음향 및/또는 증발 음향이 어울릴 수 있다. 튀김류의 경우, 조리 상태에 따라 백색음, 기름 튀는 음향 및/또는 증발 음향이 어울릴 수 있다. 피자의 경우, 조리 상태에 따라 백색음, 굽는 음향, 지글거리는 음향 및/또는 증발 음향이 어울릴 수 있다. 국과 찌개의 경우, 조리 상태에 따라 백색음 및/또는 액체 끓는 음향이 어울릴 수 있다. 빵의 경우, 조리 과정 전반에 걸쳐 백색음이 어울릴 수 있다.For meat and fish, white sounds, grilling sounds, oil splattering sounds, popping sounds, and/or evaporation sounds may be appropriate depending on the cooking condition. In the case of fried food, white sound, oil splashing sound, and/or evaporation sound may be appropriate depending on the cooking condition. In the case of pizza, white sounds, baking sounds, sizzling sounds, and/or evaporation sounds may be appropriate depending on the cooking state. In the case of soups and stews, white sounds and/or liquid boiling sounds may be appropriate depending on the cooking condition. In the case of bread, white sounds can be suitable throughout the cooking process.
조리물이 복수인 경우, 제어부(200)는 각 조리물의 성질과 각 조리물의 상태 변화에 매칭되는 복수의 음향을 합성하여 조화 음향을 생성할 수 있다. 제어부(200)는 생성한 조화 음향을 추출된 일부의 이미지 프레임에 추가하여 조리 과정의 요약 동영상을 생성할 수 있다. 또한, 제어부(200)는 복수의 조리물 각각의 성질에 기초하여 복수의 음향 각각의 볼륨을 서로 다르게 조절할 수 있다. 예를 들면, 육류와 채소가 함께 조리되는 경우, 제어부(200)는 육류의 조리 상태에 매칭되는 음향의 볼륨을 크게 하고, 채소의 조리 상태에 매칭되는 음향의 볼륨을 작게 조절할 수 있다.When there are multiple foods, the
도 10은 사용자 기기를 통해 제공되는 요약 동영상과 요약 동영상의 편집을 위한 그래픽 사용자 인터페이스를 도시한다.10 shows a summary video provided through a user device and a graphical user interface for editing the summary video.
도 10을 참조하면, 사용자 기기(2)는 스마트폰일 수 있다. 사용자 기기(2)는 서버(3)로부터 조리 과정의 요약 동영상을 수신할 수 있다. 사용자 기기(2)의 디스플레이는 조리 과정의 요약 동영상을 표시할 수 있다. 사용자 기기(2)의 디스플레이의 일부 영역(1010)에 요약 동영상이 표시될 수 있고, 다른 일부 영역(1020)에는 요약 동영상의 편집을 위한 툴바가 표시될 수 있다.Referring to FIG. 10, the
일부 영역(1010)에는 요약 동영상과 함께 동영상의 재생 위치를 변경하기 위한 스크롤바(1011)가 표시될 수 있다. 또한, 스크롤바(1011) 상에는 동영상의 현재 재생 위치를 나타내는 인디케이터(1012)가 표시될 수 있다. 스크롤바(1011)에 사용자의 터치가 입력되면 사용자가 터치한 재생 위치부터 동영상이 재생될 수 있다.In some areas 1010, a
다른 일부 영역(1020)에 표시되는 툴바는 요약 동영상의 길이를 조절하기 위한 길이 조절 버튼(1021), 요약 동영상에 음향을 추가하기 위한 음향 추가 버튼(1022) 및 요약 동영상에서 음향을 삭제하기 위한 음향 삭제 버튼(1023)을 포함할 수 있다. 사용자가 길이 조절 버튼(1021), 음향 추가 버튼(1022) 또는 음향 삭제 버튼(1023)을 누르면, 각 버튼에 관련된 다른 사용자 인터페이스 화면이 표시될 수 있다. 사용자 인터페이스 화면을 통해 수신되는 사용자 입력에 따라 영상 편집 신호가 생성될 수 있고, 영상 편집 신호는 서버(3)에 전송될 수 있다. 서버(3)는 영상 편집 신호에 따라 요약 동영상의 길이 조절, 음향 추가 및/또는 음향 삭제를 수행할 수 있다.The toolbar displayed in some
이와 같이, 사용자 기기(2)를 통해 조리 과정의 요약 동영상을 표시하고, 요약 동영상의 편집 기능을 제공함으로써 사용자 편의성이 향상될 수 있다.In this way, user convenience can be improved by displaying a summary video of the cooking process through the
도 11은 일 실시예에 따른 조리 기기의 제어 방법을 설명하는 순서도이다.11 is a flowchart explaining a method of controlling a cooking appliance according to an embodiment.
도 11을 참조하면, 조리 기기(1)의 제어부(200)는 조리물의 조리가 시작되면 복수의 이미지 프레임을 획득하도록 카메라(60)를 제어하고, 복수의 이미지 프레임을 포함하는 원시 동영상을 생성할 수 있다(1101). 조리물의 조리는 사용자 인터페이스(40)를 통해 획득되는 사용자 입력에 의해 시작되거나 도어(20)가 닫힘에 따라 자동으로 시작될 수 있다. 조리물의 조리하기 위한 조리 코스는 사용자 입력에 의해 선택되거나 조리물의 식별 결과에 따라 자동으로 선택될 수 있다. 제어부(200)는 조리물의 조리가 완료된 후 원시 동영상을 생성할 수 있으나, 원시 동영상이 생성되는 시점은 예시된 것으로 제한되지 않는다.Referring to FIG. 11, the
제어부(200)는 복수의 이미지 프레임으로부터 조리물의 상태 변화를 식별할 수 있다. 제어부(200)는 조리물의 크기 변화, 조리물의 형태 변화, 조리물의 색상 변화, 조리물의 텍스쳐 변화 중 적어도 하나를 검출하여 조리물의 상태 변화를 식별할 수 있다. 제어부(200)는 기준 이미지 프레임과 복수의 이미지 프레임 각각을 비교하여 조리물의 상태 변화를 식별할 수 있다. 제어부(200)는 서로 다른 시점에 획득된 이미지 프레임을 비교하여 조리물의 상태 변화량을 결정할 수 있다.The
제어부(200)는 조리물의 상태 변화량도 산출할 수 있다. 조리물의 상태 변화량은 조리물의 크기 변화량, 조리물의 형태 변화량, 조리물의 색상 변화량, 조리물의 텍스쳐 변화량 중 적어도 하나를 포함할 수 있다. 또한, 제어부(200)는 조리물의 성질(property)을 추정할 수 있다. 조리물의 성질은 조리물의 종류, 수량, 개수 및/또는 크기를 포함할 수 있다. The
제어부(200)는 조리물의 상태 변화에 기초하여 복수의 이미지 프레임 중 일부를 추출할 수 있다(1103). 제어부(200)는 조리물의 상태 변화에 대응하는 음향을 추출된 일부의 이미지 프레임에 추가할 수 있다(1104). 제어부(200)는 음향이 추가된 일부의 이미지 프레임을 포함하는 조리 과정의 요약 동영상을 생성할 수 있다(1105).The
도 12는 복수의 조리물이 조리된 경우에 대한 조리 기기의 제어 방법을 설명하는 순서도이다.Figure 12 is a flowchart explaining a method of controlling a cooking appliance when a plurality of foods are cooked.
도 12를 참조하면, 조리 기기(1)의 제어부(200)는 조리물의 조리가 시작되면 복수의 이미지 프레임을 획득하도록 카메라(60)를 제어하고, 복수의 이미지 프레임을 포함하는 원시 동영상을 생성할 수 있다(1201). 챔버(50) 내에 복수의 조리물이 존재하는 경우, 제어부(200)는 복수의 이미지 프레임으로부터 복수의 조리물을 식별할 수 있다(1202). 제어부(200)는 복수의 조리물 각각의 성질과 복수의 조리물 각각의 상태 변화를 식별할 수 있다(1203). 제어부(200)는 복수의 조리물 각각의 성질과 복수의 조리물 각각의 상태 변화에 기초하여 복수의 이미지 프레임 중 일부의 이미지 프레임을 추출할 수 있다(1204).Referring to FIG. 12, the
제어부(200)는 복수의 조리물 각각의 성질과 복수의 조리물 각각의 상태 변화에 매칭되는 복수의 음향을 합성하여 조화 음향을 생성할 수 있다(1205). 제어부(200)는 조화 음향을 추출된 일부의 이미지 프레임에 추가할 수 있다(1206). 또한, 제어부(200)는 복수의 조리물 각각의 성질에 기초하여 복수의 음향 각각의 볼륨을 서로 다르게 결정할 수 있다. 제어부(200)는 조화 음향이 추가된 일부의 이미지 프레임을 포함하는 조리 과정의 요약 동영상을 생성할 수 있다(1207).The
도 13은 도 11과 도 12에서 설명된 조리 기기의 제어 방법의 일부 단계를 더 상세히 기재한 순서도이다.Figure 13 is a flowchart describing in more detail some steps of the method for controlling the cooking appliance described in Figures 11 and 12.
도 13을 참조하면, 조리 기기(1)의 제어부(200)는 조리물의 조리가 시작되면 복수의 이미지 프레임을 획득하도록 카메라(60)를 제어하고, 복수의 이미지 프레임을 포함하는 원시 동영상을 생성할 수 있다(1301). Referring to FIG. 13, the
제어부(200)는 기준 이미지 프레임과 복수의 이미지 프레임 각각을 비교하여 조리물의 상태 변화를 식별할 수 있고, 조리물의 상태 변화량을 결정할 수 있다(1302). 예를 들면, 제어부(200)는 서버(3)로부터 전송된 기준 이미지 프레임과 조리물의 조리가 수행되는 동안 카메라(60)에 의해 획득된 복수의 이미지 프레임 각각을 비교할 수 있다. 다른 예로, 제어부(200)는 조리 시작 시점에 카메라(60)에 의해 획득된 이미지 프레임을 기준 이미지 프레임으로 설정하고, 그 이후에 획득된 이미지 프레임들과 비교할 수 있다. 또 다른 예로, 제어부(200)는 조리 수행 중 특정 시점마다 카메라(60)에 의해 획득된 이미지 프레임을 기준 이미지 프레임으로 변경하고, 그 이후에 획득된 이미지 프레임들과 비교할 수 있다. 다시 말해, 제어부(200)는 n-1 시점에 획득된 이미지 프레임을 기준 이미지 프레임으로 설정하고, n 시점에 획득된 이미지 프레임과 비교할 수 있다.The
서로 다른 시점에 획득된 이미지 프레임 간 비교를 통해 조리물의 크기 변화, 조리물의 형태 변화, 조리물의 색상 변화, 조리물의 텍스쳐 변화 중 적어도 하나가 검출될 수 있다. 제어부(200)는 조리물의 크기 변화, 조리물의 형태 변화, 조리물의 색상 변화, 조리물의 텍스쳐 변화 중 적어도 하나를 검출하여 조리물의 상태 변화량을 결정할 수 있다.Through comparison between image frames acquired at different times, at least one of a change in the size of the food, a change in the shape of the food, a change in the color of the food, and a change in the texture of the food can be detected. The
제어부(200)는 조리물의 상태 변화량의 기울기가 미리 정해진 임계값보다 크거나 같은 상변화 구간 또는 조리물의 상태 변화량의 기울기가 임계값보다 작게 유지되는 상-유지 구간 중 적어도 하나를 검출할 수 있다(1303). 제어부(200)는 상변화 구간 및/또는 상-유지 구간에 기초하여 원시 동영상을 복수의 섹션으로 분할할 수 있다(1304). 예를 들면, 제어부(200)는 상변화 구간의 시작 시점과 종료 시점을 기준으로 원시 동영상을 복수의 섹션으로 분할할 수 있다. 원시 동영상은 상-유지 구간의 시작 시점과 종료 시점을 기준으로 복수의 섹션으로 분할될 수도 있다. 상변화 구간과 상-유지 구간은 각각 하나의 섹션으로 결정될 수 있다. 제어부(200)는 분할된 복수의 섹션 각각에서 적어도 하나의 이미지 프레임을 추출하여 일부의 이미지 프레임을 획득할 수 있다(1305).The
제어부(200)는 복수의 섹션 각각에 조리물의 상태 변화에 대응하는 음향을 추가할 수 있다(1306). 제어부(200)는 메모리(220)에 저장된 음향 매칭 테이블을 이용하여 복수의 섹션 각각에 추가될 음향을 결정할 수 있다. 분할된 복수의 섹션마다 조리물의 상태 변화가 상이한 경우, 제어부(200)는 분할된 복수의 섹션 각각에 서로 다른 음향을 추가할 수 있다. 챔버(50) 내에서 복수의 조리물이 검출되는 경우, 제어부(200)는 복수의 조리물 각각의 성질과 복수의 조리물 각각의 상태 변화에 매칭되는 복수의 음향을 합성하여 조화 음향을 생성하고, 조화 음향을 복수의 섹션 각각에 추가할 수 있다. 제어부(200)는 조화 음향이 추가된 일부의 이미지 프레임을 포함하는 조리 과정의 요약 동영상을 생성할 수 있다(1307).The
도 14는 조리 기기, 서버 및 사용자 기기 간 상호 작용의 일 예를 설명하는 순서도이다.14 is a flowchart illustrating an example of interaction between a cooking appliance, a server, and a user device.
도 14를 참조하면, 조리 기기(1)는 조리가 시작되면(1401), 복수의 이미지 프레임을 획득하도록 카메라(60)를 제어할 수 있다(1402). 조리 기기(1)는 조리가 완료되면(1403), 음향을 포함하는 조리 과정의 요약 동영상을 생성할 수 있다(1404). 음향을 포함하는 조리 과정의 요약 동영상을 생성하는 방법은 전술된 것과 동일하다.Referring to FIG. 14, when cooking begins (1401), the
조리 기기(1)는 요약 동영상을 서버(3)에 전송할 수 있다(1405). 서버(3)는 요약 동영상을 사용자 기기(2)에 전송할 수 있다(1406). 서버(3)는 사용자 기기(2)의 요청에 응답하여 요약 동영상을 사용자 기기(2)에 전송할 수 있다. 예를 들어, 사용자 기기(2)에 의해 요약 동영상을 재생 및 편집하기 위한 어플리케이션이 실행되면, 사용자 기기(2)는 서버(3)로부터 요약 동영상을 수신할 수 있다.The
사용자 기기(2)는 디스플레이를 통해 요약 동영상을 표시할 수 있다(1407). 또한, 사용자 기기(2)는 요약 동영상의 편집을 위한 사용자 입력을 획득할 수 있다(1408). 사용자 기기(2)의 디스플레이의 일부 영역(1010)에 요약 동영상이 표시될 수 있고, 다른 일부 영역(1020)에는 요약 동영상의 편집을 위한 툴바가 표시될 수 있다.The
사용자 기기(2)는 요약 동영상의 편집을 위한 사용자 입력에 대응하는 영상 편집 신호를 서버(3)에 전송할 수 있다(1409). 서버(3)는 영상 편집 신호에 응답하여 요약 동영상을 편집할 수 있다(1410). 서버(3)는 영상 편집 신호에 따라 요약 동영상의 길이 조절, 음향 추가 및/또는 음향 삭제를 수행할 수 있다.The
서버(3)는 편집된 요약 동영상을 사용자 기기(2)에 전송할 수 있다(1411). 따라서 사용자 기기(2)에 편집된 요약 동영상이 표시될 수 있다(1412). 사용자 기기(2)를 통해 조리 과정의 요약 동영상을 표시하고, 요약 동영상의 편집 기능을 제공함으로써 사용자 편의성이 향상될 수 있다.The
도 15는 조리 기기, 서버 및 사용자 기기 간 상호 작용의 다른 예를 설명하는 순서도이다.15 is a flow chart illustrating another example of interaction between a cooking appliance, a server, and a user device.
도 15를 참조하면, 조리 기기(1)는 조리가 시작되면(1501), 복수의 이미지 프레임을 획득하도록 카메라(60)를 제어할 수 있다(1502). 조리 기기(1)는 조리가 완료되면(1503), 복수의 이미지 프레임을 서버(3)에 전송할 수 있다(1504). 조리 기기(1)가 원시 동영상을 전처리 하고, 전처리 된 동영상을 서버(3)에 전송할 수 있다. 전송 속도를 향상시키기 위해 원시 동영상의 용량 및/또는 크기를 축소하는 원시 동영상의 전처리가 수행될 수 있다.Referring to FIG. 15, when cooking begins (1501), the
서버(3)는 조리 기기(1)로부터 수신된 복수의 이미지 프레임을 처리하고, 음향을 포함하는 조리 과정의 요약 동영상을 생성할 수 있다(1505). 음향을 포함하는 조리 과정의 요약 동영상을 생성하는 방법은 전술된 것과 동일하다.The
서버(3)는 요약 동영상을 사용자 기기(2)에 전송할 수 있다(1506). 서버(3)는 사용자 기기(2)의 요청에 응답하여 요약 동영상을 사용자 기기(2)에 전송할 수 있다. 사용자 기기(2)는 디스플레이를 통해 요약 동영상을 표시할 수 있다(1507). 또한, 사용자 기기(2)는 요약 동영상의 편집을 위한 사용자 입력을 획득할 수 있다(1508).The
사용자 기기(2)는 요약 동영상의 편집을 위한 사용자 입력에 대응하는 영상 편집 신호를 서버(3)에 전송할 수 있다(1509). 서버(3)는 영상 편집 신호에 응답하여 요약 동영상을 편집할 수 있다(1510). 서버(3)는 영상 편집 신호에 따라 요약 동영상의 길이 조절, 음향 추가 및/또는 음향 삭제를 수행할 수 있다. 서버(3)는 편집된 요약 동영상을 사용자 기기(2)에 전송할 수 있다(1511). 따라서 사용자 기기(2)에 편집된 요약 동영상이 표시될 수 있다(1512).The
일 실시예에 따른 조리 기기(1)는, 챔버(50); 상기 챔버 내부를 촬영하도록 마련되는 카메라(60); 및 상기 카메라와 전기적으로 연결되는 제어부(200);를 포함하고, 상기 제어부는 조리가 수행되는 동안 복수의 이미지 프레임을 획득하도록 상기 카메라를 제어하고, 상기 복수의 이미지 프레임으로부터 상기 챔버 내 조리물의 상태 변화를 식별하고, 상기 조리물의 상태 변화에 기초하여 복수의 이미지 프레임 중 일부의 이미지 프레임을 추출하고, 상기 조리물의 상태 변화에 대응하는 음향을 상기 추출된 일부의 이미지 프레임에 추가하여 조리 과정의 요약 동영상을 생성할 수 있다.A
상기 제어부는 상기 조리물의 상태 변화에 기초하여 상기 복수의 이미지 프레임에 의해 생성되는 원시 동영상을 복수의 섹션으로 분할하고, 상기 분할된 복수의 섹션 각각에서 적어도 하나의 이미지 프레임을 추출하여 상기 일부의 이미지 프레임을 획득할 수 있다.The control unit divides the raw video generated by the plurality of image frames into a plurality of sections based on a change in the state of the food, extracts at least one image frame from each of the plurality of divided sections, and generates the partial image. You can get a frame.
상기 제어부는 기준 이미지 프레임과 상기 복수의 이미지 프레임 각각을 비교하여 각 이미지 프레임에서 상기 조리물의 상태 변화량을 결정하고, 상기 조리물의 상태 변화량의 기울기가 미리 정해진 임계값보다 크거나 같은 상변화 구간 및 상기 조리물의 상태 변화량의 기울기가 상기 임계값보다 작게 유지되는 상-유지 구간 중 적어도 하나를 검출하고, 상기 상변화 구간 및 상기 상-유지 구간 중 적어도 하나에 기초하여 상기 원시 동영상을 상기 복수의 섹션으로 분할할 수 있다.The control unit determines the amount of change in the state of the food in each image frame by comparing each of the plurality of image frames with a reference image frame, and the phase change section in which the slope of the amount of change in the state of the food is greater than or equal to a predetermined threshold and the Detecting at least one of the phase-maintaining sections in which the slope of the state change of the food remains smaller than the threshold, and dividing the raw video into the plurality of sections based on at least one of the phase change section and the phase-maintaining section. It can be divided.
상기 제어부는 상기 분할된 복수의 섹션마다 상기 조리물의 상태 변화가 상이한 것에 기초하여 상기 분할된 복수의 섹션 각각에 서로 다른 음향을 추가할 수 있다.The control unit may add different sounds to each of the plurality of divided sections based on a change in the state of the food for each of the plurality of divided sections.
상기 조리 기기는 상기 조리물의 성질과 상기 조리물의 상태 변화에 매칭되는 음향 정보를 포함하는 음향 매칭 테이블을 저장하는 메모리;를 더 포함하고, 상기 제어부는 상기 음향 매칭 테이블을 이용하여 상기 복수의 섹션 각각에 추가될 음향을 결정할 수 있다.The cooking appliance further includes a memory that stores an acoustic matching table containing acoustic information matching properties of the food and changes in the state of the food, wherein the control unit uses the acoustic matching table to each of the plurality of sections. You can decide which sound to add.
상기 조리 기기는 상기 조리물의 성질(property)과 상기 조리물의 상태 변화에 매칭되는 음향 정보를 포함하는 음향 매칭 테이블을 저장하는 메모리;를 더 포함하고, 상기 제어부는 상기 챔버 내에서 복수의 조리물이 식별됨에 기초하여 상기 복수의 조리물 각각의 성질과 상기 복수의 조리물 각각의 상태 변화를 식별하고, 상기 복수의 조리물 각각의 성질과 상태 변화에 매칭되는 복수의 음향을 합성하여 조화 음향을 생성하고, 상기 조화 음향을 상기 추출된 일부의 이미지 프레임에 추가할 수 있다.The cooking appliance further includes a memory that stores an acoustic matching table containing acoustic information matching properties of the food and changes in the state of the food, wherein the control unit detects a plurality of foods in the chamber. Based on the identification, the properties of each of the plurality of foods and changes in the state of each of the plurality of foods are identified, and a plurality of sounds matching the properties and state changes of each of the plurality of foods are synthesized to generate a harmonic sound. And, the harmonic sound can be added to some of the extracted image frames.
상기 제어부는 상기 복수의 조리물 각각의 성질에 기초하여 상기 복수의 음향 각각의 볼륨을 서로 다르게 결정할 수 있다.The controller may determine different volumes of each of the plurality of sounds based on properties of each of the plurality of foods.
상기 제어부는 상기 추출된 일부의 이미지 프레임 각각에 시간 정보, 조리물 상태 정보및 음향 정보를 포함하는 메타 데이터를 삽입할 수 있다.The control unit may insert metadata including time information, food state information, and sound information into each of the extracted image frames.
상기 제어부는 상기 조리물의 크기 변화, 상기 조리물의 형태 변화, 상기 조리물의 색상 변화, 상기 조리물의 텍스쳐 변화 중 적어도 하나를 검출하여 상기 조리물의 상태 변화를 식별할 수 있다.The control unit may identify a change in the state of the food by detecting at least one of a change in the size of the food, a change in the shape of the food, a change in color of the food, and a change in texture of the food.
상기 조리 기기는 서버와 통신을 수행하는 통신 회로;를 더 포함하고, 상기 제어부는 상기 요약 동영상을 사용자 기기에 표시하기 위한 표시 정보를 상기 서버에 전송하도록 상기 통신 회로를 제어할 수 있다.The cooking appliance further includes a communication circuit that communicates with a server, and the control unit may control the communication circuit to transmit display information for displaying the summary video on the user device to the server.
일 실시예에 따른 제어 방법은, 조리가 수행되는 동안 복수의 이미지 프레임을 획득하도록 카메라를 제어하고; 상기 복수의 이미지 프레임으로부터 챔버 내 조리물의 상태 변화를 식별하고; 상기 조리물의 상태 변화에 기초하여 복수의 이미지 프레임 중 일부의 이미지 프레임을 추출하고; 상기 조리물의 상태 변화에 대응하는 음향을 상기 추출된 일부의 이미지 프레임에 추가하여 조리 과정의 요약 동영상을 생성하는 것;을 포함할 수 있다.A control method according to an embodiment includes controlling a camera to acquire a plurality of image frames while cooking is performed; identify changes in the state of the food in the chamber from the plurality of image frames; extracting some image frames from a plurality of image frames based on changes in the state of the food; It may include generating a summary video of the cooking process by adding sound corresponding to a change in the state of the food to some of the extracted image frames.
상기 일부의 이미지 프레임을 추출하는 것은, 상기 조리물의 상태 변화에 기초하여 상기 복수의 이미지 프레임에 의해 생성되는 원시 동영상을 복수의 섹션으로 분할하고; 상기 분할된 복수의 섹션 각각에서 적어도 하나의 이미지 프레임을 추출하는 것;을 포함할 수 있다.Extracting the partial image frames includes dividing the raw video generated by the plurality of image frames into a plurality of sections based on a change in the state of the food product; It may include extracting at least one image frame from each of the plurality of divided sections.
상기 복수의 섹션으로 분할하는 것은, 기준 이미지 프레임과 상기 복수의 이미지 프레임 각각을 비교하여 각 이미지 프레임에서 상기 조리물의 상태 변화량을 결정하고; 상기 조리물의 상태 변화량의 기울기가 미리 정해진 임계값보다 크거나 같은 상변화 구간 및 상기 조리물의 상태 변화량의 기울기가 상기 임계값보다 작게 유지되는 상-유지 구간 중 적어도 하나를 검출하고; 상기 상변화 구간 및 상기 상-유지 구간 중 적어도 하나에 기초하여 상기 원시 동영상을 상기 복수의 섹션으로 분할하는 것;을 포함할 수 있다.The dividing into the plurality of sections includes comparing each of the plurality of image frames with a reference image frame to determine the amount of change in the state of the food in each image frame; detecting at least one of a phase change section in which the slope of the state change amount of the food is greater than or equal to a predetermined threshold and a phase-maintenance section in which the slope of the state change amount of the food remains less than the threshold; It may include dividing the raw video into the plurality of sections based on at least one of the phase change section and the phase-maintenance section.
상기 요약 동영상을 생성하는 것은, 상기 분할된 복수의 섹션마다 상기 조리물의 상태 변화가 상이한 것에 기초하여 상기 분할된 복수의 섹션 각각에 서로 다른 음향을 추가하는 것;을 포함할 수 있다.Generating the summary video may include adding different sounds to each of the plurality of divided sections based on a change in the state of the food for each of the plurality of divided sections.
상기 요약 동영상을 생성하는 것은, 메모리로부터 상기 조리물의 성질과 상기 조리물의 상태 변화에 매칭되는 음향 정보를 포함하는 음향 매칭 테이블을 획득하고; 상기 음향 매칭 테이블을 이용하여 상기 복수의 섹션 각각에 추가될 음향을 결정하는 것;을 포함할 수 있다.Generating the summary video includes obtaining an acoustic matching table from a memory that includes acoustic information matching properties of the food and changes in the state of the food; It may include determining a sound to be added to each of the plurality of sections using the sound matching table.
상기 조리물의 상태 변화를 식별하는 것은, 상기 챔버 내에서 복수의 조리물이 식별됨에 기초하여 상기 복수의 조리물 각각의 성질과 상기 복수의 조리물 각각의 상태 변화를 식별하는 것;을 포함할 수 있다.Identifying a change in the state of the food may include identifying properties of each of the plurality of food and a change in state of each of the plurality of food based on identification of the plurality of food in the chamber. there is.
상기 요약 동영상을 생성하는 것은, 메모리로부터 상기 조리물의 성질과 상기 조리물의 상태 변화에 매칭되는 음향 정보를 포함하는 음향 매칭 테이블을 획득하고; 상기 복수의 조리물 각각의 성질과 상태 변화에 매칭되는 복수의 음향을 합성하여 조화 음향을 생성하고; 상기 조화 음향을 상기 추출된 일부의 이미지 프레임에 추가하는 것;을 포함할 수 있다.Generating the summary video includes obtaining an acoustic matching table from a memory that includes acoustic information matching properties of the food and changes in the state of the food; generating a harmonic sound by synthesizing a plurality of sounds matching the properties and state changes of each of the plurality of food items; It may include adding the harmonic sound to some of the extracted image frames.
상기 조화 음향을 생성하는 것은, 상기 복수의 조리물 각각의 성질에 기초하여 상기 복수의 음향 각각의 볼륨을 서로 다르게 결정하는 것;을 포함할 수 있다.Generating the harmonic sound may include determining different volumes of each of the plurality of sounds based on properties of each of the plurality of foods.
상기 요약 동영상을 생성하는 것은, 상기 추출된 일부의 이미지 프레임 각각에 시간 정보, 조리물 상태 정보및 음향 정보를 포함하는 메타 데이터를 삽입하는 것;을 더 포함할 수 있다.Generating the summary video may further include inserting metadata including time information, food state information, and sound information into each of the extracted partial image frames.
상기 조리물의 상태 변화를 식별하는 것은, 상기 조리물의 크기 변화, 상기 조리물의 형태 변화, 상기 조리물의 색상 변화, 상기 조리물의 텍스쳐 변화 중 적어도 하나를 검출하는 것;을 포함할 수 있다.Identifying a change in the state of the food may include detecting at least one of a change in the size of the food, a change in the shape of the food, a change in color of the food, and a change in texture of the food.
상기 조리 기기의 제어 방법은, 상기 요약 동영상을 사용자 기기에 표시하기 위한 표시 정보를 서버에 전송하도록 통신 회로를 제어하는 것;을 더 포함할 수 있다.The method of controlling the cooking appliance may further include controlling a communication circuit to transmit display information for displaying the summary video on the user device to a server.
전술된 바와 같이, 개시된 조리 기기 및 조리 기기의 제어 방법은, 조리물의 조리가 수행되는 동안 획득되는 복수의 이미지 프레임을 분석하여 조리물의 상태 변화를 식별하고, 조리물의 상태 변화에 적합한 음향을 추가하여 요약 동영상을 생성할 수 있다.As described above, the disclosed cooking appliance and method for controlling the cooking appliance identify changes in the state of the food by analyzing a plurality of image frames acquired while the food is being cooked, and add a sound suitable for the change in the state of the food. You can create a summary video.
개시된 조리 기기 및 조리 기기의 제어 방법은, 조리물의 상태 변화에 적합한 음향이 삽입된 요약 동영상을 사용자에게 제공할 수 있다. 사용자는 조리 과정의 요약 동영상에서 시각 정보뿐만 아니라 청각 정보까지 획득할 수 있어 조리 과정을 보다 용이하게 파악할 수 있다. 따라서 사용자의 만족감이 상승할 수 있다.The disclosed cooking appliance and cooking appliance control method can provide a user with a summary video in which sound appropriate for changes in the state of food is inserted. Users can obtain not only visual information but also auditory information from the summary video of the cooking process, making it easier to understand the cooking process. Therefore, user satisfaction can increase.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 저장매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다.Meanwhile, the disclosed embodiments may be implemented in the form of a storage medium that stores instructions executable by a computer. Instructions may be stored in the form of program code, and when executed by a processor, may create program modules to perform operations of the disclosed embodiments.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.A storage medium that can be read by a device may be provided in the form of a non-transitory storage medium. Here, 'non-transitory storage medium' simply means that it is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is semi-permanently stored in a storage medium and temporary storage media. It does not distinguish between cases where it is stored as . For example, a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, methods according to various embodiments disclosed in this document may be provided and included in a computer program product. Computer program products are commodities and can be traded between sellers and buyers. The computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online. In the case of online distribution, at least a portion of the computer program product (e.g., a downloadable app) is stored on a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.As described above, the disclosed embodiments have been described with reference to the attached drawings. A person skilled in the art to which the present invention pertains will understand that the present invention can be practiced in forms different from the disclosed embodiments without changing the technical idea or essential features of the present invention. The disclosed embodiments are illustrative and should not be construed as limiting.
1: 조리 기기
2: 모바일 장치
3: 서버
1h: 하우징
20: 도어
40: 사용자 인터페이스
50: 챔버
60: 카메라
70: 조명
80: 히터
90: 팬
100: 통신 회로
200: 제어부1: Cooking appliance
2: Mobile devices
3: Server
1h: housing
20: door
40: User interface
50: chamber
60: Camera
70: lighting
80: heater
90: fan
100: communication circuit
200: control unit
Claims (20)
상기 챔버 내부를 촬영하도록 마련되는 카메라(60); 및
상기 카메라와 전기적으로 연결되는 제어부(200);를 포함하고,
상기 제어부는
조리가 수행되는 동안 복수의 이미지 프레임을 획득하도록 상기 카메라를 제어하고,
상기 복수의 이미지 프레임으로부터 상기 챔버 내 조리물의 상태 변화를 식별하고,
상기 조리물의 상태 변화에 기초하여 복수의 이미지 프레임 중 일부의 이미지 프레임을 추출하고,
상기 조리물의 상태 변화에 대응하는 음향을 상기 추출된 일부의 이미지 프레임에 추가하여 조리 과정의 요약 동영상을 생성하는 조리 기기.Chamber 50;
A camera 60 provided to photograph the inside of the chamber; and
It includes a control unit 200 electrically connected to the camera,
The control unit
Control the camera to acquire a plurality of image frames while cooking is performed,
Identifying a change in the state of the food in the chamber from the plurality of image frames,
Extracting some image frames from a plurality of image frames based on changes in the state of the food,
A cooking device that generates a summary video of the cooking process by adding sounds corresponding to changes in the state of the food to some of the extracted image frames.
상기 제어부는
상기 조리물의 상태 변화에 기초하여 상기 복수의 이미지 프레임에 의해 생성되는 원시 동영상을 복수의 섹션으로 분할하고,
상기 분할된 복수의 섹션 각각에서 적어도 하나의 이미지 프레임을 추출하여 상기 일부의 이미지 프레임을 획득하는 조리 기기.According to paragraph 1,
The control unit
Dividing the raw video generated by the plurality of image frames into a plurality of sections based on changes in the state of the food,
A cooking appliance that obtains some of the image frames by extracting at least one image frame from each of the plurality of divided sections.
상기 제어부는
기준 이미지 프레임과 상기 복수의 이미지 프레임 각각을 비교하여 각 이미지 프레임에서 상기 조리물의 상태 변화량을 결정하고,
상기 조리물의 상태 변화량의 기울기가 미리 정해진 임계값보다 크거나 같은 상변화 구간 및 상기 조리물의 상태 변화량의 기울기가 상기 임계값보다 작게 유지되는 상-유지 구간 중 적어도 하나를 검출하고,
상기 상변화 구간 및 상기 상-유지 구간 중 적어도 하나에 기초하여 상기 원시 동영상을 상기 복수의 섹션으로 분할하는 조리 기기.According to paragraph 2,
The control unit
Comparing each of the plurality of image frames with a reference image frame to determine the amount of change in the state of the food in each image frame,
Detecting at least one of a phase change section in which the slope of the state change amount of the food is greater than or equal to a predetermined threshold and a phase-maintenance section in which the slope of the state change amount of the food remains less than the threshold value,
A cooking appliance that divides the raw video into the plurality of sections based on at least one of the phase change section and the phase-maintenance section.
상기 제어부는
상기 분할된 복수의 섹션마다 상기 조리물의 상태 변화가 상이한 것에 기초하여 상기 분할된 복수의 섹션 각각에 서로 다른 음향을 추가하는 조리 기기.According to paragraph 2,
The control unit
A cooking appliance that adds different sounds to each of the plurality of divided sections based on a change in the state of the food in each of the plurality of divided sections.
상기 조리물의 성질과 상기 조리물의 상태 변화에 매칭되는 음향 정보를 포함하는 음향 매칭 테이블을 저장하는 메모리;를 더 포함하고,
상기 제어부는
상기 음향 매칭 테이블을 이용하여 상기 복수의 섹션 각각에 추가될 음향을 결정하는 조리 기기.According to paragraph 4,
It further includes a memory that stores an acoustic matching table containing acoustic information matching properties of the food and changes in the state of the food,
The control unit
A cooking appliance that determines a sound to be added to each of the plurality of sections using the sound matching table.
상기 조리물의 성질(property)과 상기 조리물의 상태 변화에 매칭되는 음향 정보를 포함하는 음향 매칭 테이블을 저장하는 메모리;를 더 포함하고,
상기 제어부는
상기 챔버 내에서 복수의 조리물이 식별됨에 기초하여 상기 복수의 조리물 각각의 성질과 상기 복수의 조리물 각각의 상태 변화를 식별하고,
상기 복수의 조리물 각각의 성질과 상태 변화에 매칭되는 복수의 음향을 합성하여 조화 음향을 생성하고,
상기 조화 음향을 상기 추출된 일부의 이미지 프레임에 추가하는 조리 기기.According to paragraph 1,
It further includes a memory that stores an acoustic matching table containing acoustic information matching properties of the food and changes in the state of the food,
The control unit
Identifying the properties of each of the plurality of foods and changes in the state of each of the plurality of foods based on the identification of the plurality of foods in the chamber,
Creating a harmonic sound by synthesizing a plurality of sounds that match the properties and state changes of each of the plurality of foods,
A cooking appliance that adds the harmonic sound to some of the extracted image frames.
상기 제어부는
상기 복수의 조리물 각각의 성질에 기초하여 상기 복수의 음향 각각의 볼륨을 서로 다르게 결정하는 조리 기기.According to clause 6,
The control unit
A cooking appliance that determines different volumes of each of the plurality of sounds based on properties of each of the plurality of foods.
상기 제어부는
상기 추출된 일부의 이미지 프레임 각각에 시간 정보, 조리물 상태 정보및 음향 정보를 포함하는 메타 데이터를 삽입하는 조리 기기.According to paragraph 1,
The control unit
A cooking device that inserts metadata including time information, food status information, and sound information into each of the extracted image frames.
상기 제어부는
상기 조리물의 크기 변화, 상기 조리물의 형태 변화, 상기 조리물의 색상 변화, 상기 조리물의 텍스쳐 변화 중 적어도 하나를 검출하여 상기 조리물의 상태 변화를 식별하는 조리 기기.According to paragraph 1,
The control unit
A cooking appliance that identifies a change in the state of the food by detecting at least one of a change in the size of the food, a change in the shape of the food, a change in color of the food, and a change in texture of the food.
서버와 통신을 수행하는 통신 회로;를 더 포함하고,
상기 제어부는
상기 요약 동영상을 사용자 기기에 표시하기 위한 표시 정보를 상기 서버에 전송하도록 상기 통신 회로를 제어하는 조리 기기.According to paragraph 1,
It further includes a communication circuit that communicates with the server,
The control unit
A cooking appliance that controls the communication circuit to transmit display information for displaying the summary video on a user device to the server.
상기 복수의 이미지 프레임으로부터 챔버 내 조리물의 상태 변화를 식별하고;
상기 조리물의 상태 변화에 기초하여 복수의 이미지 프레임 중 일부의 이미지 프레임을 추출하고;
상기 조리물의 상태 변화에 대응하는 음향을 상기 추출된 일부의 이미지 프레임에 추가하여 조리 과정의 요약 동영상을 생성하는 것;을 포함하는 조리 기기의 제어 방법.Control the camera to acquire a plurality of image frames while cooking is performed;
identify changes in the state of the food in the chamber from the plurality of image frames;
extracting some image frames from a plurality of image frames based on changes in the state of the food;
Generating a summary video of the cooking process by adding sound corresponding to a change in the state of the food to some of the extracted image frames.
상기 일부의 이미지 프레임을 추출하는 것은,
상기 조리물의 상태 변화에 기초하여 상기 복수의 이미지 프레임에 의해 생성되는 원시 동영상을 복수의 섹션으로 분할하고;
상기 분할된 복수의 섹션 각각에서 적어도 하나의 이미지 프레임을 추출하는 것;을 포함하는 조리 기기의 제어 방법.According to clause 11,
Extracting some of the image frames includes:
dividing the raw video generated by the plurality of image frames into a plurality of sections based on a change in the state of the food;
A method of controlling a cooking appliance comprising: extracting at least one image frame from each of the plurality of divided sections.
상기 복수의 섹션으로 분할하는 것은,
기준 이미지 프레임과 상기 복수의 이미지 프레임 각각을 비교하여 각 이미지 프레임에서 상기 조리물의 상태 변화량을 결정하고;
상기 조리물의 상태 변화량의 기울기가 미리 정해진 임계값보다 크거나 같은 상변화 구간 및 상기 조리물의 상태 변화량의 기울기가 상기 임계값보다 작게 유지되는 상-유지 구간 중 적어도 하나를 검출하고;
상기 상변화 구간 및 상기 상-유지 구간 중 적어도 하나에 기초하여 상기 원시 동영상을 상기 복수의 섹션으로 분할하는 것;을 포함하는 조리 기기의 제어 방법.According to clause 12,
Dividing into the plurality of sections,
Comparing each of the plurality of image frames with a reference image frame to determine the amount of change in the state of the food in each image frame;
detecting at least one of a phase change section in which the slope of the state change amount of the food is greater than or equal to a predetermined threshold and a phase-maintenance section in which the slope of the state change amount of the food remains less than the threshold;
Dividing the raw video into the plurality of sections based on at least one of the phase change section and the phase-maintenance section.
상기 요약 동영상을 생성하는 것은,
상기 분할된 복수의 섹션마다 상기 조리물의 상태 변화가 상이한 것에 기초하여 상기 분할된 복수의 섹션 각각에 서로 다른 음향을 추가하는 것;을 포함하는 조리 기기의 제어 방법.According to clause 12,
Creating the summary video is,
Adding different sounds to each of the plurality of divided sections based on a change in the state of the food for each of the plurality of divided sections.
상기 요약 동영상을 생성하는 것은,
메모리로부터 상기 조리물의 성질과 상기 조리물의 상태 변화에 매칭되는 음향 정보를 포함하는 음향 매칭 테이블을 획득하고;
상기 음향 매칭 테이블을 이용하여 상기 복수의 섹션 각각에 추가될 음향을 결정하는 것;을 포함하는 조리 기기의 제어 방법.According to clause 14,
Creating the summary video is,
Obtaining an acoustic matching table containing acoustic information matching properties of the food and changes in the state of the food from memory;
A method of controlling a cooking appliance comprising: determining a sound to be added to each of the plurality of sections using the sound matching table.
상기 조리물의 상태 변화를 식별하는 것은,
상기 챔버 내에서 복수의 조리물이 식별됨에 기초하여 상기 복수의 조리물 각각의 성질과 상기 복수의 조리물 각각의 상태 변화를 식별하는 것;을 포함하고,
상기 요약 동영상을 생성하는 것은,
메모리로부터 상기 조리물의 성질과 상기 조리물의 상태 변화에 매칭되는 음향 정보를 포함하는 음향 매칭 테이블을 획득하고;
상기 복수의 조리물 각각의 성질과 상태 변화에 매칭되는 복수의 음향을 합성하여 조화 음향을 생성하고;
상기 조화 음향을 상기 추출된 일부의 이미지 프레임에 추가하는 것;을 포함하는 조리 기기의 제어 방법.According to clause 11,
Identifying changes in the state of the food is
Identifying the properties of each of the plurality of foods and changes in the state of each of the plurality of foods based on the identification of the plurality of foods in the chamber,
Creating the summary video is,
Obtaining an acoustic matching table containing acoustic information matching properties of the food and changes in the state of the food from memory;
generating a harmonic sound by synthesizing a plurality of sounds matching the properties and state changes of each of the plurality of food items;
A method of controlling a cooking appliance comprising: adding the harmonic sound to some of the extracted image frames.
상기 조화 음향을 생성하는 것은,
상기 복수의 조리물 각각의 성질에 기초하여 상기 복수의 음향 각각의 볼륨을 서로 다르게 결정하는 것;을 포함하는 조리 기기의 제어 방법.According to clause 16,
Generating the harmonic sound is,
A method of controlling a cooking appliance comprising: determining different volumes of each of the plurality of sounds based on properties of each of the plurality of foods.
상기 요약 동영상을 생성하는 것은,
상기 추출된 일부의 이미지 프레임 각각에 시간 정보, 조리물 상태 정보및 음향 정보를 포함하는 메타 데이터를 삽입하는 것;을 더 포함하는 조리 기기의 제어 방법.According to clause 11,
Creating the summary video is,
A method of controlling a cooking appliance further comprising inserting metadata including time information, food state information, and sound information into each of the extracted partial image frames.
상기 조리물의 상태 변화를 식별하는 것은,
상기 조리물의 크기 변화, 상기 조리물의 형태 변화, 상기 조리물의 색상 변화, 상기 조리물의 텍스쳐 변화 중 적어도 하나를 검출하는 것;을 포함하는 조리 기기의 제어 방법.According to clause 11,
Identifying changes in the state of the food is
Detecting at least one of a change in the size of the food, a change in the shape of the food, a change in color of the food, and a change in texture of the food.
상기 요약 동영상을 사용자 기기에 표시하기 위한 표시 정보를 서버에 전송하도록 통신 회로를 제어하는 것;을 더 포함하는 조리 기기의 제어 방법.According to clause 11,
Controlling a communication circuit to transmit display information for displaying the summary video on a user device to a server.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2023/007240 WO2024043444A1 (en) | 2022-08-24 | 2023-05-26 | Cooking apparatus and method for controlling cooking apparatus |
US18/207,894 US20240071077A1 (en) | 2022-08-24 | 2023-06-09 | Cooking apparatus and method of controlling the same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220106446 | 2022-08-24 | ||
KR20220106446 | 2022-08-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240028274A true KR20240028274A (en) | 2024-03-05 |
Family
ID=90298664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020230010835A KR20240028274A (en) | 2022-08-24 | 2023-01-27 | Cooking apparatus and method for controlling cooking apparatus |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20240028274A (en) |
-
2023
- 2023-01-27 KR KR1020230010835A patent/KR20240028274A/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230189822A1 (en) | Food preparation apparatus and methods | |
KR101044143B1 (en) | Cooker | |
KR101044155B1 (en) | Cooker and method for cotrolling the same | |
US20220412568A1 (en) | Cooking appliance with a user interface | |
US7205507B2 (en) | Food cooking and heating apparatus | |
KR20190057202A (en) | Wireless Control Cooking System | |
JP7106806B2 (en) | Versatile smart electric rice cooker | |
US20210353097A1 (en) | Cooking apparatus, method of controlling same, and cooking system | |
CN108742174A (en) | Oven temperature control method, device and computer readable storage medium | |
US10452046B2 (en) | Cooking appliance control of residential heating, ventilation and/or air conditioning (HVAC) system | |
KR20240028274A (en) | Cooking apparatus and method for controlling cooking apparatus | |
US20240071077A1 (en) | Cooking apparatus and method of controlling the same | |
CN113509058A (en) | Method of cooking a plurality of different food items on a grill device and related system | |
US20230089725A1 (en) | Cooking apparatus and controlling method thereof | |
US20230025683A1 (en) | Optimized cooking method selection | |
US20240070908A1 (en) | Cooking apparatus and method for controlling cooking apparatus | |
KR20240028277A (en) | Cooking apparatus and method for controlling cooking apparatus | |
US11893396B2 (en) | Domestic appliance, domestic appliance system, and method for operating a domestic appliance | |
KR20240028273A (en) | Cooking apparatus and method for controlling cooking apparatus | |
KR20240028271A (en) | Cooking apparatus and method for controlling cooking apparatus | |
CA3153754A1 (en) | Oven cooking cycle with post-preheat and/or two stage preheat phases | |
KR20240057959A (en) | Cooking apparatus and controlling method thereof | |
JP5869159B2 (en) | Electrical equipment | |
KR20220100201A (en) | Cooking apparatus and method for controlling cooking apparatus | |
WO2024043444A1 (en) | Cooking apparatus and method for controlling cooking apparatus |