JP2019165437A - ディスプレイ装置及びその制御方法 - Google Patents

ディスプレイ装置及びその制御方法 Download PDF

Info

Publication number
JP2019165437A
JP2019165437A JP2019030299A JP2019030299A JP2019165437A JP 2019165437 A JP2019165437 A JP 2019165437A JP 2019030299 A JP2019030299 A JP 2019030299A JP 2019030299 A JP2019030299 A JP 2019030299A JP 2019165437 A JP2019165437 A JP 2019165437A
Authority
JP
Japan
Prior art keywords
quality value
image quality
pet
content
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019030299A
Other languages
English (en)
Inventor
昌一 催
Changil Choi
昌一 催
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2019165437A publication Critical patent/JP2019165437A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003Arrangements for executing specific machine instructions
    • G06F9/3004Arrangements for executing specific machine instructions to perform operations on memory
    • G06F9/30043LOAD or STORE instructions; Clear instruction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • H04N21/6547Transmission by server directed to the client comprising parameters, e.g. for client setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6582Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】コンテンツに対するペットの集中を誘導するディスプレイ装置およびその制御方法を提供する。【解決手段】ディスプレイ装置は、ディスプレイ部と、サーバーと通信する通信部と、ペットに関する情報が取得可能なセンサー部と、プロセッサと、を備える。プロセッサは、第1画質値を有するコンテンツをディスプレイ部に表示し(S41)、コンテンツの表示中にセンサー部によって取得されたペットに関する客体情報を通信部を介してサーバーに伝送し(S42、S43)、サーバーから、客体情報に基づいて識別されたペットに対応する第2画質値を受信し(S44)、第1画質値を受信した第2画質値に変更して、該変更された第2画質値を有するコンテンツをディスプレイ部に表示する(S45)。【選択図】図4

Description

本発明は、ディスプレイ装置及びその制御方法に関する。
ペットのための専用カフェが町のあちこちにできるほどに多くの人々がペットを飼っている。ペットの種類も様々であり、犬や猫はもとより、ハムスター、イグアナ、へびなどを飼う人も少なくない。ペットを飼っている人々によると、ペットを飼うには多くの労力が必要であるが、ペットを飼うと情緒的安定、自信、責任などを感じることができ、肯定的要素が優位である。
ところが、ペットは活動範囲の限られた室内空間で飼育されるため、飼い主の不在によって殆どの時間を一人で過ごさなければならない。一人ぼっちの時間が多いペットであるほど、精神的不安と憂欝、身体的無気力などを感じ、酷い場合には過度な攻撃、興奮、自害などの異常行動をする。
これを予防するために、ペットに専用コンテンツを視聴させ、心身の安定を誘導してみようとする試みがあったが、ペット専用コンテンツがペットの視覚的又は聴覚的特性を反映しないで一括した画質又は音質で提供され、ペットに無視されてきた。
したがって、本発明の目的は、ペットの視覚的又は聴覚的特性を反映した画質又は音質のコンテンツを提供し、コンテンツに対するペットの反応に基づく画質又は音質のコンテンツを提供して、コンテンツに対するペットの集中を誘導するディスプレイ装置及びその制御方法を提供することである。
上述した本発明の目的は、ディスプレイ部と、サーバーと通信する通信部と、ペットに関する情報が取得可能なセンサー部と、第1画質値を適用してコンテンツを前記ディスプレイ部に表示し、前記第1画質値を適用したコンテンツの表示中に前記センサー部によって取得された前記ペットに関する客体情報を前記通信部を介して前記サーバーに伝送し、前記サーバーから、前記客体情報に基づいて識別された前記ペットに対応する第2画質値を受信し、該受信された第2画質値を適用して前記コンテンツを前記ディスプレイ部に表示するプロセッサとを含むディスプレイ装置によって達成することができる。
ここで、前記センサー部は、前記ディスプレイ部の前方をキャプチャしたイメージが取得可能なイメージ取得部を有し、前記プロセッサは、前記第1画質値を適用した前記コンテンツの表示中に前記イメージ取得部によって取得されたイメージ内に存在するオブジェクトの形状から前記ペットに関する客体情報を取得することができる。
ここで、前記センサー部は、音声が取得可能な音声受信部を有し、前記プロセッサは、前記第1画質値を適用した前記コンテンツの表示中に前記音声受信部によって取得された音声から前記ペットの客体情報を取得することができる。
ここで、音声が出力可能な音声出力部をさらに備え、前記プロセッサは、第1音質値を適用して前記コンテンツを前記音声出力部から出力し、前記サーバーから、前記客体情報に基づいて識別された前記ペットに対応する第2音質値を受信し、該受信された第2音質値を適用して前記コンテンツを前記音声出力部から出力することができる。
ここで、前記プロセッサは、人工知能アルゴリズムを用いて予め学習されたペットに関するモデルを記憶する前記サーバーから、前記ペットに関するモデルに基づいて識別される前記ペットに対応する前記第2画質値を受信することができる。
ここで、前記プロセッサは、前記第2画質値を適用した前記コンテンツの表示中に前記センサー部によって取得された前記ペットの反応情報を前記サーバーに伝送し、前記サーバーから前記反応情報に基づいて決定された第3画質値を受信し、該受信された第3画質値を適用して前記コンテンツを前記ディスプレイ部に表示することができる。
ここで、前記第3画質値は、前記反応情報に基づいて判断された前記コンテンツに対する前記ペットの選好度に基づいて決定され得る。
ここで、前記プロセッサは、人工知能アルゴリズムを用いて予め学習されたペットの反応に関するモデルを記憶する前記サーバーから、前記ペットの反応に関するモデルに基づいて判断される前記コンテンツに対する前記ペットの選好度に基づいて決定される前記第3画質値を受信することができる。
ここで、前記ペットの選好度は、前記ペットの反応に関する過去履歴情報に基づいて判断され得る。
ここで、前記ペットの選好度は、外部装置から受信された前記ペットの反応に関する情報に基づいて判断され得る。
ここで、前記第1画質値及び前記第2画質値は周波数、色、輝度又は鮮明度のうち少なくとも一つの値を含むことができる。
上述した本発明の目的は、ディスプレイ部を有するディスプレイ装置の制御方法であって、第1画質値を適用してコンテンツを前記ディスプレイ部に表示する段階と、前記第1画質値を適用した前記コンテンツの表示中に前記ペットに関する客体情報を取得する段階と、前記取得された客体情報をサーバーに伝送する段階と、前記サーバーから、前記客体情報に基づいて識別された前記ペットに対応する第2画質値を受信する段階と、該受信された第2画質値を適用して前記コンテンツを前記ディスプレイ部に表示する段階とを含むディスプレイ装置の制御方法によっても達成することができる。
ここで、前記客体情報を取得する段階は、前記第1画質値を適用した前記コンテンツの表示中に取得されたイメージ内に存在するオブジェクトの形状から前記ペットに関する客体情報を取得する段階を含むことができる。
ここで、前記客体情報を取得する段階は、前記第1画質値を適用した前記コンテンツの表示中に取得された音声から前記ペットの客体情報を取得する段階を含むことができる。
ここで、第1音質値を適用して前記コンテンツを音声出力部から出力する段階と、前記サーバーから、前記客体情報に基づいて識別された前記ペットに対応する第2音質値を受信する段階と、該受信された第2音質値を適用して前記コンテンツを前記音声出力部から出力する段階とをさらに含むことができる。
ここで、前記第2画質値を受信する段階は、人工知能アルゴリズムを用いて予め学習されたペットに関するモデルを記憶する前記サーバーから、前記ペットに関するモデルに基づいて識別される前記ペットに対応する前記第2画質値を受信する段階を含むことができる。
ここで、前記第2画質値を適用した前記コンテンツの表示中に取得された前記ペットの反応情報を前記サーバーに伝送する段階と、前記サーバーから受信した前記反応情報に基づいて決定された第3画質値を適用して前記コンテンツを前記ディスプレイ部に表示する段階とをさらに含むことができる。
ここで、前記第3画質値は、前記反応情報に基づいて判断された前記コンテンツに対する前記ペットの選好度に基づいて決定され得る。
ここで、前記第3画質値を適用して前記コンテンツを前記ディスプレイ部に表示する段階は、人工知能アルゴリズムを用いて予め学習されたペットの反応に関するモデルを記憶する前記サーバーから、前記ペットの反応に関するモデルに基づいて判断される前記コンテンツに対する前記ペットの選好度に基づいて決定される前記第3画質値を受信する段階を含むことができる。
上述した本発明の目的は、コンピュータで読み取り可能なコードとしてディスプレイ部を有するディスプレイ装置の制御方法を行うコードを含むコンピュータプログラムが格納された記録媒体であって、前記ディスプレイ装置の制御方法は、第1画質値を適用してコンテンツを前記ディスプレイ部に表示する段階と、前記第1画質値を適用した前記コンテンツの表示中に前記ペットに関する客体情報を取得する段階と、前記取得された客体情報をサーバーに伝送する段階と、前記サーバーから、前記客体情報に基づいて識別された前記ペットに対応する第2画質値を受信する段階と、該受信された第2画質値を適用して前記コンテンツを前記ディスプレイ部に表示する段階とを含むことを特徴とするコンピュータで読み取り可能なプログラムが記録された記録媒体によっても達成することができる。
したがって、本発明によれば、ペットの視覚的特性を反映した画質又は音質のコンテンツを提供し、コンテンツに対するペットの反応に基づく画質又は音質のコンテンツを提供することによって、コンテンツに対するペットの集中を誘導するディスプレイ装置及びその制御方法を提供することができる。
本発明の一実施例に係るディスプレイ装置を示す図である。 本発明の他の実施例に係るディスプレイ装置を示す図である。 図2のディスプレイ装置に関するブロック図である。 図2のディスプレイ装置の制御方法を示す図である。 図4の動作S42におけるペットの客体情報を取得する一例を示す図である。 図5の客体情報と比較するための識別形状モデルが生成される過程を示す図である。 客体情報と形状モデルとの比較によってペットが識別される過程を示す図である。 本発明のさらに他の実施例に係るディスプレイ装置の制御方法を示す図である。 反応情報と反応モデルとの比較によってペットの選好度が判断される過程を示す図である。 ペットの音声反応に基づいてペットの選好度が判断される過程を示す図である。 図8の動作S44及び動作S47で画質値が決定される一例を示す図である。 図4の動作S44で画質値が受信される他の例を示す図である。 図8の動作S43における客体情報又はS46における反応情報がサーバーに提供される一例を示す図である。 図8の動作S45又はS48におけるコンテンツが変更される一例を示す図である。
以下、添付の図面を参照して本発明に係る実施例に関して詳しく説明する。以下の実施例の説明では添付の図面に記載された事項を参照するが、各図に提示された同一の参照番号又は符号は実質的に同一の機能を有する構成要素を表す。本明細書における複数の構成のうちの少なくとも一つ(at least one)とは、複数の構成全部の他にも、複数の構成のうち残りを排除したそれぞれ一つ或いはそれらの組合せのことを指す。
図1は、本発明の一実施例に係るディスプレイ装置を示す図である。本実施例に係るディスプレイ装置1は、コンテンツを出力できるTVによって具現することができる。ただし、ディスプレイ装置1はTVに限定されず、映像、音声、文字、又はイメージのうちの少なくとも一つを含むマルチメディアコンテンツを出力できる様々な電子装置、例えば、スマートTV、IP TV(Internet Protocol TV)、スマートフォン、タブレット、スマートウォッチやヘッドマウント型ディスプレイ(Head−Mounted Display)などのウェアラブルデバイス、コンピュータ、マルチメディア再生機、電子額縁、デジタル広告板、LFD(Large Format Display)、デジタルサイネージ(Digital Signage)、セットトップボックス、冷蔵庫などによっても制限なく具現することができる。
ディスプレイ装置1は、コンテンツ出力をはじめとする様々な機能を果たすためのデータ分析、処理、及び結果情報生成のうちの少なくとも一部を、規則基盤又は人工知能アルゴリズムとして機械学習、神経網、又はディープラーニングアルゴリズムのうちの少なくとも一つを用いて行うことができる。
ディスプレイ装置1は視聴対象に応じて様々なコンテンツを提供することができる。例えば、ユーザのためにニュース、スポーツ、芸能、娯楽、ポップソング、ドラマ、映画などのユーザ専用コンテンツサービスだけでなく、犬、猫などをはじめとする様々なペットのためにペット専用コンテンツサービスを提供することができる。
ディスプレイ装置1は視聴対象であるユーザ又はペットによって、それぞれの視覚的又は聴覚的特性に適した設定値を適用してコンテンツ(以下、「ユーザ専用コンテンツ」又は「ペット専用コンテンツ」)をそれぞれ出力することができる。ここで、設定値はコンテンツを出力する際に適用される画質値又は音質値のうちの少なくとも一つを含むことができ、画質値はコンテンツの映像に対する周波数、色、輝度又は鮮明度のうち少なくとも一つの値であり、音質値はコンテンツの音声に対する音高、強度、長短、又は音色のうち少なくとも一つの値であってもよい。ただし、設定値が画質値又は音質値に限定されるものではない。
図1を参照して、視聴対象によって画質値が変更される場合を取り上げると、ディスプレイ装置1は、ユーザ専用コンテンツ31をユーザに合う画質値を適用してディスプレイ部13に表示するが、飼い猫専用コンテンツ32を飼い猫の視覚的特性に合う画質値を適用して表示することもでき、飼い犬専用コンテンツ33を飼い犬の視覚的特性に合う画質値を適用して表示することもできる。すなわち、視聴対象に対応する専用コンテンツが変更されるにしたがって画質値が変更され得る。ただし、画質値の変更に限定されず、視聴対象にしたがって音質値も変更され、変更された音質値で専用コンテンツが出力されてもよい。
このように、視聴対象の視覚的特性に対応する画質値を適用して専用コンテンツを表示すれば、ユーザ又はペットは一つのディスプレイ装置1からそれぞれ専用コンテンツを安らかで楽に視聴することができる。
図2は、本発明の他の実施例に係るディスプレイ装置に関する例示図である。本実施例に係るディスプレイ装置1は、視聴対象がペットである場合、サーバー5を介して識別されたペットに対応する画質値によって専用コンテンツを表示することができる。
図2を参照して、飼い犬専用コンテンツ33が表示された場合を取り上げると、ディスプレイ装置1は、第1画質値を適用して飼い犬専用コンテンツ33を表示中に、特定飼い犬21に関する客体情報を取得し、取得された客体情報をサーバー5に提供することができる。
サーバー5は客体情報に基づいて飼い犬21を識別し、識別された飼い犬21に対応する第2画質値を決定することができる。ここで、飼い犬21を識別するということは、飼い犬21の品種、年齢、性別、又は大きさのうちの少なくとも一つを識別することを意味できる。
一方、サーバー5は飼い犬21を識別したり、識別された飼い犬21に対応する第2画質値の決定するためのデータ分析、処理、及び結果情報生成のうちの少なくとも一部を、規則基盤又は人工知能アルゴリズムとして機械学習、神経網、又はディープラーニングアルゴリズムのうちの少なくとも一つを用いて行うことができる。
ディスプレイ装置1は第2画質値をサーバー5から受信し、第1画質値を第2画質値に変更して、変更された第2画質値を適用して専用コンテンツ33を表示することによって、特定の飼い犬21の視覚的特性に合うコンテンツ33を提供することができる。
以上、識別された飼い犬21に対応して変更された画質値によって飼い犬専用コンテンツ33を表示する場合を説明したが、識別された飼い犬21に対応して変更された音質値を適用してコンテンツを出力する場合に適用されてもよい。
図3は、図2のディスプレイ装置に関するブロック図である。本実施例に係るディスプレイ装置1は、映像信号受信部11、信号処理部12、ディスプレイ部13、センサー部14、音声出力部15、通信部16、記憶部17、又はプロセッサ18を備えることができる。
映像信号受信部11は外部装置から映像信号を受信することができる。例えば、映像信号受信部11はCATV(Cable TV)又はIP TVサーバーからケーブル映像信号又はIP映像信号を受信することができる。ただし、映像信号を提供する外部装置は制限されず、映像信号受信部11はDVD、スマートフォン、タブレットなどのような携帯用記憶媒体を通じて映像信号を受信することもできる。
信号処理部12は映像信号受信部11で受信した映像信号に対して映像処理を行って、ディスプレイ部13に映像を表示させることができる。映像処理の種類は限定されず、例えば、映像信号の種類に合うデコーディング(decoding)、スケーリング(scaling)、ノイズ減少(noise reduction)、ディテール強化(detail enhancement)、フレームリフレッシュレート(frame refresh rate)変換などを含むことができる。また、信号処理部12は音声受信部142で受信した音声信号に対して音声処理を行って、音声出力部15から出力させることができる。信号処理部12は、印刷回路基板上に装着されるチップセット、回路、バッファなどによって具現されるハードウェアプロセッサを含み、設計方式によってはSOC(system on chip)によって具現されてもよい。
ディスプレイ部13は処理された映像信号に基づいて映像を画面に表示する。ディスプレイ部13は液晶ディスプレイ(liquid crystal display)、薄膜トランジスタ液晶ディスプレイ(thin film transistor−liquid crystal display)、有機発光ダイオード(organic light−emitting diode)、フレキシブルディスプレイ(flexible display)、3次元ディスプレイ(3D display)などによって具現することができる。
センサー部14はユーザ又はペットに関する情報を取得するためのものであり、イメージ取得部141、音声受信部142などを含むことができる。イメージ取得部141はディスプレイ装置1の前方をキャプチャし、キャプチャされたイメージからユーザ又はペットに関するイメージ情報を取得するイメージセンサーであり、CMOS(Complementary Metal Oxide Semiconductor)又はCCD(Charge Coupled Device)方式のカメラによって具現することができる。
音声受信部142はユーザ又はペットの音声情報を取得するためのものであり、マイクによって具現することができる。ただし、センサー部141の種類は限定されず、センサー部14は、ディスプレイ装置1の前方に出力された赤外線信号が反射してくる時間を測定して、ユーザ又はペットに関する形状情報を取得する赤外線センサーをさらに含むことができる。
音声出力部15は、信号処理部13によって出力可能なように処理された音声信号を外部に出力することができ、少なくとも一つのスピーカーによって具現することができる。
通信部16は、サーバー5又は他のディスプレイ装置のような外部装置と様々な通信規格によって無線通信を行うことができる。例えば、ワイファイ(Wi−Fi)、ブルートゥース(登録商標)、ジグビー、WFD((Wi−Fi Direct)、UWB(Ultra−Wideband)、赤外線通信(IrDA;infrared Data Association)、BLE(Bluetooth(登録商標) Low Energy)、NFC(Near Field Communication)などによって無線通信を行うことができる。
記憶部17はフラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、SD又はXDメモリなど)、RAM、ROMのうち少なくとも一タイプの記憶媒体を含むことができる。記憶部17はインターネット(internet)上で運営されるウェブストレージ(web storage)によって具現することができる。
プロセッサ18はディスプレイ装置1の構成全般を制御することができる。例えば、プロセッサ18は、予め定められた第1設定値を適用してペット専用コンテンツを出力するようにディスプレイ部13又は音声出力部15を制御し、ペット専用コンテンツの出力中にペットに関する客体情報を取得するようにセンサー部14を制御することができる。
プロセッサ18は客体情報をサーバー5に伝送し、サーバー5から客体情報に対応する第2設定値を受信するように通信部16を制御することができ、受信した第2設定値を適用してペット専用コンテンツを出力するようにディスプレイ部13又は音声出力部15を制御することができる。
プロセッサ18は構成全般に対する制御を可能にする制御プログラム(或いは、インストラクション)と、制御プログラムが設置される不揮発性のメモリ、設置された制御プログラムの少なくとも一部がロードされる揮発性のメモリ及びロードされた制御プログラムを実行する少なくとも一つのプロセッサ或いはCPU(Central Processing Unit)を含むことができる。また、このような制御プログラムは、ディスプレイ装置1以外の電子装置に格納されてもよい。
制御プログラムは、BIOS、デバイスドライバ、運営体系、ファームウェア、プラットホーム及び応用プログラム(アプリケーション)のうち少なくとも一形態で具現されるプログラムを含むことができる。一実施例として、応用プログラムは、ディスプレイ装置1の製造に当たって予め設置又は格納されてもよく、或いは将来使用に当たって、外部から応用プログラムのデータを受信し、受信されたデータに基づいて設置されてもよい。応用プログラムのデータは、例えば、アプリケーションマーケットのようなサーバーからダウンロードされてもよい。このようなサーバーは、コンピュータプログラム製品の一例であるが、これに限定されるものではない。
ディスプレイ装置1は、上記の構成から少なくとも一つの構成を除外してもよく、他の構成を上記の構成に追加してもよい。例えば、ディスプレイ装置1は電源供給部とユーザ入力部をさらに含むことができる。電源供給部はプロセッサ18の制御によって外部の電源や内部の電源を取り入れ、ディスプレイ装置1の各構成に必要な電源を供給することができる。
また、ユーザ入力部は、ユーザがディスプレイ装置1の動作制御のために入力するキー入力データを発生させ、キーパッド(key pad)、ドームスイッチ(dome switch)、タッチパッド(定圧/静電)、ジョグホイール、ジョグスイッチ、フィンガーマウスなどによって具現することができる。
図4には、図2のディスプレイ装置の制御方法を示す。図4を参照すると、本実施例に係るディスプレイ装置1は、プロセッサ18の制御によって予め定められた第1画質値を適用してコンテンツをディスプレイ部13に表示することができる(S41)。
一例として、飼い犬専用コンテンツ33が表示された場合、飼い犬は殆ど赤緑色盲であり、昼よりは夜に物体を識別しやすい視覚的特性を有するので、飼い犬専用コンテンツの第1画質値はユーザ専用コンテンツの画質値に比べて、高いグリーン値とブルー値、低いレッド値、そして低い輝度を有するように予め定められたり、70Hz〜80Hz帯域の周波数を有するように予め定められ得る。
また、プロセッサ18は、第1画質値を適用したコンテンツの表示中にセンサー部14を介してペットに関する客体情報を取得することができ(S42)、取得した客体情報をサーバー5に伝送することができる(S43)。
一例として、飼い犬専用コンテンツ33が表示された場合、プロセッサ18は飼い犬専用コンテンツ33を予め定められた70Hzの周波数で表示中に、コンテンツ33の視聴対象である特定の飼い犬21に関する客体情報を取得することができる。ここで、客体情報は飼い犬21の形状、動き、音声などに関する情報を含むことができる。
また、プロセッサ18はサーバー5から、客体情報に基づいて識別されたペットに対応する第2画質値を受信することができ(S44)、受信された第2画質値を適用してコンテンツをディスプレイ部に表示することができる(S45)。
一例として、飼い犬専用コンテンツ33が表示された場合、70Hzの周波数で表示されるコンテンツ33は特定の飼い犬21の視覚的特性を反映できないことがあり、プロセッサ18は飼い犬の客体情報に基づいて識別された特定の飼い犬21に対応する周波数、例えば、75Hzの周波数を示す第2画質値をサーバー5から受信し、75Hzの周波数を示す第2画質値を適用してコンテンツ33を表示することができる。ただし、変更可能な画質値は周波数に限定されず、周波数、色、輝度又は鮮明度のうち少なくとも一つの値を個別的に変更したり、又は少なくとも二つ以上の値を同時に変更してもよい。
以上、識別された飼い犬21に対応して変更された画質値によってコンテンツを表示する場合を説明したが、識別された飼い犬21に対応して変更された音質値を適用してコンテンツを出力する場合にも適用可能である。
図5に、図4の動作S42におけるペットの客体情報を取得する一例を示す。以下では飼い犬専用コンテンツ33が表示された場合を取り上げて説明するが、これに限定されるものではない。
図5を参照すると、プロセッサ18は、予め定められた第1画質値を適用してコンテンツ33が表示される間にイメージ取得部141によってディスプレイ部13の前方をキャプチャすることができる。キャプチャの時点と回数は制限されず、例えば、コンテンツ33が表示された直後、所定時間の経過後、所定の時間間隔で前方をキャプチャすることができる。
プロセッサ18は、キャプチャされたイメージi21内に存在するオブジェクトに対する特徴点を検出することができる。ここで、特徴点は、オブジェクトの形状a1をなす境界a2を意味でき、境界a2が飼い犬21の客体情報になり得る。
プロセッサ18は境界a2を検出するために様々なイメージ認識アルゴリズム、例えば、CNN(Convolution Neural Networks)又はHOG(Histogram of Oriented Gradient)を用いることができるが、これに限定されない。
図6には、図5の客体情報と比較するための識別形状モデルが生成される過程を示す。以下では飼い犬に関する形状モデルを取り上げて説明するが、これに限定されるものではない。
サーバー5は、飼い犬形状モデルdm1を生成するために飼い犬に関する識別パッチイメージを取得することができる(S71)。ここで、識別パッチイメージは飼い犬の一部又は全部を表す形状を含むイメージを意味でき、ディスプレイ装置1から受信したり、インターネット検索結果から取得したものであり得るが、これに限定されるものではない。
サーバー5は識別パッチイメージから特徴点を検出することができる(S72)。ここで、特徴点は飼い犬の一部又は全部を表す形状をなす境界を意味でき、識別パッチイメージから特徴点を検出するために様々なイメージ認識アルゴリズム、例えば、CNN又はHOGを用いることができるが、これに限定されない。
サーバー5は、識別パッチイメージから検出された飼い犬の形状の境界を様々な基準別に分類でき、分類された形状の境界をグループ化することによって、飼い犬形状モデルdm1を生成することができる(S73)。ここで、飼い犬の形状の境界を様々な基準別に分類するということは、飼い犬の品種、年齢、性別、大きさ、顔付、頭状、ポーズなどによって飼い犬の形状の境界を分類することを意味できる。すなわち、飼い犬形状モデルdm1は様々な基準別にグループ化される複数の形状モデルdm11,dm12,dm13を含むことができる。
サーバー5は飼い犬形状モデルdm1を生成する方式と類似の方式で他の種類のペットの形状モデルcm1を生成することができ、飼い犬形状モデルdm1と他の種類のペットの形状モデルとを含む識別形状モデルm1を記憶することができる。ただし、これに限定されず、ディスプレイ装置1、他のサーバーなどから識別形状モデルm1の全部又は一部を受け取ってもよい。
以上は、サーバー5が識別形状モデルm1を生成する過程について説明したが、これに限定されず、ディスプレイ装置1はサーバー5が識別形状モデルm1を生成する過程と類似の過程で識別形状モデルm1を生成することもできる。
一例として、プロセッサ18は、イメージ取得部141でキャプチャしたり、インターネット検索結果から取得するなどの方法で識別パッチイメージを取得し、様々なイメージ認識アルゴリズムを用いて識別パッチイメージから飼い犬の形状の境界を検出することができる。また、検出された飼い犬の形状の境界を分類でき、分類された形状の境界をグループ化することによって、飼い犬形状モデルdm1を生成することができ、飼い犬形状モデルdm1と他の種類のペットの形状モデルとを含む識別形状モデルm1を記憶部17に記憶することができる。
一方、サーバー5又はディスプレイ装置1のプロセッサ18は、識別形状モデルm1を生成するためのデータ分析、処理、及び結果情報生成のうちの少なくとも一部を、規則基盤又は人工知能アルゴリズムとして機械学習、神経網、又はディープラーニングアルゴリズムのうちの少なくとも一つを用いて行うことができる。
図7に、客体情報と形状モデルとの比較によってペットが識別される過程を示す。以下では飼い犬に関する客体情報と形状モデルとの比較を取り上げて説明するが、これに限定されるものではない。
サーバー5は客体情報であるオブジェクトの形状a1の境界a2をディスプレイ装置1から受信することができ、受信されたオブジェクトの形状a1の境界a2が識別形状モデルm1のいずれか一つに対応するか比較することができる。
万一、オブジェクトの形状a1の境界a2が飼い犬形状モデルdm1の複数の形状モデルdm11,dm12,dm13のいずれか一つに対応する場合、サーバー5は、キャプチャされたイメージi21内に存在するオブジェクトが特定の飼い犬21であることを識別することができる。
以上は、サーバー5が特定の飼い犬21を識別する過程について説明したが、これに限定されず、ディスプレイ装置1も、類似の過程によって、キャプチャされたイメージi21内に存在するオブジェクトが特定の飼い犬21であることを識別することができる。
一例として、プロセッサ18は、客体情報であるオブジェクトの形状a1の境界a2が記憶部17に記憶された識別形状モデルm1のいずれか一つに対応するか比較することができる。オブジェクトの形状a1の境界a2が飼い犬形状モデルdm1の複数の形状モデルdm11,dm12,dm13のいずれか一つに対応する場合、プロセッサ18は、キャプチャされたイメージi21内に存在するオブジェクトが特定の飼い犬21であることを識別することができる。
一方、サーバー5又はディスプレイ装置1のプロセッサ18は客体情報に基づいて飼い犬21を識別するためのデータ分析、処理、及び結果情報生成のうちの少なくとも一部を、規則基盤又は人工知能アルゴリズムとして機械学習、神経網、又はディープラーニングアルゴリズムのうちの少なくとも一つを用いて行うことができる。
図8は、本発明のさらに他の実施例に係るディスプレイ装置の制御方法を示す図である。本実施例に係るディスプレイ装置1の制御方法のうち、図4の実施例に係るディスプレイ装置の制御方法におけるS41〜S45と重複する説明は省略する。
図8を参照すると、プロセッサ18は第2画質値を適用したコンテンツの表示中にペットの反応情報を取得でき、取得した反応情報をサーバー5に伝送することができる(S46)。
一例として、飼い犬専用コンテンツ33が表示された場合、プロセッサ18は、特定の飼い犬21に対応する第2画質値、例えば、75Hzの周波数でコンテンツ33を表示中に、コンテンツ33の視聴対象である特定の飼い犬21に関する反応情報を取得することができる。ここで、反応情報は飼い犬21の形状、動き、音声などに関する情報を含むことができる。
また、サーバー5は、ディスプレイ装置1から受信した反応情報に基づいて、第2画質値によって表示されるコンテンツに対するペットの選好度を判断し、好んでいないものに対応して第3画質値を決定することができる。
一例として、飼い犬専用コンテンツ33が表示された場合、サーバー5が反応情報に基づいて、75Hzの周波数で表示されるコンテンツ33を飼い犬21が好んでいないと判断すれば、75Hzの周波数と異なる周波数、例えば、78Hzの周波数を示す第3画質値を決定することができる。
また、ディスプレイ装置1はサーバー5から、反応情報に基づいて決定されたペットの選好度に対応する第3画質値を受信し(S47)、第3画質値を適用してコンテンツをディスプレイ部13に表示することができる(S48)。
一例として、飼い犬専用コンテンツ33が表示された場合、プロセッサ18はサーバー5から受信した78Hzの周波数を示す第3画質値を適用してコンテンツ33をディスプレイ部13に表示することができる。ただし、変更可能な画質値は周波数に限定されず、周波数、色、輝度又は鮮明度のうち少なくとも一つの値を個別的に変更したり、又は少なくとも二つ以上の値を同時に変更してもよい。
一方、プロセッサ18は、前記1動作を行うための専用アプリケーションを実行することができる。本実施例の専用アプリケーションは、前述した少なくとも一つの制御プログラムの一つであってもよく、所定ルール(Rule)によって定義されたものであってもよい。
一例として、ディスプレイ装置1はサーバー5から動作実行のためのパスルール(Path Rule)を受信し、受信したパスルールに従って専用アプリケーションを実行することができる。飼い犬専用コンテンツ33が表示された場合を取り上げると、ディスプレイ装置1はサーバー5から受信したパスルールに従って第2画質値を適用したコンテンツ33の表示中に飼い犬21の反応情報を取得し、取得された反応情報をサーバー5に伝送し、サーバー5から受信された第3画質値を適用してコンテンツ33を表示できるように専用アプリケーションを実行することができる。
他の例として、スマートフォンのような外部装置がサーバー5からパスルールを受信し、パスルールに対応する情報、例えば、状態識別パラメータ(State Identification Parameter)をディスプレイ装置1に伝達して、パスルールに従って専用アプリケーションを実行可能にすることができる。すなわち、スマートフォンがサーバー5からパスルールを受信すると、パスルールに対応する情報をディスプレイ装置1に伝達し、ディスプレイ装置1はスマートフォンから受信した情報に対応するパスルールに従って前述と同一の動作を行うことができる。
一方、飼い犬専用コンテンツ33に対する飼い犬21の選好度によって画質値を適応的に変更するディスプレイ装置1の動作は、飼い犬21の選好反応が出るまで数回反復されてもよい。万一、飼い犬21の反応情報に基づいて適応的に変更された第3画質値によって表示されるコンテンツ33に対して飼い犬21の選好反応が識別されると、サーバー5は当該飼い犬21に対応する第3画質値を過去履歴情報として記憶することができる。そして、後で飼い犬専用コンテンツ33が表示される場合、客体情報に基づいて飼い犬21が識別されると、サーバー5は飼い犬21の過去履歴情報に基づいて飼い犬21に対応する第3画質値をディスプレイ装置1に伝送し、第3画質値によってコンテンツ33が表示されるようにし得る。
図9は、反応情報と反応モデルとの比較によってペットの選好度が判断される過程を示す。以下では飼い犬に関する反応情報と反応モデルとの比較を取り上げて説明するが、これに限定されるものではない。
サーバー5は、飼い犬反応モデルdm2を生成したり学習することができるが、この過程は図6に示した飼い犬形状モデルdm1を生成したり学習する過程とほぼ同一であり、異なる部分を中心に説明する。
サーバー5は、飼い犬の反応に関する反応パッチイメージを取得することができる。ここで、反応パッチイメージは飼い犬の一部又は全部を表す形状であり、飼い犬の反応を表す形状を含むイメージを意味できる。例えば、反応パッチイメージは、飼い犬が何かに関心があったり興味を感じる場合に、又は関心がなかったり敵対視する場合に表す表情、ポーズ、動きなどに関するものであり得る。このような反応パッチイメージはディスプレイ装置1から受信したり、インターネット検索結果から取得したものであってよいが、これに限定されない。
サーバー5は反応パッチイメージから飼い犬の一部又は全部を表す反応形状の境界を検出することができ、そのために、様々なイメージ認識アルゴリズム、例えば、CNN又はHOGを用いることができるが、これに限定されない。
サーバー5は、飼い犬の反応形状の境界を表情、ポーズ、動きなどによる反応別に分類でき、分類された反応形状の境界をグループ化することによって、飼い犬反応モデルdm2を生成することができる。飼い犬反応モデルdm2は飼い犬の反応によってグループ化される選好反応モデルdm3及び非選好反応モデルdm4を含むことができる。
サーバー5は飼い犬反応モデルdm2を生成し学習した方式と類似の方式で他のペットの反応モデルcm2を生成したり学習でき、飼い犬反応モデルdm2及び他のペットの反応モデルcm2を含む反応形状モデルm2を記憶することができる。ただし、これに限定されず、サーバー5はディスプレイ装置1、他のサーバーなどから反応形状モデルm2の全部又は一部を受け取ってもよい。
一方、サーバー5は反応形状モデルm2を生成するためのデータ分析、処理、及び結果情報生成のうちの少なくとも一部を、規則基盤又は人工知能アルゴリズムとして機械学習、神経網、又はディープラーニングアルゴリズムのうちの少なくとも一つを用いて行うことができる。
このように、反応形状モデルm2を備えたサーバー5は、第2画質値によってコンテンツ33を表示中にディスプレイ装置1によって取得した飼い犬21の反応情報を受信し、反応情報に基づいて第3画質値を決定することができる。ここで、反応情報は、ディスプレイ装置1によってキャプチャされたイメージi21内に存在するオブジェクトの形状a1をなす境界a2を意味できる。
サーバー5は、反応情報であるオブジェクトの形状a1の境界a2が飼い犬反応モデルdm2の選好反応モデルdm3又は非選好反応モデルdm4のいずれに対応するかによって第2画質値で表示されるコンテンツ33に対する飼い犬21の選好の有無を判断できる。
万一、オブジェクトの形状a1の境界a2が非選好反応モデルdm4のいずれか一モデルに対応し、飼い犬21が第2画質値によって表示されるコンテンツ33を好んでいないと判断されると、好んでいないものに対応する第3画質値を決定し、決定された第3画質値をディスプレイ装置1に伝送することができる。
以上は、サーバー5が反応形状モデルm2を生成する過程について説明したが、これに限定されず、ディスプレイ装置1がサーバー5が反応形状モデルm2を生成する過程と類似の過程によって反応形状モデルm2を生成してもよい。
例えば、プロセッサ18はイメージ取得部141でキャプチャしたり、インターネット検索結果から取得するなどの方法で反応パッチイメージを取得し、様々なイメージ認識アルゴリズムを用いて反応パッチイメージから飼い犬の反応形状の境界を検出することができる。また、飼い犬の反応形状の境界を表情、ポーズ、動きなどによる反応別に分類でき、分類された反応形状の境界をグループ化することによって、飼い犬の反応によってグループ化される選好反応モデルdm3及び非選好反応モデルdm4を含む飼い犬反応モデルdm2を生成でき、飼い犬反応モデルdm2及び他の種類のペットの反応モデルを含む反応形状モデルm2を記憶することができる。
図10は、ペットの音声反応に基づいてペットの選好度が判断される過程を示す。以下では飼い犬の音声に関する反応情報と反応モデルとの比較を取り上げて説明するが、これに限定されものではない。
本実施例に係るディスプレイ装置1は、ディスプレイ部13の前方又は近傍から発話した飼い犬21の音声を受信できる音声受信部142を有し、第2音質値を適用したコンテンツ33の出力中に音声受信部142で受信された飼い犬21の音声から音声反応情報を取得することができる。ここで、音声反応情報は音声から検出された音高、強度、長短、音色などのような音声の特性b1を意味できる。
一方、サーバー5は、音声に関する飼い犬反応モデルdm5を生成したり学習できるが、この過程は図9の形状に関する飼い犬反応モデルdm2を生成したり学習する過程と略同一であり、異なる部分を中心に説明する。
サーバー5は飼い犬の反応を表す音声に関する情報を取得することができる。飼い犬の反応を表す音声は、例えば、飼い犬が何かに関心があったり興味を感じる場合に発する「ワンッワンッ」や「キュンキュン」と、関心がなかったり敵対視する場合に発する「キュウゥーン」、「ウーワンッ」などを含むことができる。このような音声情報はディスプレイ装置1から受信したり、インターネット検索結果から取得することができる。
サーバー5は音声に関する情報を反応別に分類でき、これをグループ化することによって、音声に関する飼い犬反応モデルdm5を生成することができる。飼い犬反応モデルdm5は飼い犬の反応によってグループ化される選好反応モデルdm6と非選好反応モデルdm7を含むことができる。そして、サーバー5は飼い犬反応モデルdm5と共に他のペットの反応モデルcm5を生成したり学習でき、飼い犬反応モデルdm5及び他のペットの反応モデルcm5を含む反応音声モデルm3を記憶することができる。ただし、これに限定されず、サーバー5はディスプレイ装置1、他のサーバーなどから反応音声モデルm3の全部又は一部を提供を受け取ってもよい。
サーバー5は反応音声モデルm3を生成するためのデータ分析、処理、及び結果情報生成のうちの少なくとも一部を、規則基盤又は人工知能アルゴリズムとして機械学習、神経網、又はディープラーニングアルゴリズムのうちの少なくとも一つを用いて行うことができる。
このように、反応音声モデルm3を備えたサーバー5は、ディスプレイ装置1から受信した音声の特性b1が飼い犬音声モデルdm5の選好反応モデルdm6又は非選好反応モデルdm7のいずれに対応するかによって、第2音質値を適用して出力されるコンテンツ33に対する飼い犬21の選好の有無を識別することができる。
一例として、飼い犬21の音声が「キュウゥーン」である場合、その特性b1は非選好反応モデルdm7のうちの一モデルdm71に対応するため、サーバー5は飼い犬21が第2音質値によって出力されるコンテンツ33を好んでいないと判断し、第2音質値と異なる第3音質値を決定することができる。そして、サーバー5は決定された第3音質値をディスプレイ装置1に伝送することができる。
図11に、図8の動作S44と動作S47で画質値が決定される一例を示す。以下では飼い犬専用コンテンツ33が表示された場合を取り上げて説明するが、これに限定されるものではない。
図8の動作S44で、サーバー5はディスプレイ装置1から受信した客体情報に基づいて識別された飼い犬に対応する第2画質値を決定することができる。ここで、第2画質値は、識別された飼い犬の視覚的特性に基づく標準画質値で構成される標準テーブル61に基づくものであってよく、標準画質値は標準周波数F、標準色C、標準輝度L、又は標準鮮明度Sなどを含むことができる。一例として、特定の飼い犬21が識別された場合、標準周波数F2が75Hzである第2画質値が決定され得る。ディスプレイ装置1は標準周波数F2が75Hzである第2画質値を適用してコンテンツ33を表示することができる。
また、図8の動作S47で、サーバー5は反応情報に基づいて判断された飼い犬21の選好度に対応する第3画質値を決定することができる。ここで、第3画質値は、標準画質値を飼い犬21の反応によって補正した補正画質値で構成される補正テーブル62に基づくものであってよく、補正画質値は、補正周波数F21、補正色C21、補正輝度L21、又は補正鮮明度S21などを含むことができる。
一例として、標準周波数F2が75Hzであるコンテンツ33に対する飼い犬21の非選好反応に対して、75Hzの標準周波数F2を所定値だけ補正した78Hzの補正周波数F21を有する第3画質値が決定され得る。ディスプレイ装置1は補正周波数F21が78Hzである第3画質値を適用してコンテンツ33を表示することができる。
ただし、標準テーブル61又は補正テーブル62は画質値の基礎となる情報の一例であり、画質値は飼い犬21の客体情報又は反応情報に対応するデータであればいずれに基づいて決定されてもよい。サーバー5は画質値又は画質値の基礎となる情報を生成するためのデータ分析、処理、及び結果情報生成のうちの少なくとも一部を、規則基盤又は人工知能アルゴリズムとして機械学習、神経網、又はディープラーニングアルゴリズムのうちの少なくとも一つを用いて行うことができる。
図12には、図4の動作S44で画質値が受信される他の例を示す。ただし、図4のS44ではディスプレイ装置1が客体情報に基づく画質値を受信するとしたが、本実施例に係るディスプレイ装置1は、少なくとも一つの外部ディスプレイ装置2に基づく画質値を受信することができる。
具体的に、図12に示すように、同一のコンテンツ33が本実施例に係るディスプレイ装置1と少なくとも一つの外部ディスプレイ装置2から放送されていると仮定し、少なくとも一つの外部ディスプレイ装置2はそれぞれ所定の画質値を適用してコンテンツ33を表示すると仮定する。
この場合、ディスプレイ装置1は、少なくとも一つの外部ディスプレイ装置2に対応する画質値、すなわち、少なくとも一つの外部ディスプレイ装置2がコンテンツ33の表示に適用する画質値を受信することができる。例えば、ディスプレイ装置1は、少なくとも一つの外部ディスプレイ装置2に適用されていた画質値を受信してもよく、少なくとも一つの外部ディスプレイ装置2に現在適用される画質値を受信してもよい。
ディスプレイ装置1が少なくても一つの外部ディスプレイ装置2に現在適用される画質値を受信する一例として、少なくとも一つの外部ディスプレイ装置2のうち、A画質値を適用する外部ディスプレイ装置の数がB画質値を適用する残りの外部ディスプレイ装置の数より多い場合、ディスプレイ装置1はA画質値を受信することができる。ただし、これに限定されず、ディスプレイ装置1は特定の外部ディスプレイ装置の画質値を受信してもよい。
他の例として、ディスプレイ装置1の飼い犬21に対応する飼い犬が視聴対象である少なくとも一つの外部ディスプレイ装置2のうち、A画質値を適用する外部ディスプレイ装置の数がB画質値を適用する残りの外部ディスプレイ装置の数より多い場合、ディスプレイ装置1はA画質値を受信することができる。
一方、ディスプレイ装置1が受信する少なくとも一つの外部ディスプレイ装置2に対応する画質値は、サーバー5によって決定されてサーバー5から受信されたものに限定されず、ディスプレイ装置1又は少なくとも一つの外部ディスプレイ装置2によって決定されたり、少なくとも一つの外部ディスプレイ装置2から直接受信されたものであってもよい。
図13には、図8の動作S43における客体情報又はS46における反応情報がサーバーに提供される一例を示す。本実施例に係るホームネットワークシステム1200は、制御及び通信機能を有する複数のホームデバイス1210を含むことができ、場合によって、ホームゲートウェイ1220をさらに含むことができる。ホームデバイス1210はホーム内外に位置し、図2のディスプレイ装置1、無人監視カメラ1211、スマートフォン1212、他のディスプレイ装置1213などを含むことができる。ただし、ホームデバイス1210の種類は限定されない。
ホームデバイス1210は、様々な通信規格によって相互間に通信したり、サーバー5と通信でき、場合によって、ホームゲートウェイ1220を経由してサーバー5と通信してもよい。ホームデバイス1210はこのような通信によってペットに関する情報をサーバー5に提供することができる。
飼い犬専用コンテンツ33が表示される場合を取り上げると、ホームデバイス1210は、ディスプレイ装置1が予め定められた飼い犬に対応する第1画質値が適用されるコンテンツ33を表示中に飼い犬21に関する客体情報を取得したり、又は、飼い犬21の識別に対応する第2画質値が適用されるコンテンツ33を表示中に飼い犬21に関する反応情報を取得することができ、取得した情報をサーバー5に伝送することができる。例えば、無人監視カメラ1211はコンテンツ33の表示中に飼い犬21のイメージ情報又は音声情報のうちの少なくとも一つを取得してサーバー5に提供することができる。
サーバー5は、各ホームデバイス1210から受信した情報に基づいて飼い犬21を識別して第2画質値を決定したり、飼い犬21の選好度を判断して第3画質値を決定することができる。
図14は、図8の動作S45又はS48におけるコンテンツが変更される一例を示す図である。以下では飼い犬専用コンテンツ33が表示された場合を取り上げて説明するが、これに限定されるものではない。
ディスプレイ装置1のプロセッサ18は第1画質値を適用して第1コンテンツ33を表示し、第1画質値を適用した第1コンテンツ33の表示中に飼い犬21に関する客体情報を取得することができる。
ディスプレイ装置1は客体情報に基づいて識別された飼い犬21に対応する第2コンテンツ36を第1画質値で表示することができる。万一、ディスプレイ装置1が客体情報に基づいて識別された飼い犬21に対応する第2画質値を共に受信する場合、第2画質値を適用して第2コンテンツ36を表示することができる。
また、ディスプレイ装置1は第2コンテンツ36に対する飼い犬21の選好度に基づいて第3コンテンツを受信して表示でき、この場合にも、第2コンテンツ36に対する飼い犬21の選好度に基づいて第3画質値を共に受信することもできる。
以上の開示内容及び長所は特定の実施例及び図面を参照して説明されたが、本発明の開示内容及び権利の範囲はそれに限定されるものではない。本発明の技術分野における通常の知識を有する者には、請求項に開示された本発明の範囲から逸脱しないで様々な形態に変更して実施可能である。本発明の詳細な説明及び図面は説明のための例示として見なされるべきであり、様々な形態の変形された実施例も本発明の範囲内に含まれるものとして解釈しなければならない。
1 ディスプレイ装置
11 映像信号受信部
12 信号処理部
13 ディスプレイ部
14 センサー部
141 イメージ取得部
142 音声受信部
15 音声出力部
16 通信部
17 記憶部
18 プロセッサ
5 サーバー

Claims (15)

  1. ディスプレイ装置であって、
    ディスプレイ部と、
    サーバーと通信する通信部と、
    ペットに関する情報が取得可能なセンサー部と、
    第1画質値を適用してコンテンツを前記ディスプレイ部に表示し、前記第1画質値を適用したコンテンツの表示中に前記センサー部によって取得された前記ペットに関する客体情報を前記通信部を介して前記サーバーに伝送し、前記サーバーから、前記客体情報に基づいて識別された前記ペットに対応する第2画質値を受信し、該受信された第2画質値を適用して前記コンテンツを前記ディスプレイ部に表示するプロセッサとを備えるディスプレイ装置。
  2. 前記センサー部は、前記ディスプレイ部の前方をキャプチャしたイメージが取得可能なイメージ取得部を有し、
    前記プロセッサは、前記第1画質値を適用した前記コンテンツの表示中に前記イメージ取得部によって取得されたイメージ内に存在するオブジェクトの形状から前記ペットに関する客体情報を取得する、請求項1に記載のディスプレイ装置。
  3. 前記センサー部は、音声が取得可能な音声受信部を有し、
    前記プロセッサは、前記第1画質値を適用した前記コンテンツの表示中に前記音声受信部によって取得された音声から前記ペットの客体情報を取得する、請求項1に記載のディスプレイ装置。
  4. 音声が出力可能な音声出力部をさらに備え、
    前記プロセッサは、第1音質値を適用して前記コンテンツを前記音声出力部から出力し、前記サーバーから、前記客体情報に基づいて識別された前記ペットに対応する第2音質値を受信し、該受信された第2音質値を適用して前記コンテンツを前記音声出力部から出力する、請求項1に記載のディスプレイ装置。
  5. 前記プロセッサは、人工知能アルゴリズムを用いて予め学習されたペットに関するモデルを記憶する前記サーバーから、前記ペットに関するモデルに基づいて識別される前記ペットに対応する前記第2画質値を受信する、請求項1に記載のディスプレイ装置。
  6. 前記プロセッサは、前記第2画質値を適用した前記コンテンツの表示中に前記センサー部によって取得された前記ペットの反応情報を前記サーバーに伝送し、
    前記サーバーから前記反応情報に基づいて決定された第3画質値を受信し、該受信された第3画質値を適用して前記コンテンツを前記ディスプレイ部に表示する、請求項1に記載のディスプレイ装置。
  7. 前記第3画質値は、前記反応情報に基づいて判断された前記コンテンツに対する前記ペットの選好度に基づいて決定される、請求項6に記載のディスプレイ装置。
  8. 前記プロセッサは、人工知能アルゴリズムを用いて予め学習されたペットの反応に関するモデルを記憶する前記サーバーから、前記ペットの反応に関するモデルに基づいて判断される前記コンテンツに対する前記ペットの選好度に基づいて決定される前記第3画質値を受信する、請求項6に記載のディスプレイ装置。
  9. 前記ペットの選好度は、前記ペットの反応に関する過去履歴情報に基づいて判断される、請求項6に記載のディスプレイ装置。
  10. 前記ペットの選好度は、外部装置から受信された前記ペットの反応に関する情報に基づいて判断される、請求項6に記載のディスプレイ装置。
  11. 前記第1画質値及び前記第2画質値は、周波数、色、輝度又は鮮明度のうち少なくとも一つの値を含む、請求項1に記載のディスプレイ装置。
  12. ディスプレイ部を有するディスプレイ装置の制御方法であって、
    第1画質値を適用してコンテンツを前記ディスプレイ部に表示する段階と、
    前記第1画質値を適用した前記コンテンツの表示中に前記ペットに関する客体情報を取得する段階と、
    前記取得された客体情報をサーバーに伝送する段階と、
    前記サーバーから、前記客体情報に基づいて識別された前記ペットに対応する第2画質値を受信する段階と、
    前記受信された第2画質値を適用して前記コンテンツを前記ディスプレイ部に表示する段階とを含むディスプレイ装置の制御方法。
  13. 前記客体情報を取得する段階は、前記第1画質値を適用した前記コンテンツの表示中に取得されたイメージ内に存在するオブジェクトの形状から前記ペットに関する客体情報を取得する段階を含む、請求項12に記載のディスプレイ装置の制御方法。
  14. 前記客体情報を取得する段階は、前記第1画質値を適用した前記コンテンツの表示中に取得された音声から前記ペットの客体情報を取得する段階を含む、請求項12に記載のディスプレイ装置の制御方法。
  15. 第1音質値を適用して前記コンテンツを音声出力部から出力する段階と、
    前記サーバーから、前記客体情報に基づいて識別された前記ペットに対応する第2音質値を受信する段階と、
    前記受信された第2音質値を適用して前記コンテンツを前記音声出力部から出力する段階とをさらに含む、請求項12に記載のディスプレイ装置。
JP2019030299A 2018-03-13 2019-02-22 ディスプレイ装置及びその制御方法 Pending JP2019165437A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180029109A KR102481445B1 (ko) 2018-03-13 2018-03-13 디스플레이장치 및 그 제어방법
KR10-2018-0029109 2018-03-13

Publications (1)

Publication Number Publication Date
JP2019165437A true JP2019165437A (ja) 2019-09-26

Family

ID=67904561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019030299A Pending JP2019165437A (ja) 2018-03-13 2019-02-22 ディスプレイ装置及びその制御方法

Country Status (6)

Country Link
US (1) US10743061B2 (ja)
EP (1) EP3732893A4 (ja)
JP (1) JP2019165437A (ja)
KR (1) KR102481445B1 (ja)
CN (1) CN111869226A (ja)
WO (1) WO2019177367A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210058396A (ko) * 2019-11-14 2021-05-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US11910781B2 (en) * 2019-12-26 2024-02-27 Organic Intelligence Technologies, Inc. Analyzing media based on non-human animal input
KR102536333B1 (ko) * 2022-02-28 2023-05-30 주식회사 써니웨이브텍 개용 인터랙티브 표시 시스템, 이의 동작 방법 및 개용 인터랙티브 표시 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8643662B2 (en) * 2009-04-22 2014-02-04 Samsung Electronics Co., Ltd. Video entertainment picture quality adjustment
JP5495625B2 (ja) * 2009-06-01 2014-05-21 キヤノン株式会社 監視カメラシステム、監視カメラ及び監視カメラ制御装置
WO2011135572A1 (en) * 2010-04-29 2011-11-03 Ptv Media Ltd. System and method for treating pets
KR101128695B1 (ko) * 2010-07-11 2012-03-23 글로벌테크링크(주) 지능형 방송 수신 장치 및 그 제어 방법
WO2014011195A1 (en) * 2012-07-12 2014-01-16 Stephens Leah Electromechanical horn for deterring animals
KR20140104653A (ko) 2013-02-21 2014-08-29 홍충식 반려 동물 관리 시스템
US20140254659A1 (en) * 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
WO2015009487A1 (en) * 2013-07-16 2015-01-22 Forget You Not, LLC Assisted animal activities
KR20150055410A (ko) 2013-11-13 2015-05-21 주식회사 엠젠플러스 시청자의 이용패턴을 이용하여 개인별 맞춤형 채널 제공방법 및 콘텐츠 추천방법
KR101549183B1 (ko) 2014-04-30 2015-09-02 서울대학교산학협력단 내용 기반 tv 프로그램 추천 시스템, 장치 및 방법
US9807983B2 (en) * 2014-08-22 2017-11-07 Panasonic Intellectual Property Corporation Of America Device control method for estimating a state of an animal and for determining a control detail for an electronic device
JP6467965B2 (ja) * 2015-02-13 2019-02-13 オムロン株式会社 感情推定装置及び感情推定方法
KR20170020665A (ko) * 2015-08-13 2017-02-23 삼성디스플레이 주식회사 표시장치 및 그의 구동방법

Also Published As

Publication number Publication date
KR102481445B1 (ko) 2022-12-27
EP3732893A1 (en) 2020-11-04
CN111869226A (zh) 2020-10-30
KR20190107857A (ko) 2019-09-23
WO2019177367A1 (en) 2019-09-19
US10743061B2 (en) 2020-08-11
US20190289360A1 (en) 2019-09-19
EP3732893A4 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
US7698238B2 (en) Emotion controlled system for processing multimedia data
US11184582B2 (en) Terminal and operating method thereof
CN113950687A (zh) 基于经训练的网络模型的媒体呈现设备控制
JP2019165437A (ja) ディスプレイ装置及びその制御方法
US11647261B2 (en) Electrical devices control based on media-content context
KR102420567B1 (ko) 음성 인식 장치 및 방법
US20160063894A1 (en) Electronic apparatus having a voice guidance function, a system having the same, and a corresponding voice guidance method
US10354124B2 (en) Electronic apparatus and controlling method for improve the image quality preference of skin area
KR101671760B1 (ko) 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스, 촬영 장치, 그리고 이를 이용한 방법 및 컴퓨터 판독 가능한 기록 매체
US11232790B2 (en) Control method for human-computer interaction device, human-computer interaction device and human-computer interaction system
US20190373038A1 (en) Technologies for a seamless data streaming experience
US20230147985A1 (en) Information processing apparatus, information processing method, and computer program
KR102535152B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
JP6973380B2 (ja) 情報処理装置、および情報処理方法
KR102596833B1 (ko) 인공지능 기반 애완동물 주변 영역을 이용한 애완동물의 감정 상태 증강 방법
US20210027743A1 (en) Display apparatus and control method thereof
US20210266083A1 (en) Electronic apparatus and control method thereof
TWI527000B (zh) 紅外線遙控系統及其操作方法
CN113056066B (zh) 基于电视节目的灯光调节方法、设备、系统及存储介质
US20170041579A1 (en) Projection system, projeciton apparatus and projeciton method of projection system
US20230116831A1 (en) Display device
KR20210155505A (ko) 이동 가능한 전자장치 및 그 제어방법
JP2022516843A (ja) 登録不要のオフラインでのデバイスのパーソナライズ
CN110786019A (zh) 显示装置及其控制方法
KR102536333B1 (ko) 개용 인터랙티브 표시 시스템, 이의 동작 방법 및 개용 인터랙티브 표시 장치