JP2012049850A - Image display unit, image data conversion method, image distribution system, and program - Google Patents

Image display unit, image data conversion method, image distribution system, and program Download PDF

Info

Publication number
JP2012049850A
JP2012049850A JP2010190387A JP2010190387A JP2012049850A JP 2012049850 A JP2012049850 A JP 2012049850A JP 2010190387 A JP2010190387 A JP 2010190387A JP 2010190387 A JP2010190387 A JP 2010190387A JP 2012049850 A JP2012049850 A JP 2012049850A
Authority
JP
Japan
Prior art keywords
image
information
image data
image display
tone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010190387A
Other languages
Japanese (ja)
Inventor
Toru Watanabe
亨 渡辺
Akihiro Tsukamoto
明弘 塚本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010190387A priority Critical patent/JP2012049850A/en
Publication of JP2012049850A publication Critical patent/JP2012049850A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image display unit which receives a live image from a distant live video distribution site to display the image after painting-conversion and also changing the impression of a painting depending on the environment of the live video distribution site.SOLUTION: An image display unit, an image data conversion method, an image distribution system and a program are provided to change the impression of a painting to be converted when converting a distributed image to a painting-style image by a painting-conversion engine and to allow a viewer to enjoy the converted painting depending on the environment of a distant site, by installing a sensor 40 at a live video distribution site 530, collecting environment information for the site, and changing various parameters for painting-conversion stored in a parameter memory of the image display unit 1 depending on the environment information. Further, information about the viewer's interest on the image display unit 1 and the environment information are associated with each other and the parameters for the painting-conversion are changed in accordance with the environment information and interest information.

Description

本発明は、特に、インターネットを利用した画像配信に係る画像表示装置、画像データ変換方法、画像配信システム、及びプログラムに関する。   The present invention particularly relates to an image display apparatus, an image data conversion method, an image distribution system, and a program related to image distribution using the Internet.

近年、デジタルカメラの普及により、写真は、デジタル画像データとして保存することが一般的となっている。従来のフィルムカメラによる撮影の場合、プリントを伴うことが多かったが、画像データの場合、撮影したデジタルカメラで閲覧したり、画像データを取り込んだパーソナルコンピュータなどで閲覧したりすることができるため、写真の楽しみ方にも変化が生じている。まず、このような技術や写真文化の流れについて特許文献を参照しながら簡単に説明する。   In recent years, with the widespread use of digital cameras, it has become common to store photographs as digital image data. In the case of shooting with a conventional film camera, it was often accompanied by printing, but in the case of image data, it can be browsed with a digital camera that has shot, or it can be browsed with a personal computer that captures image data, etc. There are also changes in the way photos are enjoyed. First, the flow of such technology and photographic culture will be briefly described with reference to patent documents.

上記のような状況において、画像データでも従来のプリント写真と同様の楽しみ方ができるようにするため、いわゆるデジタルフォトフレームが実現され普及している(例えば、特許文献1参照)。
このようなデジタルフォトフレームでは、撮影した写真を再生して好きなときに鑑賞したり、スライドショー表示したり、画像データを保存するアルバム端末として使用することができる。
Under the circumstances as described above, so-called digital photo frames are realized and popularized so that image data can be enjoyed in the same way as a conventional print photograph (for example, see Patent Document 1).
Such a digital photo frame can be used as an album terminal for reproducing a photograph taken and viewing it at any time, displaying a slide show, or storing image data.

そして、ネットワークに接続し、メールの送受信も可能なデジタルフォトフレームも提案されている(例えば、特許文献2参照)。   A digital photo frame that can be connected to a network and can send and receive mail has also been proposed (see, for example, Patent Document 2).

また、複数人に閲覧可能とし、複数の閲覧者の情報を登録しておき、閲覧する人に応じて表示のさせ方等を変えるものも提案されている(例えば、特許文献3参照)。   In addition, there has been proposed a method in which information can be viewed by a plurality of people, information of a plurality of viewers is registered, and a display method or the like is changed depending on a person who browses (for example, see Patent Document 3).

更に、画像処理を加えることで、元の写真をベースとしつつも趣の異なる画調の画像(例えば、絵画調など)を生成して表示することができるようにした技術も提案されている(例えば、特許文献4参照)。   Furthermore, a technique has also been proposed in which image processing is added to generate and display an image having a different tone (for example, a painting style) based on the original photograph ( For example, see Patent Document 4).

特許文献4の技術を発展させ、実際に画家が描いた絵画の画像から色彩情報と筆蝕情報等の特徴を抽出し、撮影された画像に抽出した特徴を付与することにより、原画像全体を勘案して、芸術性の高い絵画調画像に変換する技術も提案されるに至っている(例えば、特許文献5参照)。   By developing the technology of Patent Document 4 and extracting features such as color information and brushing information from the picture of the picture actually drawn by the painter, and adding the extracted features to the photographed image, the entire original image is obtained. In consideration of this, a technique for converting to a painting-like image with high artisticness has been proposed (for example, see Patent Document 5).

また、絵画調などの画質を変更することによって変化をもたせるものも提案されている。(例えば、特許文献6参照)。   In addition, there is a proposal that changes the image quality such as painting. (For example, refer to Patent Document 6).

更にまた、スライドショーのように複数の画像を順次切り替え表示する場合、表示に適さない画像が不用意に表示されてしまうことを効果的に防止できるようにしたものも提案されている(例えば、特許文献7参照)。   Furthermore, there has been proposed an apparatus that can effectively prevent an unsuitable image from being displayed inadvertently when a plurality of images are sequentially switched and displayed as in a slide show (for example, patents). Reference 7).

他方、メモリカードの容量が大きくなり、価格も安くなっているために、家族が複数のデジタルカメラで複数のメモリカードに写真を撮りためたまま、メモリカードの整理がつかなくなっているケースが増えている。どのメモリカードに誰が何の写真を撮ったか分からなくなると、いちいちカメラやデジタルフォトフレームで再生して確認してから、改めてパソコンなどにフォルダ分けをして整理した上で保存しなければならないという背景がある。
そこで、大量の画像をパソコンに保存する際に、予め設定した内容に沿って、自動的にフォルダ分けを行い、その分類内容によって画像整理を効率よく行わせる技術が提案されている(例えば、特許文献8参照)。
On the other hand, because the capacity of memory cards has become larger and the price has become cheaper, it has become more common for families to take pictures on multiple memory cards with multiple digital cameras, making it impossible to organize memory cards. ing. If you don't know who took what photos on which memory card, you have to play it back on the camera or digital photo frame, check it, and then organize it again in a folder on your computer etc. There is.
Therefore, a technique has been proposed in which when a large amount of images are stored in a personal computer, folders are automatically divided according to preset contents, and image organization is efficiently performed according to the classified contents (for example, patents). Reference 8).

さて、このような従来のデジタルフォトフレームにおいては、内蔵若しくはメモリカードに記録されている画像を表示するだけなので物足りないという課題があった。
そこで、デジタルフォトフレームをインターネットに接続し、様々なコンテンツ画像を有料若しくは無料で配信することが提案されている(例えば、特許文献9参照)。
Such a conventional digital photo frame has a problem that it is unsatisfactory because it only displays an image stored in a built-in or memory card.
Therefore, it has been proposed to connect a digital photo frame to the Internet and distribute various content images for a fee or free of charge (see, for example, Patent Document 9).

特許文献9記載の技術によれば、デジタルフォトフレームにおいて、ニュースや広告など、無料若しくは有料の複数のジャンルのコンテンツ配信を受けることができる。   According to the technique described in Patent Document 9, it is possible to receive free or paid content distributions of a plurality of genres such as news and advertisements in a digital photo frame.

コンテンツ配信には、遠方のライブカメラのライブ映像を配信するものもある。このコンテンツ配信技術と前記したような絵画変換技術を組み合わせれば、ライブ映像の絵画変換も可能である。ライブ映像には、リアルタイムの動画若しくは一定時間ごとに切り替わる静止画の画像データをサーバーにアップするもの、あるいは所定時間例えば5分間を繰り返し表示してダイナミック感を持たせるもの等がある。
そのライブ映像を絵画変換する際、従来のデジタルフォトフレームでは遠方のライブ配信側の現場の環境に応じて絵画変換の雰囲気を変化させることはできなかった。
Some content distribution also distributes live video from a distant live camera. If this content distribution technology and the above-described picture conversion technology are combined, it is possible to convert pictures of live video. The live video includes a real-time moving image or a still image image data that changes every predetermined time on a server, or a video that gives a dynamic feeling by repeatedly displaying a predetermined time, for example, 5 minutes.
When converting the live video into a painting, the conventional digital photo frame could not change the atmosphere of the painting conversion according to the environment of the site on the remote live distribution side.

特開2009−141678号公報JP 2009-141678 A 特開2010−61246号公報JP 2010-61246 A 特開2010−86914号公報JP 2010-86914 A 特開平08−44867号公報Japanese Patent Laid-Open No. 08-44867 特開2004−213598号公報JP 2004-213598 A 特公平01−46905号公報Japanese Patent Publication No. 01-46905 特開2009−288507号公報JP 2009-288507 A 特開2009−87099号公報JP 2009-87099 A 特開2003−91675号公報JP 2003-91675 A

本発明は上記事情に鑑みてなされたもので、ライブ映像配信サイトにセンサを設置し、現場の環境情報を収集し、その環境に応じて、デジタルフォトフレーム側の表示画調を画調変換の各種パラメータを変化させることにより雰囲気を変え、例えば富士山が好天に恵まれているときは明るいタッチで、吹雪のときは重いタッチでなど遠方にある現場の環境に応じた画調でライブ映像を楽しむことができる画像表示装置、画像データ変換方法、画像配信システム、及びプログラムを提供することを目的とする。   The present invention has been made in view of the above circumstances. A sensor is installed at a live video distribution site, environmental information on the site is collected, and the display picture tone on the digital photo frame side is converted to a tone according to the environment. Change the atmosphere by changing various parameters, for example, enjoy a live video with a touch that is brighter when Mt. Fuji is blessed and with a heavy touch in the event of a snowstorm. An object of the present invention is to provide an image display device, an image data conversion method, an image distribution system, and a program.

本発明は、ライブ映像配信サイトからのライブ映像を画像表示装置で受信し、画調変換できるとともに、遠方のライブ映像配信サイトにセンサと環境情報収集システムを設け、その環境情報に応じてデジタルフォトフレーム側の画調変換のパラメータを変化させることを特徴とする。   In the present invention, live video from a live video distribution site can be received by an image display device, and the tone can be converted, and a remote live video distribution site is provided with a sensor and an environmental information collection system, and digital photos can be selected according to the environmental information. It is characterized in that parameters for image tone conversion on the frame side are changed.

更に、本発明の他の発展的な実施形態として、閲覧者を認識して閲覧者の興味情報を分析し、この興味情報と環境情報を関連付け、環境情報と興味情報によって画調変換のパラメータを変化させることを他の特徴とする。またそれを蓄積・フイードバックすることにより今後のコンテンツ配信に反映していくことにも利用できる。   Furthermore, as another advanced embodiment of the present invention, the viewer is recognized, the interest information of the viewer is analyzed, the interest information is associated with the environment information, and the tone conversion parameter is set by the environment information and the interest information. Another feature is to change. It can also be used to reflect future content distribution by accumulating and feeding it back.

前記課題を解決するため、請求項1記載の発明は、画像データを記憶し表示する画像表示装置であって、画像データを所定のパラメータに基づいて画調変換する画調変換手段と、当該画像表示装置と離れた場所に設置されたサーバーから送られてくる環境情報を受信し、この環境情報に応じて前記パラメータを変更する変更手段と、前記サーバーから配信される画像データを受信する受信手段と、を備え、前記画調変換手段は、前記変更手段により変更されたパラメータにより前記受信された画像データを画調変換することを特徴とする画像表示装置を提供するものである。   In order to solve the above-mentioned problem, the invention according to claim 1 is an image display device for storing and displaying image data, and a tone conversion means for converting the tone of the image data based on a predetermined parameter, and the image Change means for receiving environmental information sent from a server installed at a location distant from the display device, and changing the parameter in accordance with the environmental information; and receiving means for receiving image data distributed from the server The image tone converting means provides an image display device that performs image tone conversion on the received image data according to the parameter changed by the changing means.

請求項2記載の発明は、前記環境情報は、少なくとも温度、気圧、風速、湿度のいずれかを含む気象情報であることを特徴とする請求項1記載の画像表示装置を提供するものである。   The invention according to claim 2 provides the image display apparatus according to claim 1, wherein the environmental information is weather information including at least one of temperature, atmospheric pressure, wind speed, and humidity.

請求項3記載の発明は、前記環境情報は、少なくとも緯度、経度、高度、地域のいずれかを含む位置情報であることを特徴とする請求項1記載の画像表示装置を提供するものである。   The invention according to claim 3 provides the image display device according to claim 1, wherein the environment information is position information including at least one of latitude, longitude, altitude, and region.

請求項4記載の発明は、前記環境情報は、時刻、年、月、日、季節のいずれかを含む時間情報であることを特徴とする請求項1記載の画像表示装置を提供するものである。   The invention according to claim 4 provides the image display device according to claim 1, wherein the environmental information is time information including any of time, year, month, day, and season. .

請求項5記載の発明は、前記環境情報を、前記サーバーとは異なったサーバーから受信することを特徴とする請求項1記載の画像表示装置を提供するものである。   A fifth aspect of the present invention provides the image display device according to the first aspect, wherein the environment information is received from a server different from the server.

請求項6記載の発明は、前記画像表示装置の閲覧者の興味情報と前記環境情報を関連付け、該環境情報と興味情報によって前記所定のパラメータを変化させることを特徴とする請求項1記載の画像表示装置を提供するものである。   According to a sixth aspect of the present invention, the interest information of the viewer of the image display device is associated with the environment information, and the predetermined parameter is changed according to the environmental information and the interest information. A display device is provided.

請求項7記載の発明は、前記興味情報は、閲覧者の少なくとも見た回数、見た時間、見た距離、見た角度、見ている際の移動状況のいずれかを含むことを特徴とする請求項6記載の画像表示装置を提供するものである。   The invention according to claim 7 is characterized in that the interest information includes at least the number of times the viewer has viewed, the time of viewing, the distance of viewing, the angle of viewing, or the movement status when viewing. An image display device according to claim 6 is provided.

請求項8記載の発明は、画像データをサーバーから配信し、前記配信された画像データを受信し、受信した画像データの画調を所定のパラメータに基づいて変換する画像データ変換方法において、前記サーバー付近に設けられたセンサにより環境に関係する環境情報を収集し、該環境情報に応じて前記パラメータを変換させ、該変換されたパラメータにより前記画像データを変換することを特徴とする画像データ変換方法を提供するものである。   The invention according to claim 8 is an image data conversion method for distributing image data from a server, receiving the distributed image data, and converting a tone of the received image data based on a predetermined parameter. An image data conversion method characterized in that environmental information related to the environment is collected by a sensor provided nearby, the parameter is converted according to the environmental information, and the image data is converted by the converted parameter. Is to provide.

請求項9記載の発明は、前記環境情報は、少なくとも温度、気圧、風速、湿度のいずれかを含むことを特徴とする請求項8載の画像データ変換方法を提供するものである。   The invention according to claim 9 provides the image data conversion method according to claim 8, wherein the environmental information includes at least one of temperature, atmospheric pressure, wind speed, and humidity.

請求項10記載の発明は、前記環境情報は、少なくとも位置を示す情報を含むことを特徴とする請求項8記載の画像データ変換方法を提供するものである。   The invention according to claim 10 provides the image data conversion method according to claim 8, wherein the environment information includes at least information indicating a position.

請求項11記載の発明は、前記環境情報は、時刻情報、月日情報、季節情報のいずれかを含むことを特徴とする請求項6記載の画像データ変換方法を提供するものである。   The invention according to claim 11 provides the image data conversion method according to claim 6, wherein the environmental information includes any one of time information, date information, and season information.

請求項12記載の発明は、前記環境情報は、当該サーバー外のサーバーからインターネットを介して受信されることを特徴とする請求項8記載の画像データ変換方法を提供するものである。   The invention according to claim 12 provides the image data conversion method according to claim 8, wherein the environment information is received from a server outside the server via the Internet.

請求項13記載の発明は、画像データを撮像する手段を備えた画像配信サイトと、前記画像配信サイトから配信される画像データを受信し表示する画像表示装置と、前記画像表示装置に設けられ、受信した画像データの画調を変換する画調変換手段と、前記画像配信サイトに設けられる環境に関係する環境情報を収集する環境情報収集手段と、を備え、前記画調変換手段は前記環境情報に応じて画調を変換することを特徴とする画像配信システムを提供するものである。   The invention according to claim 13 is provided in an image distribution site having means for capturing image data, an image display device that receives and displays image data distributed from the image distribution site, and the image display device. A tone conversion unit that converts the tone of the received image data; and an environment information collection unit that collects environment information related to the environment provided in the image distribution site, the tone conversion unit including the environment information The present invention provides an image distribution system characterized in that the image tone is converted according to the above.

請求項14記載の発明は、ライブ映像配信サイトから配信されるライブ映像を画像表示装置に表示するとともに、配信されたライブ映像の画像データを所定のパラメータに応じて絵画風の画調に変換する画像配信システムにおいて、前記退部映像配信サイトにセンサを設置し、該センサにより現場の環境情報を収集し、その環境に応じて前記画像表示装置側の調画調変換のための前記所定のパラメータを変更することにより画調の雰囲気を変え、遠方にある現場の環境に応じて絵画変換を行うことを特徴とする画像配信システムを提供するものである。   The invention described in claim 14 displays the live video distributed from the live video distribution site on the image display device, and converts the image data of the distributed live video into a painting-like tone according to a predetermined parameter. In the image delivery system, a sensor is installed at the withdrawal video delivery site, environmental information on the site is collected by the sensor, and the predetermined parameter for the tone conversion on the image display device side according to the environment The image distribution system is characterized in that the atmosphere of the image tone is changed by changing the image quality, and the painting conversion is performed according to the environment of the remote site.

請求項15記載の発明は、更に、前記画像表示装置の閲覧者の興味情報と前記環境情報を関連付け、該環境情報と興味情報によって前記絵画変換のパラメータを変化させることを特徴とする請求項14記載の画像配信システムを提供するものである。   According to a fifteenth aspect of the present invention, the interest information of the viewer of the image display device is associated with the environmental information, and the painting conversion parameter is changed according to the environmental information and the interest information. The described image distribution system is provided.

請求項16記載の発明は、前記環境情報と興味情報を関連づけて蓄積またはフイードバックすることにより今後の配信に反映させることを特徴とする請求項15記載の画像配信システムを提供するものである。   According to a sixteenth aspect of the present invention, there is provided an image distribution system according to the fifteenth aspect, wherein the environmental information and the interest information are stored in association with each other and reflected in future distribution.

請求項17記載の発明は、前記興味情報は、閲覧者の少なくとも見た回数、見た時間、見た距離、見た角度、見ている際の移動状況のいずれかを含むことを特徴とする請求項15または16いずれかに記載の画像配信システムを提供するものである。   The invention according to claim 17 is characterized in that the interest information includes at least the number of times the viewer has viewed, the time of viewing, the distance of viewing, the angle of viewing, or the movement status when viewing. An image distribution system according to claim 15 or 16 is provided.

請求項18記載の発明は、コンピュータにより読み取られ実行可能なプログラムであって、遠方にあるサーバーから配信された画像データを受信するプログラムステップと、前記サーバー付近に設けられたセンサにより収集された環境に関係する環境情報を受信するプログラムステップと、画像データを所定のパラメータに従って画調変換するプログラムステップと、前記受信した環境情報に応じて前記パラメータを変更するプログラムステップと、該変更されたパラメータにより前記受信した画像データの画調を変換するプログラムステップと、を含むプログラムを提供するものである。   The invention described in claim 18 is a program that can be read and executed by a computer, and includes program steps for receiving image data distributed from a remote server, and an environment collected by a sensor provided near the server. A program step for receiving environment information related to the image, a program step for converting the tone of image data according to a predetermined parameter, a program step for changing the parameter in accordance with the received environment information, and the changed parameter And a program step for converting the tone of the received image data.

請求項19記載の発明は、更に、閲覧者の閲覧情報を収集するプログラムステップと、前記パラメータを前記閲覧情報に応じて変更するプログラムステップと、を含む請求項18記載のプログラムを提供するものである。   The invention described in claim 19 further provides a program step according to claim 18, further comprising a program step for collecting browsing information of a viewer and a program step for changing the parameter according to the browsing information. is there.

本発明によれば、画像表示装置において、離れた場所から配信されてくる画像を、その現場の環境に応じた画調に変換することができる。   ADVANTAGE OF THE INVENTION According to this invention, in the image display apparatus, the image delivered from the distant place can be converted into the image tone according to the environment of the field.

本発明を適用した実施形態による画像表示装置1を示す外観図である。1 is an external view showing an image display device 1 according to an embodiment to which the present invention is applied. 本実施形態による画像表示装置1の電気的構成を示したブロック図である。It is the block diagram which showed the electrical structure of the image display apparatus 1 by this embodiment. 本実施形態による画像表示装置1が適用されるネットワーク系の構成を示すブロック図である。It is a block diagram which shows the structure of the network type | system | group to which the image display apparatus 1 by this embodiment is applied. 本実施形態による表示装置1のメモリカード60に記憶されている画像ファイルの構造を示す概念図である。It is a conceptual diagram which shows the structure of the image file memorize | stored in the memory card 60 of the display apparatus 1 by this embodiment. 本実施形態による表示装置1の内部メモリ14内のフォルダ構成を示す概念図である。It is a conceptual diagram which shows the folder structure in the internal memory 14 of the display apparatus 1 by this embodiment. 本実施形態による表示装置1の内部メモリ14内に構成されるアドレス帳33の構成を示す概念図である。It is a conceptual diagram which shows the structure of the address book 33 comprised in the internal memory 14 of the display apparatus 1 by this embodiment. 本実施形態による画像表示装置1の初期設定の際に、ユーザの顔とユーザのメールアドレスとを対応づけて登録するための手順を示すフローチャートである。6 is a flowchart illustrating a procedure for registering a user's face and a user's mail address in association with each other at the time of initial setting of the image display apparatus 1 according to the present embodiment. 本実施形態による画像表示装置1において、SDカードなどのメモリカード60がメモリカードスロット6に差し込まれた際に、メモリカード60に記憶されている画像を内部メモリ14に保存する際の手順を示すフローチャートである。In the image display device 1 according to the present embodiment, a procedure for saving an image stored in the memory card 60 in the internal memory 14 when a memory card 60 such as an SD card is inserted into the memory card slot 6 is shown. It is a flowchart. 本実施形態による画像表示装置1でメールを受信したときの手順を示すフローチャートである。It is a flowchart which shows a procedure when the mail is received with the image display apparatus 1 by this embodiment. 本実施形態による画像表示装置1の再生動作について説明するフローチャートである。It is a flowchart explaining the reproduction | regeneration operation | movement of the image display apparatus 1 by this embodiment. 本実施形態による画像表示装置1の再生動作の中のスライドショー再生の手順を示すフローチャートである。It is a flowchart which shows the procedure of the slide show reproduction | regeneration in the reproduction | regeneration operation | movement of the image display apparatus 1 by this embodiment. 本実施形態の変形例による画像表示装置のフォルダ構成を示す概念図である。It is a conceptual diagram which shows the folder structure of the image display apparatus by the modification of this embodiment. 本実施形態による画像配信システムに係る、ネットワークによるコンテンツ配信サービスの一例を示すブロック図である。It is a block diagram which shows an example of the content delivery service by a network based on the image delivery system by this embodiment. 本実施形態によるログ情報の解析について説明するための概念図である。It is a conceptual diagram for demonstrating the analysis of the log information by this embodiment. 本実施形態による画像表示装置1でのログ記録の概略動作を示すフローチャートである。It is a flowchart which shows schematic operation | movement of the log recording in the image display apparatus 1 by this embodiment. 本実施形態において、配信コンテンツサイト530から配信され、ネットワークサービスサイト520のコンテンツサーバー524に一時的に記憶されるコンテンツのファイル構成の一例を示す概念図である。In this embodiment, it is a conceptual diagram which shows an example of the file structure of the content delivered from the delivery content site 530 and temporarily stored in the content server 524 of the network service site 520. 本実施形態による絵画タッチの状態を示す図である。It is a figure which shows the state of the picture touch by this embodiment. 本実施形態による絵画変換の手順を示すフローチャートである。It is a flowchart which shows the procedure of the picture conversion by this embodiment. 本実施形態による環境情報に応じて画調を変える例を示す図である。It is a figure which shows the example which changes an image tone according to the environmental information by this embodiment. 本実施形態による環境情報に応じて画調を変える他の例を示す図である。It is a figure which shows the other example which changes a picture tone according to the environmental information by this embodiment. 本実施形態による環境情報に応じて画調を変える他の例を示す図である。It is a figure which shows the other example which changes a picture tone according to the environmental information by this embodiment. 本実施形態による環境情報に応じて画調を変える他の例を示す図である。It is a figure which shows the other example which changes a picture tone according to the environmental information by this embodiment. 本実施形態による環境情報に応じて画調を変える他の例を示す図である。It is a figure which shows the other example which changes a picture tone according to the environmental information by this embodiment. 本実施形態による環境情報に応じて画調を変える他の例を示す図である。It is a figure which shows the other example which changes a picture tone according to the environmental information by this embodiment.

以下、本発明の実施の形態について図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

A.実施形態の画像表示装置
図1は、本発明を適用した実施形態による画像表示装置1を示す外観図である。画像表示装置1の正面には、本体2に保持された液晶表示パネル3によって構成される表示部が設けられている。この液晶表示パネル3には、タッチパネル5が一体的に構成されており、指でタッチすることにより操作可能となっている。本体2の前面上部右側には、撮像素子8が設けられ、側面には、メモリカードスロット6が設けられている。更に、本体上部にGPS(Global Positioning System)アンテナ7、全面上部左側にセンサ40が設けられている。
A. Image Display Apparatus According to Embodiment FIG. 1 is an external view showing an image display apparatus 1 according to an embodiment to which the present invention is applied. On the front surface of the image display device 1, a display unit configured by a liquid crystal display panel 3 held by the main body 2 is provided. A touch panel 5 is integrally formed on the liquid crystal display panel 3 and can be operated by touching with a finger. An imaging element 8 is provided on the upper right side of the front surface of the main body 2, and a memory card slot 6 is provided on the side surface. Furthermore, a GPS (Global Positioning System) antenna 7 is provided at the top of the main body, and a sensor 40 is provided at the upper left of the entire surface.

図2は、本実施形態による画像表示装置1の電気的構成を示したブロック図である。画像表示装置1は、CPU(Central Processing Unit)11と、CPU11に接続されたROM(Read Only Memory)12と、RAM(Random Access memory)13と、内部メモリ14とを備え、ROM12には、CPU11に後述するフローチャートに示す動作を行わせるためのプログラムが記憶されている。また、CPU11は、撮像素子8で撮像した顔を認識処理するための顔認識エンジン100と、写真画像を絵画調の画像に変換する絵画変換エンジン200、並びに環境情報を収集分析する環境情報エンジン400とを含んでいる。   FIG. 2 is a block diagram showing an electrical configuration of the image display apparatus 1 according to the present embodiment. The image display apparatus 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12 connected to the CPU 11, a RAM (Random Access memory) 13, and an internal memory 14. Stores a program for causing an operation shown in a flowchart to be described later to be performed. The CPU 11 also recognizes the face captured by the image sensor 8, the face recognition engine 100 for converting a photographic image into a picture-like image, and the environment information engine 400 for collecting and analyzing environment information. Including.

顔認識エンジン100は、写真の中に複数の顔が写っている場合、それぞれの顔を認識する能力を備えている。   The face recognition engine 100 has a capability of recognizing each face when a plurality of faces are shown in the photograph.

絵画変換エンジン200は、例えば、特開平8−44867号公報(特許文献4)、特開2004−213598号公報(特許文献5)などに開示されているような絵画変換処理を行う。絵画変換エンジン200による絵画変換処理は、メモリカード60に記憶されている表示対象の画像あるいはインターネット500を介して受信した画像を、絵画が有する特徴を備えた絵画調画像、つまり特定の効果を与えた絵画調画像に変換し、変換後の絵画調画像を液晶表示パネル3に表示する処理である。   The picture conversion engine 200 performs a picture conversion process as disclosed in, for example, Japanese Patent Application Laid-Open No. 8-44867 (Patent Document 4), Japanese Patent Application Laid-Open No. 2004-213598 (Patent Document 5), and the like. The painting conversion process performed by the painting conversion engine 200 gives an image to be displayed, which is stored in the memory card 60 or an image received via the Internet 500, to a painting-like image having characteristics of the painting, that is, gives a specific effect. This is a process of converting to a painting-like image and displaying the converted painting-like image on the liquid crystal display panel 3.

また、絵画調画像への変換に際して目標とする絵画の種類、つまり変換画調画像にする特徴(画調、画風)が選択可能である。本実施形態において、選択可能な画調は、油絵調、水彩画風、油彩画風、パステル調、色鉛筆画調、クレヨン画調、イラスト画調、点描画調、エアブラシ、シルクスクリーン風、刺繍絵風、コラージュ(糊付け)風とする。
しかし、これに限ることなく、ゴッホ調、モネ調、ピカソ調など、画家の特徴を加味した変換の選択を可能としても良い。また、別の画調のアルゴリズムを後述するメモリカード60で提供することもできる。画調の描画タッチとして筆の太さも選択可能である。
In addition, it is possible to select a target picture type for conversion to a picture-like image, that is, a feature (picture tone, style) to be a converted picture-tone image. In the present embodiment, selectable painting styles are oil painting style, watercolor painting style, oil painting style, pastel style, colored pencil painting style, crayon painting style, illustration painting style, point drawing style, airbrush, silk screen style, embroidery painting style, A collage style.
However, the present invention is not limited to this, and it is possible to select conversions that take into account the characteristics of the painter, such as Van Gogh, Monet, and Picasso. Further, another image tone algorithm can be provided by the memory card 60 described later. The thickness of the brush can also be selected as a drawing touch of the style.

環境情報エンジン400は、センサ40で得られる人の近接情報(人感情報)、温度、湿度、気圧、風速などを得るとともに、後述するGPS制御部20からの緯度、経度、高度等の位置情報、年月日、時刻、季節等の時間情報、撮像素子8から得られる画像情報、インターネット500を介して他のサイトから得られる天気予報情報などを収集して環境情報を得るためものである。   The environment information engine 400 obtains human proximity information (human information) obtained by the sensor 40, temperature, humidity, atmospheric pressure, wind speed, and the like, and positional information such as latitude, longitude, altitude, and the like from the GPS control unit 20 described later. In order to obtain environmental information by collecting time information such as date, time, season, etc., image information obtained from the image sensor 8, weather forecast information obtained from other sites via the Internet 500, and the like.

これら顔認識エンジン100、絵画変換エンジン200、環境情報エンジン400はCPU11と協働するASIC(Application Specific Integrated Circuit:特定用途向け集積回路)、若しくはDSP(Digital Signal Processor)、あるいはリコンフィギュラブルLSI(C言語などのプログラムによって再構成可能なLSI)によって構成される。   The face recognition engine 100, the painting conversion engine 200, and the environment information engine 400 are an ASIC (Application Specific Integrated Circuit), DSP (Digital Signal Processor), or Reconfigurable LSI (C LSI that can be reconfigured by a program such as a language).

RAM13は、CPU11が必要に応じて種々のデータを一時的に記憶する作業用のメモリである。内部メモリ14は、ハードディスク、またはフラッシュメモリによる大容量不揮発性メモリであり、詳細は後述するが、フォルダが形成されて多数の画像を保存可能となっている。また、電話帳33、反応ログメモリ300も含む。   The RAM 13 is a working memory in which the CPU 11 temporarily stores various data as necessary. The internal memory 14 is a large-capacity non-volatile memory such as a hard disk or a flash memory. As will be described in detail later, a folder is formed so that a large number of images can be stored. Further, a telephone directory 33 and a reaction log memory 300 are also included.

表示制御部16は、CPU11から供給される表示用の画像データに基づいて液晶表示パネル3を駆動することにより、画像や、各種メニューを液晶表示パネル3に表示させる。キー入力部制御部17は、CPU11の制御に基づいてタッチパネル5の操作信号を入力するものである。   The display control unit 16 causes the liquid crystal display panel 3 to display images and various menus by driving the liquid crystal display panel 3 based on display image data supplied from the CPU 11. The key input part control part 17 inputs the operation signal of the touch panel 5 based on control of CPU11.

タッチパネル5は、静電容量方式、光学方式、抵抗膜方式、表面弾性波方式、超音波方式、電磁誘導方式など様々存在する中から、適宜選択することができる。指紋認証や、静脈認証の機能を組み込むことも可能である。   The touch panel 5 can be appropriately selected from various types such as a capacitance method, an optical method, a resistance film method, a surface acoustic wave method, an ultrasonic method, and an electromagnetic induction method. It is also possible to incorporate fingerprint authentication and vein authentication functions.

メモリカードインターフェース18は、メモリカードスロット6に着脱自在に装着された各種のメモリカード60と、CPU11との間におけるデータの入出力を制御する入出力インターフェースである。   The memory card interface 18 is an input / output interface that controls data input / output between the CPU 11 and various memory cards 60 that are detachably mounted in the memory card slot 6.

撮像制御部19は、撮像素子8を駆動して被写体の画像を取り込む制御を行う。ベイヤーデータで取り込まれた画像データは、YUV、及びRGBデータに変換後、JPEG(Joint Photographic Experts Group)データに圧縮されて内部メモリ14またはメモリカード60に記録される。   The imaging control unit 19 performs control to drive the imaging element 8 and capture an image of the subject. The image data captured as Bayer data is converted into YUV and RGB data, then compressed into JPEG (Joint Photographic Experts Group) data, and recorded in the internal memory 14 or the memory card 60.

GPS制御部20は、GPSアンテナ7で受信した情報を元に位置情報を取得する。これにより、画像表示装置1の現在位置を知ることができる。
電源制御部70は、電源プラグ31を介してAC電源を取り入れ、直流に変換して各部に主電源71若しくは待機電源72の電力を供給する。
The GPS control unit 20 acquires position information based on information received by the GPS antenna 7. Thereby, the current position of the image display apparatus 1 can be known.
The power control unit 70 takes in AC power through the power plug 31 and converts it into direct current to supply the power from the main power supply 71 or the standby power supply 72 to each unit.

センサ40は、環境情報を得るためのセンサで、人感センサ、ラインセンサ、温度センサ、湿度センサ、気圧センサ、風速センサ、照度センサ等を含み、CPU11、顔認識エンジン100、環境情報エンジン400、及び撮像素子8と協働することにより各種環境情報を得ることができる。   The sensor 40 is a sensor for obtaining environmental information, and includes a human sensor, a line sensor, a temperature sensor, a humidity sensor, an atmospheric pressure sensor, a wind speed sensor, an illuminance sensor, etc., and includes a CPU 11, a face recognition engine 100, an environmental information engine 400, Various environmental information can be obtained by cooperating with the image sensor 8.

例えば近くに人がいるかどうかを検知し、近くに人がいない状態が所定時間以上続くと電源制御部70をCPU11により制御し、自動的に主電源71を切って待機電源72だけ供給しておき、節電を図り(オートパワーオフ)、再度、センサ40が人の接近を検知すると、主電源71をオンする。   For example, it is detected whether or not there is a person nearby, and when the state where no person is present continues for a predetermined time or longer, the power supply control unit 70 is controlled by the CPU 11 to automatically turn off the main power supply 71 and supply only the standby power supply 72. In order to save power (auto power off), when the sensor 40 detects the approach of a person again, the main power supply 71 is turned on.

また、閲覧者の角度や、距離を測定することができる。更に、閲覧者の顔を認識し、誰が閲覧しているかによって電源の制御が可能であるとともに、誰がどの角度で、近くから見ているか遠くから見ているかも検出することができる。   Moreover, a viewer's angle and distance can be measured. Furthermore, it is possible to control the power supply by recognizing the viewer's face and who is viewing it, and it is also possible to detect who is viewing from near and at what angle.

通信制御部30は、電話回線31若しくは無線LAN32を経由してインターネット500に接続し、メールの送受信や、コンテンツの送受信を含む通信制御を行う。アドレス帳33は、メール送受信に用いられ、実際は、内部メモリ14内に設けられる。   The communication control unit 30 is connected to the Internet 500 via the telephone line 31 or the wireless LAN 32, and performs communication control including mail transmission / reception and content transmission / reception. The address book 33 is used for mail transmission / reception, and is actually provided in the internal memory 14.

反応ログメモリ300は、内部メモリ14内に設けられ、上述した撮像素子8で撮像し、顔認識エンジン100で認識した結果や、人感センサ19の反応結果、タッチパネル5のタッチ結果などにより、閲覧者の反応ログ(履歴)を記憶する。   The reaction log memory 300 is provided in the internal memory 14, and is browsed based on the result of imaging with the above-described image sensor 8 and recognition by the face recognition engine 100, the reaction result of the human sensor 19, the touch result of the touch panel 5, and the like. The person's reaction log (history) is stored.

次に、図3は、本実施形態による画像表示装置1が適用されるネットワーク系の構成を示すブロック図である。510はパーソナルコンピュータであり、無線LAN32等で通信制御部30を介して画像表示装置1と接続でき、画像表示装置1では設定できない複雑な設定等をすることができる。   Next, FIG. 3 is a block diagram illustrating a configuration of a network system to which the image display apparatus 1 according to the present embodiment is applied. A personal computer 510 can be connected to the image display apparatus 1 via the communication control unit 30 via a wireless LAN 32 or the like, and can perform complicated settings that cannot be set by the image display apparatus 1.

520は、インターネット500を介して接続されるネットワークサービスサイトであり、少なくとも認証サーバー521、メールサーバー522、課金サーバー523、コンテンツサーバー524、絵画変換サーバー525、環境情報サーバー526を含む。表示装置1のネットワークプロバイダの役割もしている。   520 is a network service site connected via the Internet 500, and includes at least an authentication server 521, a mail server 522, a billing server 523, a content server 524, a picture conversion server 525, and an environment information server 526. It also serves as a network provider for the display device 1.

絵画変換サーバー525は前期絵画変換エンジン200をサーバー側にも持たせたものであり、環境情報サーバー526は環境情報エンジン400をサーバー側にも持たせたものである。更に、配信コンテンツサイト530にも環境情報エンジン400を持たせる。これにより、遠方の配信コンテンツ供給元の環境情報を画像表示装置1で知ることができる。なお、環境情報エンジン400はセンサ40とセットで設けられるものである。   The picture conversion server 525 has the previous picture conversion engine 200 on the server side, and the environment information server 526 has the environment information engine 400 on the server side. Furthermore, the distribution content site 530 is also provided with the environmental information engine 400. Thereby, the environment information of the distant distribution content supply source can be known by the image display device 1. The environmental information engine 400 is provided as a set with the sensor 40.

530は、表示装置1に表示させるための各種コンテンツを配信するための配信コンテンツサイトで、多数のコンテンツや、画像などを有しており、インターネット500を介して画像表示装置1若しくはネットワークサービスサイト520へデータを配信することができる。   530 is a distribution content site for distributing various contents to be displayed on the display device 1, and has a large number of contents, images, and the like, and the image display device 1 or the network service site 520 via the Internet 500. Data can be delivered to

配信コンテンツサイトの例としては、ライブカメラ映像を設置しライブ映像を配信するライブ映像コンテンツ配信サイトがある。山や空、ビル群などを常時撮影していて、動画若しくは静止画でネットワークサービスサイト520へ配信する。   An example of a distribution content site is a live video content distribution site that installs a live camera video and distributes a live video. Mountains, the sky, buildings, etc. are constantly photographed and distributed to the network service site 520 as moving images or still images.

図4は、本実施形態による表示装置1のメモリカード60に記憶されている画像ファイルの構造を示す概念図である。各画像ファイルは、EXIF(Exchangeable Image File Format)などのデータを有するヘッダG1と、撮影された画像であり本画像である画像データG2と、その画像データG2の縮小画像であるサムネイルG3の画像データを含む。なお、表示画面の大きさにより、画面に表示すべき縮小画像の大きさが異なるため、サムネイルとは別に表示用のプレビュー画像を作成して記憶しておく場合もある。本実施形態では、プレビュー画像も含めてサムネイルと表現している。   FIG. 4 is a conceptual diagram showing the structure of the image file stored in the memory card 60 of the display device 1 according to the present embodiment. Each image file includes a header G1 having data such as EXIF (Exchangeable Image File Format), image data G2 that is a captured image that is a main image, and thumbnail G3 that is a reduced image of the image data G2. including. Since the size of the reduced image to be displayed on the screen differs depending on the size of the display screen, a preview image for display may be created and stored separately from the thumbnail. In this embodiment, the thumbnail including the preview image is expressed.

つまり、画像ファイルは、一般的なデジタルカメラのファイルフォーマットに準拠し、デジタルカメラで撮像したSDカード(メモリカード60)をメモリカードスロット6に差し込むだけで使用できるようになっている。画像ファイルのフォーマットとしては、JPEG、GIF(Graphics Interchange Format)、AVI(Audio Video Interleave)、PNG(Portable Network Graphics)など種々のフォーマットに適宜対応可能である。   That is, the image file conforms to a general digital camera file format, and can be used by simply inserting an SD card (memory card 60) imaged by the digital camera into the memory card slot 6. As the format of the image file, various formats such as JPEG, GIF (Graphics Interchange Format), AVI (Audio Video Interleave), and PNG (Portable Network Graphics) can be appropriately handled.

以下は、本実施形態に特有のデータである。まず、G4は、画像の保存操作を行った人物を示す個人識別コードであり、人物の特定は、顔認識により識別する。例えば、お父さんであれば“1001”、お母さんであれば“1002”のように、個人別に識別コードが割り振られる。   The following is data specific to this embodiment. First, G4 is a personal identification code indicating the person who performed the image saving operation. The person is identified by face recognition. For example, an identification code is assigned for each individual, such as “1001” for a father and “1002” for a mother.

G5は、画像の用途を示し、仕事用、プライベート用などに分類した分類コードである。例えば、仕事用であれば“01”、プライベート用であれば“02”、旅行用であれば“03”の分類コードが記録される。この分類は、自分の画像について自由に分類分けを行うことができる。   G5 indicates the use of the image and is a classification code classified into work use, private use, and the like. For example, a classification code of “01” is recorded for work use, “02” for private use, and “03” for travel use. This classification can be freely classified for one's own image.

G6は、その画像をシークレット設定するかどうかを示すシークレットフラグであり、シークレット設定にする場合には“1”、そうでない場合には“0”とする。   G6 is a secret flag indicating whether or not the secret is set for the image, and is set to “1” when the secret is set, and “0” otherwise.

G7は、表示している画像を閲覧している人物を示す閲覧者コードである。閲覧者の特定は、画像を表示している際に撮像素子8で撮像した人物を顔認識し、既に登録されている人物であれば、該当人物の識別コードを閲覧者コードとして記録し、登録されていない新規な人物であれば、新たに閲覧者コードを発行して記録していく。   G7 is a viewer code indicating a person browsing the displayed image. The identification of the viewer is performed by recognizing the person imaged by the image sensor 8 while displaying the image, and if the person is already registered, the identification code of the person is recorded as the viewer code and registered. If the person is not a new person, a new viewer code is issued and recorded.

G8は、閲覧者別の閲覧回数を記憶する。G7とG8は、便宜上、別々に示しているが、閲覧者コードと閲覧回数とをセットで記憶していくものである。すなわち、この画像をAさんが2回見ていれば、Aさんの閲覧者コード“1101”×2、Bさんが3回見ていれば、Bさんの閲覧者コード“1052”×3、ということになる。   G8 stores the number of times of browsing for each viewer. Although G7 and G8 are shown separately for convenience, the viewer code and the number of times of browsing are stored as a set. That is, if Mr. A sees this image twice, Mr. A's viewer code “1101” × 2 and if Mr. B sees three times, Mr. B ’s viewer code “1052” × 3. It will be.

図5は、本実施形態による表示装置1の内部メモリ14内のフォルダ構成を示す概念図である。本実施形態では、内部メモリ14に画像認識により識別された個人毎のフォルダが作成される。図4には、1つの画像ファイルの構成を示したが、基本的には、この画像ファイルの個人識別コードG7毎にフォルダを形成する。例えばお父さんの識別コード“1001”に対応するフォルダF1、お母さんの識別コード“1002”に対応するフォルダF2、…のようになる。また、個人のフォルダ内に、画像ファイルの分類コードG5に応じて、あるいはシークレットフラグを付けたものについてサブフォルダSFを形成する。例えば、仕事用サブフォルダSF1、プライベート用サブフォルダSF2、シークレットフラグを立てたサブフォルダSF3、メールで受信した画像用のサブフォルダSF4が形成される。なお、これらのフォルダは、論理フォルダであって物理的にメモリエリアが区分けされているわけではない。   FIG. 5 is a conceptual diagram showing a folder structure in the internal memory 14 of the display device 1 according to the present embodiment. In the present embodiment, a folder for each individual identified by image recognition is created in the internal memory 14. FIG. 4 shows the configuration of one image file. Basically, a folder is formed for each personal identification code G7 of the image file. For example, the folder F1 corresponding to the father's identification code “1001”, the folder F2 corresponding to the mother's identification code “1002”, and so on. Further, a subfolder SF is formed in the personal folder according to the image file classification code G5 or with a secret flag. For example, a work subfolder SF1, a private subfolder SF2, a subfolder SF3 with a secret flag set, and an image subfolder SF4 received by mail are formed. Note that these folders are logical folders, and the memory areas are not physically divided.

図6は、本実施形態による表示装置1の内部メモリ14内に構成されるアドレス帳33の構成を示す概念図である。331は、プロファイルと呼ばれる保有者のメールアドレス情報を記憶するエリアであり、332は、送受信する相手先のメールアドレス情報を記憶するエリアである。M2は、メールアドレスそのものが記録されるエリアであり、M1は、該当メールアドレスの保有者の名前が記録されるエリアである。名前は、自由に付けることができる。M3は、該当メールアドレスの個人の顔画像を登録するエリアである。M4は、上述した個人識別コードが記録されるエリアである。M5は、その他の各種情報、例えば、住所、着信拒否、…が必要に応じて適宜記録されるエリアである。   FIG. 6 is a conceptual diagram showing the configuration of the address book 33 configured in the internal memory 14 of the display device 1 according to the present embodiment. 331 is an area for storing the mail address information of the holder called a profile, and 332 is an area for storing the mail address information of the other party to be transmitted and received. M2 is an area where the mail address itself is recorded, and M1 is an area where the name of the holder of the mail address is recorded. The name can be given freely. M3 is an area for registering a personal face image of the corresponding mail address. M4 is an area in which the personal identification code described above is recorded. M5 is an area in which various other information, for example, an address, incoming call rejection,... Are appropriately recorded as necessary.

以下、本実施形態の画像表示装置1及びネットワークシステムの具体的な動作についてフローチャートを参照しながら説明する。なお、説明を分かりやすくするために、フローチャートは、操作者の操作手順に沿った表現となっているが、これに伴って回路やデータの動きについて説明をしていく。   Hereinafter, specific operations of the image display apparatus 1 and the network system according to the present embodiment will be described with reference to flowcharts. In order to make the explanation easy to understand, the flowchart is expressed in accordance with the operation procedure of the operator, and accordingly, the movement of the circuit and data will be described.

図7は、本実施形態による画像表示装置1の初期設定の際に、ユーザの顔とユーザのメールアドレスとを対応づけて登録するための手順を示すフローチャートである。まず、ユーザのメールアドレスを設定する(ステップS10)。このユーザのメールアドレスの設定方法について説明する。初回起動時に画像表示装置1と認証サーバー521とをネット接続し、認証を受けたらメールサーバー522から画像表示装置1に対してユニークなメールアドレスが発行され、付与される。パーソナルコンピュータ510からメールサーバー522にアクセスして、上記ユニークなメールアドレスを好きなメールアドレスに変更する。このメールアドレスを家族や友人に知らせれば、画像メールの送受信が可能となる。これは、基本的には、パーソナルコンピュータや携帯端末などのアドレス初期設定と同様である。   FIG. 7 is a flowchart showing a procedure for registering the user's face and the user's mail address in association with each other during the initial setting of the image display apparatus 1 according to the present embodiment. First, the user's mail address is set (step S10). A method for setting the mail address of the user will be described. When the image display apparatus 1 and the authentication server 521 are connected to the network at the time of the first activation, and the authentication is received, a unique mail address is issued from the mail server 522 to the image display apparatus 1 and assigned. The mail server 522 is accessed from the personal computer 510, and the unique mail address is changed to a favorite mail address. If this e-mail address is notified to family and friends, image mail can be sent and received. This is basically the same as the initial address setting for a personal computer, portable terminal, or the like.

次に、画像表示装置1のユーザ(保有者を含む使用者:複数可)が自分の顔を登録する。撮像素子8は、電源オン中、ほぼ常時撮像をしているが、ユーザが、自分のメールアドレスが液晶表示パネル3に表示されている状態で(ステップS12)、液晶表示パネル3に表示される顔登録ボタンをタッチパネル5でタッチすると(ステップS14)、CPU11は、顔認識エンジン100によりユーザの顔を認識し、上記ユーザのメールアドレスとユーザの顔とを対応付けてアドレス帳33に登録する(ステップS16)。   Next, the user of the image display apparatus 1 (users including the owner: multiple users) registers his / her face. The image pickup device 8 takes images almost constantly while the power is on, but the user displays the mail address on the liquid crystal display panel 3 in a state where the mail address is displayed on the liquid crystal display panel 3 (step S12). When the face registration button is touched on the touch panel 5 (step S14), the CPU 11 recognizes the user's face by the face recognition engine 100, and registers the user's mail address and the user's face in the address book 33 in association with each other (step S14). Step S16).

図8は、本実施形態による画像表示装置1において、SDカードなどのメモリカード60がメモリカードスロット6に差し込まれた際に、メモリカード60に記憶されている画像を内部メモリ14に保存する際の手順を示すフローチャートである。まず、メモリカード60がメモリカードスロット6に挿入されたか否かを判断し(ステップS20)、メモリカード60がメモリカードスロット6に挿入されると、CPU11は、そのとき撮像素子8により撮影されているユーザの顔に対して、顔認識エンジン100を用いて顔認識を行う(ステップS22)。   FIG. 8 shows a case where the image stored in the memory card 60 is stored in the internal memory 14 when the memory card 60 such as an SD card is inserted into the memory card slot 6 in the image display device 1 according to the present embodiment. It is a flowchart which shows the procedure of. First, it is determined whether or not the memory card 60 is inserted into the memory card slot 6 (step S20). When the memory card 60 is inserted into the memory card slot 6, the CPU 11 is photographed by the image sensor 8 at that time. Face recognition is performed on the face of the user who is using the face recognition engine 100 (step S22).

次に、顔認識した顔に対して、個人識別コードが登録されているか否かを判断する(ステップS24)。すなわち、図5に示したように、個人識別コードに対応してフォルダが構成されているので、認識した人のフォルダが存在しているか否かを判断することになる。例えば、存在していない新しいユーザであれば、新たに識別コードを発行して顔を登録するとともに、フォルダを作成する(ステップS26)。一方、操作しているユーザが識別コード“1001”のお父さんであれば、フォルダF1を選択する(ステップS28)。登録されていないユーザの画像保存はできないようにしてもよい。   Next, it is determined whether or not a personal identification code is registered for the face that has been recognized (step S24). That is, as shown in FIG. 5, since the folder is configured corresponding to the personal identification code, it is determined whether or not the recognized person's folder exists. For example, if the user does not exist, a new identification code is issued to register the face, and a folder is created (step S26). On the other hand, if the operating user is the father of the identification code “1001”, the folder F1 is selected (step S28). It is possible to prevent the image of a non-registered user from being saved.

次に、液晶表示パネル3に表示されている保存ボタンが押されたか否かを判断し(ステップS30)、保存ボタンがタッチキー5を介して押されると、メモリカード60に記録されている画像を、該当するフォルダにコピーする(ステップS32)。すなわち、ユーザ(操作者)は、特に意識することなく、自分のフォルダに画像を保存することができる。その後、適宜、メニューに従ってフォルダ内での分類によるサブフォルダ作成や、シークレットフラグの設定を行うことができる。   Next, it is determined whether or not the save button displayed on the liquid crystal display panel 3 has been pressed (step S30). When the save button is pressed via the touch key 5, the image recorded on the memory card 60 is displayed. Is copied to the corresponding folder (step S32). That is, the user (operator) can save the image in his / her folder without any particular awareness. Thereafter, according to the menu, subfolders can be created by classification within the folder, and a secret flag can be set.

図9は、本実施形態による画像表示装置1でメールを受信したときの手順を示すフローチャートである。画像表示装置1に自己のメールアドレスが設定されていなければ、そもそもメールを受信できないが、設定されている場合には、例えば、お父さんのメールアドレス(father@***.**.jp)で受信したとすると(ステップS40)、受信したメールアドレスに対応するフォルダが存在しているかを判断する(ステップS42)。そして、対応するフォルダが存在しないと判断された場合には、受信したメールを共用フォルダF6に保存する(ステップS44)。一方、対応するフォルダ、例えば、お父さんのメールアドレスに対応するフォルダF1が存在していると判断された場合には、対応するフォルダF1にメールが保存されるとともに、メールに画像が添付されている場合には、その画像を画像メール用サブフォルダSF4に保存する(ステップS46)。   FIG. 9 is a flowchart showing a procedure when an email is received by the image display device 1 according to the present embodiment. If your e-mail address is not set in the image display device 1, you will not be able to receive e-mails in the first place, but if it is set, for example, your father's e-mail address (father@***.**.jp) If received (step S40), it is determined whether a folder corresponding to the received mail address exists (step S42). If it is determined that the corresponding folder does not exist, the received mail is stored in the shared folder F6 (step S44). On the other hand, if it is determined that the corresponding folder, for example, the folder F1 corresponding to the mail address of the father exists, the mail is stored in the corresponding folder F1 and an image is attached to the mail. In that case, the image is stored in the image mail subfolder SF4 (step S46).

図10は、本実施形態による画像表示装置1の再生動作について説明するフローチャートである。再生には、内部メモリ14に記憶された画像を再生する場合、挿入されたメモリカード60に記憶された画像を再生する場合、1枚だけ再生する場合、スライドショー再生する場合などがある。   FIG. 10 is a flowchart illustrating the reproduction operation of the image display device 1 according to the present embodiment. The reproduction includes reproduction of an image stored in the internal memory 14, reproduction of an image stored on the inserted memory card 60, reproduction of only one image, reproduction of a slide show, and the like.

ユーザ(操作者:登録されているユーザと登録されていないユーザとを含む)が画像を再生しようとして画像表示装置1の前に来ると、撮像素子8が撮像しているので、CPU11と顔認識エンジン100とが協働して操作者の顔を認識し(ステップS50)、再生操作があったか否かを判断し(ステップS52)、再生操作があると、認識した顔のユーザが登録されているか否かを判断する(ステップS54)。そして、顔が登録されていれば、画像表示装置1のユーザであると推定できるので、対応するフォルダ、例えば、認識されたのがお父さんであれば、お父さんフォルダF1に保存されている画像と共用フォルダF6に保存されている画像とを再生可能にする(ステップS56)。他の人のフォルダ、例えばお母さんフォルダF2、妹フォルダF4などは勝手に再生できない。一方、顔が登録されていなければ、共用フォルダF6に保存されている画像のみを再生可能にする(ステップS58)。そして、ステップS60へ進み、所定の再生操作を行う。   When a user (operator: including a registered user and a non-registered user) comes to the front of the image display device 1 in order to reproduce an image, the image sensor 8 captures an image. The engine 100 cooperates to recognize the operator's face (step S50), determines whether or not a reproduction operation has been performed (step S52), and if there is a reproduction operation, is the user of the recognized face registered? It is determined whether or not (step S54). If the face is registered, it can be presumed that the user is the user of the image display device 1. Therefore, if the face is recognized, for example, if the recognized person is a father, it is shared with the image stored in the father folder F1. The image stored in the folder F6 can be reproduced (step S56). Other people's folders such as the mother folder F2 and the sister folder F4 cannot be reproduced without permission. On the other hand, if no face is registered, only the image stored in the shared folder F6 can be reproduced (step S58). In step S60, a predetermined reproduction operation is performed.

ただし、顔認識エンジン100は、画像に写っている複数のユーザの顔を認識可能なので、お父さんと一緒にお母さんも写っていれば、お母さんフォルダF2の内容も再生可能となる。
なお、複数のユーザの顔が認識され、登録されているユーザと登録されていないユーザとが混在している場合の制御については後述する。
However, since the face recognition engine 100 can recognize the faces of a plurality of users shown in the image, the contents of the mother folder F2 can be reproduced if the mother is shown together with the father.
Note that control when a plurality of users' faces are recognized and registered users and non-registered users coexist will be described later.

図11は、本実施形態による画像表示装置1の再生動作の中のスライドショー再生の手順を示すフローチャートである。図10のステップS52に相当する再生操作の有無の判断を行ったとき(ステップS70)、それがスライドショー再生か否かを判断する(ステップS72)。そして、スライドショー再生でなければ他の処理へ進む。   FIG. 11 is a flowchart showing a slide show playback procedure in the playback operation of the image display apparatus 1 according to the present embodiment. When it is determined whether or not there is a playback operation corresponding to step S52 of FIG. 10 (step S70), it is determined whether or not it is a slide show playback (step S72). If the slide show is not reproduced, the process proceeds to another process.

一方、スライドショー再生であれば、まず、1枚目の画像を読み出す(ステップS74)。スライドショー再生としては、特定フォルダ内再生、古い順再生、または新しい順再生、ランダム再生などがある。次に、現在見ている閲覧者(登録されているユーザと登録されていないユーザとを含む)の顔認識を行う(ステップS76)。そして、顔認識された顔が前に閲覧した閲覧者の顔か否かを判断する(ステップS78)。図4に示すように、画像毎に閲覧者コードG7が用意されており、一度閲覧すると閲覧者コードG7と閲覧回数G8とが組になって登録されている。   On the other hand, if the slide show is reproduced, first, the first image is read (step S74). The slide show reproduction includes reproduction within a specific folder, old order reproduction, new order reproduction, random reproduction, and the like. Next, face recognition of the currently viewed viewer (including registered users and unregistered users) is performed (step S76). Then, it is determined whether or not the face whose face has been recognized is the face of the viewer who has browsed before (step S78). As shown in FIG. 4, a viewer code G7 is prepared for each image, and once viewed, the viewer code G7 and the number of browsing times G8 are registered as a set.

そこで、顔認識された顔が前に閲覧した閲覧者の顔でないと判断された場合、再生対象の画像は、該顔認識された閲覧者が見たことがない画像であるので、その画像の表示を行い(ステップS80)、閲覧者コードを発行し、顔画像の登録と閲覧回数の加算を行う(ステップS82)。一方、顔認識された顔が前に閲覧した閲覧者の顔であると判断された場合、再生対象の画像を、顔認識された閲覧者が前に見たことがあった場合であるので、ステップS80、S82をスキップして、ステップS84へ進む。   Therefore, when it is determined that the face recognized face is not the face of the viewer who has browsed before, the playback target image is an image that has not been viewed by the face recognized viewer. Display is performed (step S80), a viewer code is issued, registration of a face image and addition of the number of browsing are performed (step S82). On the other hand, if it is determined that the face-recognized face is the face of a viewer who has browsed before, the face-recognized viewer has seen the image to be played back before, Steps S80 and S82 are skipped and the process proceeds to step S84.

次に、インタラプトが無いか否かを判断する(ステップS84)。すなわち、画像を表示中に、現在見ている閲覧者が変わった場合、あるいは新たな閲覧者が加わった場合の処理である。本実施形態では、表示する画像を選択する前に顔認識を行っているが、スライドショーは、数秒間同じ画像を表示し続けているので、当然、その間に閲覧者がいなくなったり、増えたり、変更したりすることが考えられる。   Next, it is determined whether or not there is an interrupt (step S84). In other words, this is a process when the currently viewed viewer changes while an image is displayed, or when a new viewer is added. In this embodiment, face recognition is performed before selecting an image to be displayed. However, since the slide show continues to display the same image for several seconds, naturally, there are no more viewers during that time, and the number of viewers increases or changes. It is possible to do.

ここでは、表示中の画像が特定の人、あるいは所有者以外には見られては相応しくない場合の対策を想定する。例えば、家族以外の人の顔を検出した場合、すなわち、インタラプトがあった場合には、表示を停止させるか、別の画像を読み出して差し替える(ステップS86)。差し替え用の特定の画像を用意しておいても良い。このインタラプト処理は、便宜上、フローチャートのこの位置に表現したが、インタラプト信号によりいつでも受け付けるようにすることもできる。   Here, a countermeasure is assumed when the image being displayed is not suitable for viewing by a person other than a specific person or the owner. For example, when the face of a person other than the family is detected, that is, when there is an interrupt, the display is stopped or another image is read and replaced (step S86). A specific image for replacement may be prepared. Although this interrupt processing is expressed at this position in the flowchart for convenience, it can be accepted at any time by an interrupt signal.

また、シークレットフラグを立てたサブフォルダSF3から読み出された画像を表示中に、その保有者以外の新たな閲覧者が加わった場合も、ステップS86へ進み、表示を停止させるか、別の画像を読み出して差し替える。   Also, when a new viewer other than the owner is added while displaying the image read from the subfolder SF3 with the secret flag set, the process proceeds to step S86 and the display is stopped or another image is displayed. Read and replace.

そして、終了指示があったか否かを判断し(ステップS88)、終了指示がなければ、ステップS74に戻って次の画像を読み出し、上述した処理を繰り返す。一方、終了指示があれば、当該処理を終了する。   Then, it is determined whether or not there is an end instruction (step S88). If there is no end instruction, the process returns to step S74 to read the next image, and the above-described processing is repeated. On the other hand, if there is an end instruction, the process ends.

すなわち、本実施形態においては、スライドショーを表示する際、長時間になると同じ画像の繰り返しとなってくるので、見飽きてくる可能性があり、閲覧者を顔認識することによって、該閲覧者がまだ見ていない画像を表示するようにしている。   That is, in this embodiment, when displaying a slide show, the same image is repeated over a long period of time, so there is a possibility of getting tired of viewing. The image which is not seen is displayed.

なお、図11に示すフローチャートには、詳細まで記載していないが、閲覧者が複数の場合には、誰も見ていない画像>見たことがない人が混じっている>全員が見たことがある、の順で優先順位付けを行う。つまり、誰も見ていない画像を第1優先、見たことがない人が混じっている画像を第2優先、全員が見たことがある画像を第3優先として類別する。   The flowchart shown in FIG. 11 does not describe in detail, but when there are a plurality of viewers, an image that no one has seen> a group of people who have never seen> a view of all Prioritize in the order of That is, an image that no one has seen is classified as a first priority, an image in which people who have not seen it are mixed is classified as a second priority, and an image that everyone has seen is classified as a third priority.

そして、まず、第1優先に属する画像をスライドショー表示し、第1優先に属する画像を全て表示し終えたならば、第2優先に属する画像をスライドショー表示する。第2優先に属する画像を全て表示し終えたならば、第3優先に属する画像をスライドショー表示し、第3優先に属する画像を全て表示し終えたならば、第1優先に属する画像からのスライドショー表示を再度実行する。   First, images belonging to the first priority are displayed as a slide show. When all images belonging to the first priority are displayed, images belonging to the second priority are displayed as a slide show. If all the images belonging to the second priority have been displayed, the images belonging to the third priority are displayed as a slide show. If all the images belonging to the third priority are displayed, the slide show from the images belonging to the first priority is displayed. Run the display again.

無論、上記処理は、ある瞬間における閲覧者の数、または構成員が変化しない状態での動作であり、閲覧者の数、または構成員が変化する都度、新たに上記第1、第2、第3優先の類別は変化することとなる。   Of course, the above processing is an operation in a state where the number of viewers or members does not change at a certain moment, and whenever the number of viewers or members changes, the first, second, and second The three priority categories will change.

更に、シークレットフラグG6がついている画像は、最初から表示対象としない。顔認識によりその画像の保有者本人であると認識されたときのみ表示しても良く、その際はステップS84により他人の顔が検出された瞬間、ステップS86で表示停止とする。   Further, an image with the secret flag G6 is not displayed from the beginning. It may be displayed only when it is recognized by the face recognition that it is the owner of the image. In that case, the display is stopped in step S86 at the moment when the face of another person is detected in step S84.

なお、図10及び図12に示したフローチャートにより表示される画像は、画調変換されていない画像に関するものであり、画調変換された画像に関しては、何らの制限もなくスライド表示可能である。この場合、例えば、画調変換した画像をスライドショーモードが設定されたことを条件として、特定のフォルダ内の画像を画調変換して表示、古い順または新しい順で画像を画調変換して表示、ランダムに画像を画調変換して表示のいずれであってもよい。   Note that the images displayed according to the flowcharts shown in FIGS. 10 and 12 relate to images that have not undergone tone conversion, and the images that have undergone tone conversion can be slid and displayed without any limitation. In this case, for example, on the condition that the slide show mode is set, the images in a specific folder are converted and displayed on the condition that the slide show mode is set, and the images are converted and displayed in the oldest or newest order. Any of the images may be randomly converted and displayed.

B.本実施形態の変形例
ここで、本発明の実施形態の変形例について説明する。
図12は、本変形例による画像表示装置のフォルダ構成を示す概念図である。第1実施の形態においては、図5に示すように、個人識別コードによる保有者別のフォルダを形成した。これに対し、本変形例では、図12に示すように、複数のメモリカード毎に、内部メモリ14にフォルダを形成して保存する。
B. Here, a modification of the embodiment of the present invention will be described.
FIG. 12 is a conceptual diagram showing a folder structure of the image display device according to this modification. In the first embodiment, as shown in FIG. 5, a folder for each holder is formed by a personal identification code. On the other hand, in this modification, as shown in FIG. 12, a folder is formed and stored in the internal memory 14 for each of a plurality of memory cards.

現在、カメラのSDカードや、携帯電話のミニSDカード、マイクロSDカード等を何枚もそのまま保管していて、どれがどれだか分からなくなってしまうケースも多い。複数のカメラで複数のSDカードを使用した場合も、どのSDカードをどのカメラでいつ撮影して何が記録されているかが分からなくなってしまうケースもある。   Currently, there are many cases where a camera SD card, a mobile phone mini SD card, a micro SD card, etc. are kept as they are, and it is difficult to know which one is. Even when a plurality of SD cards are used by a plurality of cameras, there is a case where it is not possible to know which SD card is shot with which camera and what is recorded.

そこで、図8のフローで示したと同様、特別な操作を行うことなくメモリカード60を画像表示装置1に差し込むだけで、例えば、A社のSDカード(1)F11、A社のSDカード(2)F12,B社のSDカード(1)F13、携帯電話のマイクロSDカードF14、…のようにフォルダ分けされる。A社、B社と言っているのは、カメラ、または携帯のメーカー名である。もちろん、顔認識により個人識別コードを付けることで、保有者は明確になっている。すなわち、SDカード(1)を挿入したのがお父さんであれば、フォルダF11の保有者はお父さんである。   Therefore, as shown in the flow of FIG. 8, only by inserting the memory card 60 into the image display device 1 without performing any special operation, for example, the SD card (1) F11 of company A, the SD card (2 of company A) ) F12, company B SD card (1) F13, mobile phone micro SD card F14,... Company A and Company B are the names of cameras or mobile phones. Of course, the owner is clarified by attaching a personal identification code by face recognition. That is, if the father who inserted the SD card (1) is the father, the owner of the folder F11 is the father.

つまり、実施形態と同様、特別な操作を行うことなくメモリカード60を画像表示装置1に挿入して画像を保存していけば、カード別のフォルダが自動的にできるので、家庭用アルバム端末として好適である。   In other words, as in the embodiment, if the memory card 60 is inserted into the image display device 1 without any special operation and the image is stored, a folder for each card can be automatically created. Is preferred.

なお、図12において、下段のフォルダは、画像を何らかの形で加工したものが記憶される。例えば、フォルダF15は、絵画変換した画像、フォルダF16は、シークレットフラグを設定した画像、フォルダF17は、修正加工を行った画像、そして、フォルダF18は、お気に入り画像が保存されるフォルダである。   In FIG. 12, the lower folder stores an image processed in some form. For example, the folder F15 is a picture-converted image, the folder F16 is an image with a secret flag set, the folder F17 is a corrected image, and the folder F18 is a folder in which a favorite image is stored.

この変形例においても、顔認識によって誰が挿入したメモリカードかが分かるので、図5における個人別フォルダの中に、これらのフォルダをサブフォルダとして設けても良い。   Also in this modified example, the person who inserted the memory card can be identified by face recognition, so these folders may be provided as subfolders in the individual folders in FIG.

C.本実施形態の画像配信システム
次に、本発明の実施形態の画像配信システムについて説明する。
図13は、本実施形態による画像配信システムに係る、ネットワークによるコンテンツ配信サービスの一例を示すブロック図である。1は、図2における画像表示装置、520は、図3におけるネットワークサービスサイト、530は、同じく配信コンテンツサイトに対応する。
C. Next, an image distribution system according to an embodiment of the present invention will be described.
FIG. 13 is a block diagram illustrating an example of a content distribution service via a network according to the image distribution system according to the present embodiment. 2 corresponds to the image display device in FIG. 2, 520 corresponds to the network service site in FIG. 3, and 530 corresponds to the distribution content site.

配信コンテンツサイト530からは、コンテンツが配信されるが、図13に示すように、複数枚の静止画データと、テロップ用文字データと、音声データとから構成される。これらのコンテンツは、基本的に配信コンテンツサイト530からコンテンツサーバー524の中に置かれる。それを画像表示装置1の液晶表示パネル3に表示することになる。静止画のみを表示したり、その上にテロップ文字を流したり、音声や、音楽を流すことができる。   Content is distributed from the distribution content site 530, and is composed of a plurality of still image data, telop character data, and audio data as shown in FIG. These contents are basically placed in the content server 524 from the distribution content site 530. This is displayed on the liquid crystal display panel 3 of the image display device 1. Only still images can be displayed, telop characters can be played on it, and voice and music can be played.

図14は、本実施形態の特徴であるログ情報の解析について説明するための概念図である。CPU11は、撮像素子8で撮像されたユーザ(閲覧者)の画像を解析し、液晶表示パネル3に表示されている画像を閲覧している閲覧者の閲覧角度情報、距離情報を算出する。図4で説明したように、閲覧者の閲覧回数は、顔認識により、画像毎、あるいはコンテンツ毎にカウント可能である。ここで興味指数という概念を導入する。   FIG. 14 is a conceptual diagram for explaining analysis of log information, which is a feature of the present embodiment. The CPU 11 analyzes the image of the user (browser) captured by the image sensor 8 and calculates the viewing angle information and distance information of the viewer who is browsing the image displayed on the liquid crystal display panel 3. As described with reference to FIG. 4, the number of browsing times of the viewer can be counted for each image or for each content by face recognition. Here we introduce the concept of interest index.

図14において、CPU11は、撮像素子8による撮像結果から、閲覧者と画像表示装置1との角度θ1、θ2、θ3を判断するとともに、画像表示装置1に対する閲覧者との距離L1、L2、L3を判断する。そして、角度と距離でそのコンテンツの注目度を解析し、興味指数としてログ情報に反映する。閲覧時間や、閲覧回数に加えて、閲覧者の顔、液晶表示パネル3に対する距離、角度、動きを認識すれば、様々な興味指数の取得が可能である。   In FIG. 14, the CPU 11 determines the angles θ1, θ2, and θ3 between the viewer and the image display device 1 from the imaging result of the image sensor 8, and distances L1, L2, and L3 from the viewer with respect to the image display device 1. Judging. Then, the degree of attention of the content is analyzed based on the angle and the distance, and is reflected in the log information as an interest index. Various interest indices can be acquired by recognizing the distance, angle, and movement of the viewer's face and the liquid crystal display panel 3 in addition to the browsing time and the number of browsing times.

液晶表示パネル3に対する動きとしては、例えば、顔認識により、コンテンツに注目しているときの閲覧者の液晶表示パネル3に対する閲覧角度の角度θ1から角度θ3への変化や、閲覧者の液晶表示パネル3に対する閲覧距離の距離L3から距離L2への変化を、アルゴリズム化してコンテンツへの興味指数としてログ情報に反映する。   The movement with respect to the liquid crystal display panel 3 includes, for example, a change of the viewing angle from the viewing angle θ1 to the angle θ3 with respect to the liquid crystal display panel 3 when the user is paying attention to the content by face recognition, 3 is converted into an algorithm and reflected in the log information as an index of interest in content.

また、事前に家族の顔認識をしておき、何のコンテンツを誰がどのぐらい見ていたかの情報をログ情報に反映してもよい。あるいは、家族の表情を認識しておき、そのコンテンツを見たときの反応(笑う、関心する、驚く)等の情報も反映してもよい。更に、1日、1週間、…等、画像表示装置1の設置場所での家族の滞在状況もログ情報に反映してもよい。また、認識情報だけでなく、お気に入りに登録したか、全画面表示にしたか等の操作も興味指数として反映してもよい。   In addition, family face recognition may be performed in advance, and information on what content and who has viewed what content may be reflected in the log information. Alternatively, family facial expressions may be recognized and information such as reactions (laughing, interested, surprised) when viewing the content may be reflected. Furthermore, the staying status of the family at the installation location of the image display device 1 such as one day, one week,... May be reflected in the log information. Further, not only the recognition information but also an operation such as whether it is registered as a favorite or displayed in full screen may be reflected as an interest index.

図15は、本実施形態による画像表示装置1でのログ記録の概略動作を示すフローチャートである。画像表示装置1が無線LANなどでネットワークに接続されている前提で、CPU11は、コンテンツ表示モードにする(ステップS90)。コンテンツ表示モードとは、配信コンテンツサイト530から配信されるコンテンツを受信して表示するモードであり、例えば、天気予報チャンネル、ファッションチャンネル、着こなし提案チャンネル、株価チャンネル、ライブカメラチャンネル、…などがある。コンテンツ情報は、図13で説明したように、一旦、ネットワークサービスサイト520のコンテンツサーバー524に置かれ、そこから画像表示装置1に通信制御部30を介してダウンロードされる。   FIG. 15 is a flowchart showing a schematic operation of log recording in the image display apparatus 1 according to the present embodiment. On the premise that the image display device 1 is connected to the network by a wireless LAN or the like, the CPU 11 enters the content display mode (step S90). The content display mode is a mode for receiving and displaying content distributed from the distribution content site 530, and includes, for example, a weather forecast channel, a fashion channel, a dressing proposal channel, a stock price channel, a live camera channel, and so on. As described with reference to FIG. 13, the content information is temporarily placed in the content server 524 of the network service site 520, and is downloaded from there to the image display device 1 via the communication control unit 30.

そこで、CPU11は、ユーザに希望のチャンネルを選択させる(ステップS92)。ユーザがチャンネルを選択すると、選択されたチャンネルの所定ページを表示する(ステップS94)。撮像素子8は、基本的に常時撮影を行っており、顔認識エンジン100により操作者(閲覧者)の顔を認識する(ステップS96)。その後、CPU11は、閲覧者までの距離、閲覧者の閲覧方向を示す、垂直方向(画面から見て正面)からの角度を演算により求める(ステップS98、ステップS100)。更に、認識された顔が移動した場合、移動した距離や、角度を検出する(ステップS102)。図14で説明したように、閲覧者の閲覧方向が、角度θ1から角度θ3へ変化したら、斜めから正面へ移動したということで興味指数が高いとみなす。また、画像表示装置1と閲覧者との距離が、距離L3から距離L1へ変化したら、画面に近づいたということで、やはり興味指数が高いとみなす。   Therefore, the CPU 11 causes the user to select a desired channel (step S92). When the user selects a channel, a predetermined page of the selected channel is displayed (step S94). The image pickup device 8 basically performs continuous shooting, and the face recognition engine 100 recognizes the face of the operator (browser) (step S96). Then, CPU11 calculates | requires the angle from the perpendicular | vertical direction (front side seeing from a screen) which shows the distance to a browser, and a viewer's browsing direction by a calculation (step S98, step S100). Further, when the recognized face moves, the moved distance and angle are detected (step S102). As described with reference to FIG. 14, if the browsing direction of the viewer changes from the angle θ <b> 1 to the angle θ <b> 3, it is considered that the interest index is high because it has moved from the diagonal to the front. Further, when the distance between the image display device 1 and the viewer changes from the distance L3 to the distance L1, it is considered that the interest index is high because it has approached the screen.

CPU11は、これらの情報を総合して興味指数を演算する(ステップS104)。興味指数の演算方法は、いろいろ考えられるが、例えば、個人識別コード“1001”の「お父さん」のそのコンテンツに対する興味指数は、「見た回数」、「見た時間」、「見た距離」、「見た角度」、「見ている際の移動状況」、「お気に入り登録操作」、「全画面表示操作」に依存する。これをログ情報として反応ログメモリ300に記録する(ステップS106)。   The CPU 11 calculates the interest index by combining these pieces of information (step S104). There are various methods of calculating the interest index. For example, the interest index for the content of “dad” with the personal identification code “1001” is “number of times seen”, “time seen”, “distance seen”, It depends on “viewing angle”, “movement situation when viewing”, “favorite registration operation”, and “full-screen display operation”. This is recorded in the reaction log memory 300 as log information (step S106).

この状態において、何らかの操作が行われたか否かを判断し(ステップS108)、例えば、別のチャンネル選択操作が行われた場合には、ステップS92へ戻り(A)、同じチャンネルの別の画面を指定する操作が行われた場合には、ステップS94へ戻る(B)。それ以外の操作が行われた場合には、その操作に従って必要な処理フローへ進む(ステップS110のC)。   In this state, it is determined whether or not any operation has been performed (step S108). For example, when another channel selection operation is performed, the process returns to step S92 (A), and another screen of the same channel is displayed. If the designated operation is performed, the process returns to step S94 (B). When any other operation is performed, the process proceeds to a necessary processing flow according to the operation (C in step S110).

このログ情報は、ネットワークサービスサイト520にとっては、どんなコンテンツの購入を行うか、どのような表示をさせるかの重要な情報となり、配信コンテンツサイト530にとっては、コンテンツ作成上、また課金金額を決定するための重要な情報となる。更に、閲覧者の顔を認識してその人の興味のあるコンテンツを自動的に表示することも可能である。   This log information is important information for the network service site 520 as to what kind of content is to be purchased and what kind of display is to be performed. For the distribution content site 530, the amount of charge is determined in terms of content creation. It will be important information for. Furthermore, it is possible to recognize the viewer's face and automatically display content of interest to that person.

図16は、本実施形態において、配信コンテンツサイト530から配信され、ネットワークサービスサイト520のコンテンツサーバー524に一時的に記憶されるコンテンツのファイル構成の一例を示す概念図である。C1は、ヘッダで、配信会社情報、データの種類、データのサイズなど、コンテンツファイル自身の特徴を示すデータが書き込まれる。C2は、アプリケーションであり、このコンテンツがプログラムで動く場合のプログラムが書き込まれる。例えば、アドビフラッシュ(アドビ社の商標)、JAVA(登録商標)(サンマイクロシステムズ社の商標)などである。C3は、コンテンツの主体である実際に表示されるデータ部分である。C4は、音声データ、C5は、図13に示したようなテロップを含む文字データ、C6は、上記アプリケーションC2が使うパーツデータ、C7は、配信先、配信時間などを含む配信情報、C8は、有料コンテンツの場合の課金情報、C9は、広告を含む場合の広告情報である。   FIG. 16 is a conceptual diagram showing an example of a file structure of content distributed from the distribution content site 530 and temporarily stored in the content server 524 of the network service site 520 in the present embodiment. C1 is a header in which data indicating the characteristics of the content file itself such as distribution company information, data type, and data size is written. C2 is an application, and a program when this content is moved by the program is written. For example, Adobe Flash (trademark of Adobe), JAVA (trademark) (trademark of Sun Microsystems), etc. C3 is a data portion that is actually displayed that is the main content. C4 is audio data, C5 is character data including a telop as shown in FIG. 13, C6 is part data used by the application C2, C7 is distribution information including a distribution destination, distribution time, etc., and C8 is Billing information in the case of paid content, C9 is advertising information when an advertisement is included.

C10は、上述したように認識結果である個人識別コードを含む閲覧者情報、C11は、上述したように「見た回数」、「見た時間」、「見た距離」、「見た角度」、「見ている際の移動状況」、「お気に入り登録操作」、「全画面表示操作」から算出された興味指数情報である。この閲覧者情報C10と興味指数情報C11とは、このコンテンツを特定するヘッダC1とともに反応ログメモリ300に保存される。   C10 is the viewer information including the personal identification code that is the recognition result as described above, and C11 is “the number of times of viewing”, “the time of viewing”, “the distance of viewing”, and “the angle of viewing” as described above. , Interest index information calculated from “moving situation when viewing”, “favorite registration operation”, and “full screen display operation”. The viewer information C10 and the interest index information C11 are stored in the reaction log memory 300 together with a header C1 that specifies the content.

なお、本実施形態では、撮像素子による認証を行ったが、タッチパネル5やボタン部に指紋認証や静脈認証技術を設けることもできる。指紋認証や静脈認証によるログ情報の解析の例としては以下のようなものがある。
例えば個人割り当てのボタンを用意してチャンネル選択の時間帯等を情報化する、広告ウインドウを閉じたかどうか、更に詳細情報を見たかどうか、詳細情報をダウンロードしたかどうか、コンテンツ配信側が出す案内情報のウインドウの選択状況、画像の静止ボタンやダウンロードボタンを何のコンテンツで誰が押したか、などの情報を興味指数に取り入れログ情報として解析することができる。
In the present embodiment, authentication by the image sensor is performed. However, fingerprint authentication or vein authentication technology may be provided on the touch panel 5 or the button unit. Examples of log information analysis by fingerprint authentication or vein authentication include the following.
For example, a button for personal assignment is prepared to make information such as the channel selection time zone, whether the advertisement window is closed, whether more detailed information has been viewed, whether more detailed information has been downloaded, and guidance information issued by the content distribution side Information such as the selection status of the window, who pressed the still image button and the download button for what content, and the like can be taken into the interest index and analyzed as log information.

次に、環境情報に応じた絵画変換を行う例について説明する。
絵画変換とは、上述したように写真などの画像を油絵調、水彩画風、油彩画風、パステル調、色鉛筆画調、クレヨン画調、イラスト画調、点描画調、エアブラシ、シルクスクリーン風、刺繍絵風、コラージュ(糊付け)風など、いわゆる絵画調に変換するものである。画調(〜調)と画風(〜風)は同様の意味であり、画風の方がより絵画的な表現であるが、技術的には相違はない。
Next, an example of performing picture conversion according to environmental information will be described.
Painting conversion is an oil painting style, watercolor style, oil painting style, pastel style, colored pencil style, crayon style, illustration style, point style, airbrush, silk screen style, embroidery picture, etc. It is converted into a so-called painting style such as wind and collage. The style (~ tone) and style (~ wind) have the same meaning, and the style is more pictorial, but there is no technical difference.

画像処理技術は基本的にフォトレタッチソフト等で知られている各種エフェクト処理(フィルター処理)のパラメータを調整・組み合わせて絵画調に見えるように変換する。   Image processing technology basically adjusts and combines various effect processing (filter processing) parameters known for photo retouching software, etc., so that the image looks like a painting.

パラメータとは画素にエフェクト処理をかけるための要素である。すなわち、画素は一般的にRGB各複数ビットの階調で表現されるが、そのビットデータに演算をかけるための要素である。具体例は下記に示すが、例えば赤を強調するときにR×2、G×0.9、B×0.5、のような演算をする場合の前記“2”、“0.9”、“0.5”はパラメータの一種である。あるいは、予め演算要素がプログラミングされており、赤の強調度1のときはR×1.1、強調度2のときはR×1.2、強調度3のときはR×1.3のような演算をする場合の強調度もパラメータの一種である。   A parameter is an element for applying an effect process to a pixel. That is, a pixel is generally expressed by gradations of a plurality of bits for each of RGB, but is an element for performing an operation on the bit data. Specific examples are shown below. For example, when red is emphasized, the above-mentioned “2”, “0.9”, R × 2, G × 0.9, B × 0.5, etc. “0.5” is a kind of parameter. Alternatively, the calculation elements are programmed in advance, and R × 1.1 when the red emphasis level is 1, R × 1.2 when the emphasis level is 2, and R × 1.3 when the emphasis level is 3. The degree of emphasis when performing simple calculations is also a type of parameter.

また、注目画素と隣接画素の間で所定の演算をかける場合もある。例えば注目画素P5(RGB)を中心に画素P1(RGB)、P2(RGB)、P3(RGB)、P4(RGB)、P5(RGB)、P6(RGB)、P7(RGB)、P8(RGB)、P9(RGB)が上下左右に並んでいるとき、P5(R)に対してP5(R)=P1(R)×n1+P2(R)×n2+P3(R)×n3+P4(R)×n4+P5(R)×n5+P6(R)×n6+P7(R)×n7+P8(R)×n8+P9(R)×n9という演算を行い、G、Bについても同様の演算を行う。nがパラメータであり、この数値(係数)を変えることにより異なったエフェクト処理ができる。   In addition, a predetermined calculation may be performed between the target pixel and adjacent pixels. For example, the pixel P1 (RGB), P2 (RGB), P3 (RGB), P4 (RGB), P5 (RGB), P6 (RGB), P7 (RGB), P8 (RGB) around the target pixel P5 (RGB) , P9 (RGB) are aligned vertically and horizontally, P5 (R) = P5 (R) = P1 (R) × n1 + P2 (R) × n2 + P3 (R) × n3 + P4 (R) × n4 + P5 (R) The calculation of * n5 + P6 (R) * n6 + P7 (R) * n7 + P8 (R) * n8 + P9 (R) * n9 is performed, and the same calculation is performed for G and B. n is a parameter, and different effect processing can be performed by changing this numerical value (coefficient).

エフェクト処理や絵画変換処理はこのような画素に対する複雑な演算処理が予めプログラミングされているものである。   In the effect process and the picture conversion process, complicated arithmetic processes for such pixels are programmed in advance.

エフェクト処理の例としては、例えば画像にテクスチャをマッピングし、特殊な質感を与えるテクスチャ処理、画像を輪郭部・細かい模様などのテクスチャ部・平坦部に分類し、それぞれに適宜処理を施すことで、質感と解像感を高める解像度処理、色を色相(Hue)、彩度(Saturation)、明度(Value)の3要素に分類して調整するHSV処理、画像のR(赤)G(緑)B(青)各色の度合いを調整するRGB処理、R→G→Bの方向に交換するRGB交換処理、ラプラシアンフィルタと呼ばれるフィルタをかけるエッジ抽出処理、メディアンフィルタと呼ばれるフィルタをかける中間濃度抽出処理、隣接する画素のRGBのヒストグラムを抽出し、画素間のヒストグラムを適宜分布させ、コントラスト修正を行ったり画像のヒストグラムを引き伸ばすイコライズ処理、明るい部分と暗い部分を維持して中間的な明るさを調節するガンマ補正処理、画像の暗い領域を明るくしたり、明るい領域を暗くしたりするシャドー処理、各ピクセルのRGB値が、しきい値以上の明るさの時に、そのRGB値を反転するソラリゼーション処理、ランダムにドットを描画し、ノイズを発生させ、ノイズの量や色を調整するノイズ付加処理、などがある。   Examples of effect processing include, for example, texture processing that maps a texture to an image to give a special texture, and the image is classified into a texture portion and a flat portion such as a contour portion and a fine pattern, and each is appropriately processed. Resolution processing that enhances texture and resolution, HSV processing that categorizes and adjusts colors into three elements: Hue, Saturation, and Value (Value), and R (Red) G (Green) B for images (Blue) RGB processing for adjusting the degree of each color, RGB exchange processing for exchanging in the direction of R → G → B, edge extraction processing for applying a filter called a Laplacian filter, intermediate density extraction processing for applying a filter called a median filter, adjacent RGB histograms of the pixels to be extracted are extracted, and the histograms between the pixels are distributed as appropriate to correct the contrast and subtract the image histogram. Equalization processing, gamma correction processing that adjusts intermediate brightness while maintaining bright and dark areas, shadow processing that brightens dark areas of images and darkens bright areas, and RGB values for each pixel There is a solarization process that inverts the RGB value when the brightness is above a threshold value, a noise addition process that draws dots randomly, generates noise, and adjusts the amount and color of noise.

また、タッチ(筆触)が異なるように加工するエフェクト処理もある。
具体的には、画像データを構成する画素から、色などを基準として相関の高い画素を集め、グループを形成する。続いて、それぞれのグループの画素に対して、同一のグループの画素については色を該グループの代表色に置き換える。こうして色を代表色に置き換えられた画素のグループがそれぞれの筆触を形成する。かかる画像加工処理によると、グループとして集められる画素の相関の取り方、及び同一の色(代表色)の画素により構成されるグループの形状(長さ(距離)、扁平度)を変化させることによって、形成される筆触を変化させることができ、結果的に、画像データが表す画像の画調を様々な絵画調に変更することができる。そして各種画調毎に、それぞれの処理で用いる相関度、グループの形状を表す長さ、扁平度などのパラメータの最適な組み合わせが設定されており、この情報がパラメータメモリ410に記憶されている。絵画変換エンジン200はパラメータメモリ410に記憶された情報に基づいて各種画調への変更を行う。
There is also an effect process that processes the touch (brush) differently.
Specifically, pixels having high correlation are collected from pixels constituting image data on the basis of color or the like to form a group. Subsequently, for each group of pixels, for the same group of pixels, the color is replaced with the representative color of the group. A group of pixels in which the colors are replaced with the representative colors in this way form each brush stroke. According to such image processing, by changing the correlation of the pixels collected as a group and the shape (length (distance), flatness) of the group composed of pixels of the same color (representative color) The formed brush can be changed, and as a result, the tone of the image represented by the image data can be changed to various painting tone. For each image tone, an optimum combination of parameters such as the degree of correlation used in each process, the length representing the shape of the group, and the flatness is set, and this information is stored in the parameter memory 410. The painting conversion engine 200 changes the image style based on the information stored in the parameter memory 410.

複数の画像データの各々を異なる筆触に変更することは、画調を変更する際に、筆触を構成する画素を集めたグループの形状、例えば、グループの扁平度を調整することによって実現できる。筆触を表す同一の色の画素によって構成されるグループの扁平度を大きくすると、筆触は太くなり、結果として画像のタッチは荒く表示される。同一の色の画素によって構成されるグループの扁平度を小さくすると、小さな筆触を作り出すことができ、結果として、画像のタッチが細かく表示される。   Changing each of the plurality of pieces of image data to a different stroke can be realized by adjusting the shape of the group in which the pixels constituting the stroke are collected, for example, the flatness of the group when changing the image tone. When the flatness of the group composed of pixels of the same color representing the brush stroke is increased, the brush stroke becomes thick, and as a result, the touch of the image is displayed roughly. When the flatness of the group composed of pixels of the same color is reduced, a small brush can be created, and as a result, the touch of the image is displayed finely.

図17に、このようにして生成される筆触を表す画素のグループの一例を示す。例えば、図17(a)に示すように、筆触を表す同一の色の画素によって構成されるグループの扁平度を大きくすると、筆触は太くなり、結果として画像のタッチは荒く表示される。図17(c)に示すように、同一の色の画素によって構成されるグループの扁平度を小さくすると、小さな筆触を作り出すことができ、結果として、画像のタッチが細かく表示される。図17(b)に示すグループは標準的な筆触を表している。   FIG. 17 shows an example of a group of pixels representing a brush generated in this way. For example, as shown in FIG. 17A, when the flatness of a group composed of pixels of the same color representing the touch is increased, the touch becomes thicker, and as a result, the touch of the image is displayed roughly. As shown in FIG. 17C, when the flatness of the group composed of pixels of the same color is reduced, a small brush can be created, and as a result, the touch of the image is displayed finely. The group shown in FIG. 17B represents a standard stroke.

図18は、絵画変換の概要を示すフローチャートである。まず、メモリカード60から絵画変換したい画像をRAM13に読み込む(ステップS202)。画素毎にR(赤)G(緑)B(青)に対する調整を行うためビットマップデータに変換する(ステップS204)。
そしてどの画調にしたいかを選択する(ステップS206)。画調毎に各種パラメータが予めプログラミングされているので、そのパラメータをパラメータメモリ410から読み込んで設定する(ステップS208)。そして対象画像に対してそのパラメータで変換処理を行う(ステップS210)。
FIG. 18 is a flowchart showing an outline of picture conversion. First, an image to be converted into a picture is read from the memory card 60 into the RAM 13 (step S202). In order to adjust R (red), G (green), and B (blue) for each pixel, it is converted into bitmap data (step S204).
Then, which image tone is desired is selected (step S206). Since various parameters are programmed in advance for each image adjustment, the parameters are read from the parameter memory 410 and set (step S208). Then, conversion processing is performed on the target image with the parameters (step S210).

例えば、水彩画風であれば隣接する画素のRGBのヒストグラムを抽出し、ヒストグラムの分布パラメータを最小濃度側に細かく、最大濃度側に粗くなるようフィルタリングする。更に、画素にガウスフィルタと呼ばれるぼかしフィルタをかけることによって線数の少ないディテールを加え、かすんだような画調を作る。   For example, in the case of a watercolor style, an RGB histogram of adjacent pixels is extracted, and filtering is performed so that the distribution parameter of the histogram is finer on the minimum density side and coarser on the maximum density side. Furthermore, a blurring filter called a Gaussian filter is applied to the pixels to add details with a small number of lines to create a hazy image tone.

次に、環境情報エンジン400で収集された環境情報を読み込み(ステップS212)、環境情報に応じてステップS208で設定したパラメータに対して所定の変換処理を行う(ステップS214)。すなわち、環境情報に応じて画調を更に変更するものである。そして、変更されたパラメータに従って絵画変換処理を行う(ステップS216)。これにより、同じカメラで同じ場所を撮影した画像であっても、そのカメラが設置されている場所の環境によって異なった画調の画像を得ることができる。環境情報によって画調を変える例は図19〜24により後述する。なお、環境情報を反映させる前の絵画変換画像が必要なければステップS210の絵画変換処理は省略してしてもよい。
ステップS216で絵画変換された画像はJPEGデータに変換して圧縮し(ステップS218)、内部メモリ14またはメモリカード60に保存する(ステップS220)。
Next, the environment information collected by the environment information engine 400 is read (step S212), and a predetermined conversion process is performed on the parameters set in step S208 according to the environment information (step S214). That is, the image tone is further changed according to the environment information. Then, a picture conversion process is performed according to the changed parameter (step S216). Thereby, even if it is an image which image | photographed the same place with the same camera, the image of a different image tone can be obtained with the environment of the place where the camera is installed. An example of changing the image tone according to the environmental information will be described later with reference to FIGS. Note that the painting conversion process in step S210 may be omitted if the painting conversion image before reflecting the environment information is not necessary.
The picture converted in step S216 is converted into JPEG data, compressed (step S218), and stored in the internal memory 14 or the memory card 60 (step S220).

以下、環境情報に応じて画調を変更する例を説明する。図19(a)、(b)は、環境情報エンジン200により生成される環境情報の例を表す。環境情報が示す環境の一つは、例えば配信コンテンツサイト530の位置(地理的意味で言う位置)である。(図中では環境情報の中の位置を環境データと表記)。位置は、緯度と経度との組み合わせや、郵便番号などで表される。あるいは、住所、電話番号、インターネット500に接続するためのアクセスポイントの固定IPアドレス、宅配業者等が管理する配送センターコード、などで表されてもよい。日時は、日にちと時刻によって表されてもよいし、ある基準となる地点(例えば、環境情報サーバー526が設置されている建物の位置や、グリニッジ標準時GMTの基準点など)との時差で表されてもよい(図中では環境情報としての日時、天気、気温、湿度、風速などを特徴データと表記)。   Hereinafter, an example in which the image tone is changed according to the environment information will be described. FIGS. 19A and 19B show examples of environment information generated by the environment information engine 200. FIG. One of the environments indicated by the environment information is, for example, the position of the distribution content site 530 (position in terms of geographical meaning). (In the figure, the position in the environmental information is expressed as environmental data). The position is represented by a combination of latitude and longitude, a postal code, or the like. Alternatively, it may be represented by an address, a telephone number, a fixed IP address of an access point for connecting to the Internet 500, a delivery center code managed by a delivery company or the like. The date and time may be expressed by date and time, or by a time difference from a certain reference point (for example, the location of the building where the environmental information server 526 is installed or the reference point of Greenwich Mean Time GMT). (In the figure, date and time, weather, temperature, humidity, wind speed, etc. as environmental information are described as feature data).

環境情報エンジン400は、これらの環境情報を、定期的なタイミングで取得し、適宜更新する。図19(b)は、図19(a)に示す位置にある配信コンテンツサービスサイト530の環境情報が更新された後の環境情報の例を表す図である。   The environment information engine 400 acquires the environment information at a regular timing and updates it appropriately. FIG. 19B is a diagram illustrating an example of environment information after the environment information of the distribution content service site 530 at the position illustrated in FIG.

図20は、パラメータの一つである「変換アルゴリズム」を表す。
例えば、配信コンテンツサイト530の環境情報サーバー526から“快晴”を示す情報が送られると、CPU11は、環境情報サーバー526から受信した画像データに対して、色鉛筆で描かれたような画像になるようにエフェクト処理を施す。
天気の分類の仕方や変換アルゴリズムの分類の仕方は、任意である。また、天気と変換アルゴリズムとの対応付けを任意に変更した実施形態を採用することも可能である。
FIG. 20 shows a “conversion algorithm” which is one of the parameters.
For example, when information indicating “clear” is sent from the environment information server 526 of the distribution content site 530, the CPU 11 causes the image data received from the environment information server 526 to become an image drawn with a colored pencil. Effects processing.
The weather classification method and the conversion algorithm classification method are arbitrary. Also, an embodiment in which the association between the weather and the conversion algorithm is arbitrarily changed can be adopted.

図21は、パラメータの一つである「デフォルメ」を表す。
例えば、環境情報サーバー526から“気温10℃未満”を示す情報が送られると、CPU11は、配信コンテンツサイト530から受信した画像データに対して、非常におとなしい程度に特徴部分を誇張した画像となるようにエフェクト処理を施す。
気温の分類の仕方やデフォルメの程度の分類の仕方は、任意である。また、気温とデフォルメの程度との対応付けを任意に変更した実施形態を採用することも可能である。
FIG. 21 shows “deformation” which is one of the parameters.
For example, when information indicating “temperature less than 10 ° C.” is sent from the environment information server 526, the CPU 11 becomes an image in which the feature portion is exaggerated to a very moderate degree with respect to the image data received from the distribution content site 530. Apply effect processing as follows.
The method of classifying the temperature and the method of classifying the degree of deformation are arbitrary. Further, it is possible to adopt an embodiment in which the association between the temperature and the degree of deformation is arbitrarily changed.

図22は、パラメータの一つである「筆の太さ」を表す。
例えば、環境情報サーバー526から“風速1メートル未満”を示す情報が送られると、CPU11は、配信コンテンツサイト530から受信した画像データに対して、画像に含まれる輪郭線や特徴線が細くなるようにエフェクト処理を施す。
風速の分類の仕方や筆の太さの程度の分類の仕方は、任意である。また、風速と筆の太さの程度との対応付けを任意に変更した実施形態を採用することも可能である。
FIG. 22 shows “brush thickness” which is one of the parameters.
For example, when information indicating “the wind speed is less than 1 meter” is sent from the environment information server 526, the CPU 11 causes the contour lines and feature lines included in the image to be thin with respect to the image data received from the distribution content site 530. Effects processing.
The method of classifying the wind speed and the method of classifying the thickness of the brush are arbitrary. In addition, it is possible to adopt an embodiment in which the association between the wind speed and the thickness of the brush is arbitrarily changed.

図23は、センサ40による得られる気圧、湿度、照度等の情報から天気情報を収集し、あるいは他の配信コンテンツサイト530からの天報情報を取得して、その環境情報に応じて絵画変換のアルゴリズム(画調)とパラメータの一つである「筆の太さ」を変える例を示す。例えば快晴の日は非常に細い筆の太さで色鉛筆画風に変換し、雨の日は普通の筆の太さでパステル調に変換する。   FIG. 23 shows that weather information is collected from information such as atmospheric pressure, humidity, and illuminance obtained by the sensor 40, or that telephoto information from other distribution content sites 530 is acquired, and painting conversion is performed according to the environmental information. An example of changing the algorithm (painting) and “brush thickness” which is one of the parameters will be shown. For example, on a fine day, it is converted into a color pencil drawing style with a very thin brush thickness, and on a rainy day, it is converted into a pastel tone with an ordinary brush thickness.

図24は、時刻情報に応じて絵画の雰囲気を変える例を示す。各種パラメータを調整することにより絵画印刷される素材イメージの画調を変更する例を示し、例えば00:00〜02:00の間は「なめらかな紙に描いたように」画調変換し、02:00〜04:00は「目の粗い紙に描いたように」画調変換する。この素材イメージは正確に定義されるものではなく作者の感性による部分も大きいので、アルゴリズム作成時に予めパラメータを設定し、変換雰囲気を用意しておく。   FIG. 24 shows an example in which the atmosphere of a painting is changed according to time information. An example of changing the tone of a material image to be picture-printed by adjusting various parameters is shown. For example, between 00:00 and 02:00, the tone is converted as if it was drawn on smooth paper, and 02 : 00 to 04:00: The tone is converted “as if it was drawn on paper with coarse eyes”. Since this material image is not precisely defined and has a large portion depending on the sensibility of the author, parameters are set in advance when creating the algorithm, and a conversion atmosphere is prepared.

以上説明したように、本発明の実施態様によれば、配信コンテンツサイト530から受信した環境情報に応じて表示画像の画調を変えることができる。   As described above, according to the embodiment of the present invention, the tone of the display image can be changed according to the environment information received from the distribution content site 530.

1 画像表示装置
2 本体
3 液晶表示パネル
5 タッチパネル
6 メモリカードスロット
7 GPSアンテナ
8 撮像素子
11 CPU
12 ROM
13 RAM
14 内部メモリ
16 表示制御部
17 キー入力制御部
18 メモリカードインターフェース
19 撮像制御部
20 GPS制御部
30 通信制御部
33 アドレス帳
40 センサ
60 メモリカード
70 電源制御部
100 顔認識エンジン
200 絵画変換エンジン
300 反応ログメモリ
400 環境情報エンジン
500 インターネット
510 パーソナルコンピュータ
520 ネットワークサービスサイト
521 認証サーバー
522 メールサーバー
523 課金サーバー
524 コンテンツサーバー
525 絵画変換サーバー
526 環境情報サーバー
530 配信コンテンツサイト
DESCRIPTION OF SYMBOLS 1 Image display apparatus 2 Main body 3 Liquid crystal display panel 5 Touch panel 6 Memory card slot 7 GPS antenna 8 Image sensor 11 CPU
12 ROM
13 RAM
DESCRIPTION OF SYMBOLS 14 Internal memory 16 Display control part 17 Key input control part 18 Memory card interface 19 Imaging control part 20 GPS control part 30 Communication control part 33 Address book 40 Sensor 60 Memory card 70 Power supply control part 100 Face recognition engine 200 Painting conversion engine 300 Reaction Log memory 400 Environmental information engine 500 Internet 510 Personal computer 520 Network service site 521 Authentication server 522 Mail server 523 Billing server 524 Content server 525 Painting conversion server 526 Environmental information server 530 Distribution content site

Claims (19)

画像データを記憶し表示する画像表示装置であって、
画像データを所定のパラメータに基づいて画調変換する画調変換手段と、
当該画像表示装置と離れた場所に設置されたサーバーから送られてくる環境情報を受信し、この環境情報に応じて前記パラメータを変更する変更手段と、
前記サーバーから配信される画像データを受信する受信手段と、を備え、
前記画調変換手段は、前記変更手段により変更されたパラメータにより前記受信された画像データを画調変換することを特徴とする画像表示装置。
An image display device for storing and displaying image data,
A tone conversion means for converting the tone of image data based on predetermined parameters;
Change means for receiving environmental information sent from a server installed at a location remote from the image display device, and changing the parameter according to the environmental information;
Receiving means for receiving image data distributed from the server,
The image display device, wherein the image tone conversion unit performs image tone conversion on the received image data according to the parameter changed by the changing unit.
前記環境情報は、少なくとも温度、風速、気圧、湿度のいずれかを含む気象情報であることを特徴とする請求項1記載の画像表示装置。   The image display apparatus according to claim 1, wherein the environmental information is weather information including at least one of temperature, wind speed, atmospheric pressure, and humidity. 前記環境情報は、少なくとも緯度、経度、高度、地域のいずれかを含む位置情報であることを特徴とする請求項1記載の画像表示装置。   The image display apparatus according to claim 1, wherein the environment information is position information including at least one of latitude, longitude, altitude, and area. 前記環境情報は、少なくとも時刻、年、月、日、季節のいずれかを含む時間情報であることを特徴とする請求項1記載の画像表示装置。   The image display apparatus according to claim 1, wherein the environmental information is time information including at least one of time, year, month, day, and season. 前記変更手段は、前記環境情報を請求項1記載のサーバーとは異なったサーバーから受信することを特徴とする請求項1記載の画像表示装置。   The image display apparatus according to claim 1, wherein the changing unit receives the environment information from a server different from the server according to claim 1. 前記画像表示装置の閲覧者の興味情報と前記環境情報を関連付け、該環境情報と興味情報によって前記所定のパラメータを変化させることを特徴とする請求項1記載の画像表示装置。   2. The image display device according to claim 1, wherein the interest information of the viewer of the image display device is associated with the environment information, and the predetermined parameter is changed according to the environment information and the interest information. 前記興味情報は、閲覧者の少なくとも見た回数、見た時間、見た距離、見た角度、見ている際の移動状況のいずれかを含むことを特徴とする請求項6記載の画像表示装置。   The image display apparatus according to claim 6, wherein the interest information includes at least one of the number of times the viewer has viewed, the time of viewing, the distance of viewing, the viewing angle, and the movement status when viewing. . 画像データをサーバーから配信し、前記配信された画像データを受信し、受信した画像データの画調を所定のパラメータに基づいて変換する画像データ変換方法において、
前記サーバー付近に設けられたセンサにより環境に関係する環境情報を収集し、該環境情報に応じて前記パラメータを変化させ、該変化したパラメータにより前記画像データを変換することを特徴とする画像データ変換方法。
In an image data conversion method for distributing image data from a server, receiving the distributed image data, and converting a tone of the received image data based on a predetermined parameter,
Image data conversion characterized in that environmental information related to the environment is collected by a sensor provided near the server, the parameter is changed according to the environmental information, and the image data is converted by the changed parameter. Method.
前記環境情報は、少なくとも温度、気圧、風速、湿度、照度、人感情報のいずれかを含むことを特徴とする請求項8載の画像データ変換方法。   9. The image data conversion method according to claim 8, wherein the environmental information includes at least one of temperature, atmospheric pressure, wind speed, humidity, illuminance, and human information. 前記環境情報は、少なくとも緯度、経度、高度、地域のいずれかを含むことを特徴とする請求項8記載の画像データ変換方法。   9. The image data conversion method according to claim 8, wherein the environmental information includes at least one of latitude, longitude, altitude, and area. 前記環境情報は、少なくとも時刻、年、月、日、季節のいずれかを含むことを特徴とする請求項8記載の画像データ変換方法。   9. The image data conversion method according to claim 8, wherein the environmental information includes at least one of time, year, month, day, and season. 前記環境情報は、当該サーバー外のサーバーからインターネットを介して受信されることを特徴とする請求項8記載の画像データ変換方法。   9. The image data conversion method according to claim 8, wherein the environmental information is received from a server outside the server via the Internet. 画像データを撮像する手段を備えた画像配信サイトと、
前記画像配信サイトから配信される画像データを受信し表示する画像表示装置と、
前記画像表示装置に設けられ、受信した画像データの画調を変換する画調変換手段と、
前記画像配信サイトに設けられる環境に関係する環境情報を収集する環境情報収集手段と、を備え、
前記画調変換手段は前記環境情報に応じて画調を変換することを特徴とする画像配信システム。
An image distribution site comprising means for capturing image data;
An image display device for receiving and displaying image data distributed from the image distribution site;
A tone conversion means provided in the image display device for converting the tone of the received image data;
Environmental information collecting means for collecting environmental information related to the environment provided in the image distribution site,
The image distribution system, wherein the image tone conversion unit converts the image tone according to the environment information.
ライブ映像配信サイトから配信されるライブ映像を画像表示装置に表示するとともに、配信されたライブ映像の画像データを所定のパラメータに応じて絵画風の画調に変換する画像配信システムにおいて、
前記退部映像配信サイトにセンサを設置し、該センサにより現場の環境情報を収集し、その環境に応じて前記画像表示装置側の調画調変換のための前記所定のパラメータを変更することにより画調の雰囲気を変え、遠方にある現場の環境に応じて絵画変換を行うことを特徴とする画像配信システム。
In an image distribution system that displays live video distributed from a live video distribution site on an image display device and converts image data of the distributed live video into a painting-like image tone according to predetermined parameters.
By installing a sensor at the withdrawal video distribution site, collecting environmental information of the site by the sensor, and changing the predetermined parameter for the tone conversion on the image display device side according to the environment An image distribution system characterized by changing the atmosphere of painting style and performing painting conversion according to the environment at a remote site.
前記画像表示装置の閲覧者の興味情報と前記環境情報を関連付け、該環境情報と興味情報によって前記絵画変換のパラメータを変化させることを特徴とする請求項14記載の画像配信システム。   The image distribution system according to claim 14, wherein the interest information of the viewer of the image display device is associated with the environment information, and the parameters for the picture conversion are changed according to the environment information and the interest information. 前記環境情報と興味情報を関連づけて蓄積またはフイードバックすることにより今後の配信に反映させることを特徴とする請求項14記載の画像配信システム。   The image distribution system according to claim 14, wherein the environmental information and the interest information are associated with each other and accumulated or fed back to be reflected in future distribution. 前記興味情報は、閲覧者の少なくとも見た回数、見た時間、見た距離、見た角度、見ている際の移動状況のいずれかを含むことを特徴とする請求項15または16いずれかに記載の画像配信システム。   The interest information includes any one of at least the number of times the viewer has viewed, the time of viewing, the distance of viewing, the angle of viewing, and the movement status when viewing. The image distribution system described. コンピュータにより読み取られ実行可能なプログラムであって、
遠方にあるサーバーから配信された画像データを受信するプログラムステップと、
前記サーバー付近に設けられたセンサにより収集された環境に関係する環境情報を受信するプログラムステップと、
画像データを所定のパラメータに従って画調変換するプログラムステップと、
前記受信した環境情報に応じて前記パラメータを変更するプログラムステップと、
該変更されたパラメータにより前記受信した画像データの画調を変換するプログラムステップと、を含むプログラム。
A program that can be read and executed by a computer,
A program step for receiving image data distributed from a remote server;
A program step of receiving environmental information related to the environment collected by a sensor provided near the server;
A program step for converting the tone of image data according to predetermined parameters;
A program step for changing the parameter according to the received environment information;
A program step for converting the tone of the received image data according to the changed parameter.
更に、閲覧者の閲覧情報を収集するプログラムステップと、
前記パラメータを前記閲覧情報に応じて変更するプログラムステップと、を含む請求項18記載のプログラム。
Furthermore, a program step for collecting browsing information of the viewer,
The program step of changing the said parameter according to the said browsing information, The program step of Claim 18.
JP2010190387A 2010-08-27 2010-08-27 Image display unit, image data conversion method, image distribution system, and program Pending JP2012049850A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010190387A JP2012049850A (en) 2010-08-27 2010-08-27 Image display unit, image data conversion method, image distribution system, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010190387A JP2012049850A (en) 2010-08-27 2010-08-27 Image display unit, image data conversion method, image distribution system, and program

Publications (1)

Publication Number Publication Date
JP2012049850A true JP2012049850A (en) 2012-03-08

Family

ID=45904207

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010190387A Pending JP2012049850A (en) 2010-08-27 2010-08-27 Image display unit, image data conversion method, image distribution system, and program

Country Status (1)

Country Link
JP (1) JP2012049850A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013229008A (en) * 2012-03-30 2013-11-07 Casio Comput Co Ltd Social network service system, image display method, computer readable program, and server
WO2020250818A1 (en) * 2019-06-12 2020-12-17 ソニー株式会社 Receiving device, receiving method, transmitting device, and transmitting method
CN113170078A (en) * 2018-12-13 2021-07-23 三菱电机株式会社 Animation display device and animation display method
JP2021111296A (en) * 2020-01-16 2021-08-02 株式会社プラニス Information processing device, information processing method, and computer program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013229008A (en) * 2012-03-30 2013-11-07 Casio Comput Co Ltd Social network service system, image display method, computer readable program, and server
CN113170078A (en) * 2018-12-13 2021-07-23 三菱电机株式会社 Animation display device and animation display method
WO2020250818A1 (en) * 2019-06-12 2020-12-17 ソニー株式会社 Receiving device, receiving method, transmitting device, and transmitting method
JP2021111296A (en) * 2020-01-16 2021-08-02 株式会社プラニス Information processing device, information processing method, and computer program

Similar Documents

Publication Publication Date Title
JP5761322B2 (en) Terminal, image processing method, program
US7181091B2 (en) Method, apparatus, and recording medium for correcting appreciation data
US7444354B2 (en) Method and apparatus for storing images, method and apparatus for instructing image filing, image storing system, method and apparatus for image evaluation, and programs therefor
US7469064B2 (en) Image display apparatus
US8817131B2 (en) Information recording apparatus, image capturing apparatus, and information recording method for controlling recording of location information in generated images
US9536479B2 (en) Image display device and method
CN1985535A (en) Method for enhancing services concerning multimedia data in mobile telephony
JP2012073998A (en) Image distribution system, image display device, image distribution server, and program
JP2003241738A (en) Method and system for optimizing display of subject of interest in digital image
WO2004063973A1 (en) Method of displaying an image captured by a digital
CN101339650A (en) Method for processing photo on terminal and terminal adopting the method
US8169652B2 (en) Album creating system, album creating method and creating program with image layout characteristics
JP2012049850A (en) Image display unit, image data conversion method, image distribution system, and program
JP2012133749A (en) Image processing apparatus, image data conversion method, print order reception device, and program
US20120250997A1 (en) Image processing apparatus, image processing method, and storage medium
JP4296385B2 (en) Electronic camera
JP5321547B2 (en) Image distribution system and server
JP5593528B2 (en) Image distribution server, image distribution system, image distribution method and program
JP5195834B2 (en) Image display device, image reproduction method, and program
CN113256523A (en) Image processing method and apparatus, medium, and computer device
JP2012134897A (en) Image tone conversion method, image tone conversion device, image tone conversion system, and program
KR102249865B1 (en) A system for Electronic Album
WO2024109202A1 (en) Method for enhancing video image quality and electronic device
JP2010273218A (en) Image output device, captured image processing system, image output method, program and recording medium
TW200941404A (en) Image auto-analysis and naming system and its classification and recognition method