JP2015095682A - 電子機器、方法、及びプログラム - Google Patents

電子機器、方法、及びプログラム Download PDF

Info

Publication number
JP2015095682A
JP2015095682A JP2013232376A JP2013232376A JP2015095682A JP 2015095682 A JP2015095682 A JP 2015095682A JP 2013232376 A JP2013232376 A JP 2013232376A JP 2013232376 A JP2013232376 A JP 2013232376A JP 2015095682 A JP2015095682 A JP 2015095682A
Authority
JP
Japan
Prior art keywords
display
hand
image
magnification
display magnification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013232376A
Other languages
English (en)
Inventor
三恵子 浅野
Mieko Asano
三恵子 浅野
寿美 大村
Sumi Omura
寿美 大村
雅俊 村上
Masatoshi Murakami
雅俊 村上
俊夫 有賀
Toshio Ariga
俊夫 有賀
関根 正則
Masanori Sekine
正則 関根
澄彦 山本
Sumihiko Yamamoto
澄彦 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2013232376A priority Critical patent/JP2015095682A/ja
Priority to US14/333,903 priority patent/US20150130846A1/en
Publication of JP2015095682A publication Critical patent/JP2015095682A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】操作負担を軽減する。【解決手段】実施形態の電子機器は、入力部と、表示制御部と、を備える。入力部は、撮像部により撮像された画像のデータを入力する。表示制御部は、入力部より入力された画像を第1の表示倍率で表示すると共に、第1の画像に人の手と顔の部位との画像が含まれる場合に、第1の画像を、第1の表示倍率より拡大率が高い第2の表示倍率で表示する。【選択図】図3

Description

本発明の実施形態は、電子機器、方法、及びプログラムに関する。
従来から、カメラで撮像した画像データを表示装置に表示することで、鏡のような利用ができる電子機器が提供されている。
特開2005−5791号公報
しかしながら、従来技術において、鏡のような利用ができる電子機器においては、利用者から操作を受け付けることで、デジタルズーム等を用いた拡大・縮小を行う提案技術では、コンタクトレンズを入れたり、メークをしたりする際には、両手がふさがっていることも多く、領域指定作業がしにくいという問題が生じていた。
本発明の一形態は、画像データを拡大表示させる際に操作負担を軽減する電子機器、方法、及びプログラムを提供する。
実施形態の電子機器は、入力部と、表示制御部と、を備える。入力部は、撮像部により撮像された画像のデータを入力する。表示制御部は、入力部より入力された画像を第1の表示倍率で表示すると共に、第1の画像に人の手と顔の部位との画像が含まれる場合に、第1の画像を、第1の表示倍率より拡大率が高い第2の表示倍率で表示する。
図1は、実施形態のテレビジョン放送表示装置を表した概念図である。 図2は、実施形態のテレビジョン放送表示装置のハードウェア構成例を示すブロック図である。 図3は、実施形態のテレビジョン放送表示装置の制御部における、制御プログラム群の実行で実現された構成例を示したブロック図である。 図4は、実施形態のテレビジョン放送表示装置の検出部により画像データから検出された顔の部位と、手と、の位置関係を例示した図である。 図5は、実施形態のテレビジョン放送表示装置の検出部により画像データから検出された顔の部位と、手と、の位置関係を例示した図である。 図6は、実施形態のテレビジョン放送表示装置の拡大制御データベースの構成例を示した図である。 図7は、実施形態にかかるテレビジョン放送表示装置における、画像データの拡大表示の際の処理の手順を示すフローチャートである。 図8は、実施形態にかかるテレビジョン放送表示装置における、画像データを拡大するか否かの判定の際の処理の手順を示すフローチャートである。
後述する実施形態は、本発明の電子機器を適用したテレビジョン放送表示装置の例について説明する。しかしながら、後述する実施形態は、電子機器をテレビジョン放送表示装置に制限するものではなく、撮像部で撮像した画像データを表示部に表示する電子機器であれば適用可能とする。
図1は、本実施形態のテレビジョン放送表示装置を表した概念図である。図1に示されるように、テレビジョン放送表示装置100は、カメラ101を備え、当該カメラ101で撮像した画像データを映像表示パネル102に表示する。テレビジョン放送表示装置100は、撮像した画像データから人の顔や手を検出し、人が顔等に対して作業を行う際、当該顔の拡大表示を行う。
例えば、テレビジョン放送表示装置100は、ユーザが、目にコンタクトを入れようとしている場合には、目を含んだ範囲を拡大表示したり、眉等にメークする場合には、眉等を含んだ領域を拡大表示したりする。テレビジョン放送表示装置100の(図示しない)リモートコントローラ等で画像データの拡大・縮小等の制御を行っても良いが、手にコンタクトレンズを持っていたり、化粧用品等を持っていると、他のものを持ったり、テレビジョン放送表示装置100の操作を行うことが難しい。このため、本実施形態では、顔と、手(や化粧用品の物体等)と、の間の位置関係に基づいて、テレビジョン放送表示装置100が拡大・縮小制御を行うこととした。
また、本実施形態のテレビジョン放送表示装置100は、映像表示パネル102のうち一部領域180を、カメラ101で撮影された画像データの表示に用いることとした。これにより、映像表示パネル102の他の領域で番組等を視聴しながら、作業を行うことができる。また、他の領域に表示するものは番組に制限するものではなく、カメラ101により撮影された画像データの全体を表示しても良い。なお、本実施形態は、当該表示態様を制限するものではなく、例えば、映像表示パネル102の全領域を画像データの表示に用いても良い。
図2は、実施形態のテレビジョン放送表示装置100のハードウェア構成例を示すブロック図である。テレビジョン放送表示装置100は、デジタル放送の放送波を受信し、受信した放送波から取り出した映像信号を用いて番組の映像を表示する映像表示装置である。
テレビジョン放送表示装置100は、アンテナ212、入力端子213、チューナ214及び復調器215を有している。アンテナ212は、デジタル放送の放送波を捕らえ、その放送波の放送信号を、入力端子213を介してチューナ214に供給する。
チューナ214は、入力されたデジタル放送の放送信号から所望のチャンネルの放送信号を選局する。そして、チューナ214から出力された放送信号は復調器215に供給される。復調器215は、放送信号に復調処理を施し、デジタル映像信号及び音声信号を復調して、後述するセレクタ216に供給する。
また、テレビジョン放送表示装置100は入力端子221、223、A/D変換部222、信号処理部224、スピーカ225及び映像表示パネル102を有している。
入力端子221は外部からアナログの映像信号及び音声信号が入力され、入力端子223は外部からデジタルの映像信号及び音声信号が入力される。A/D変換部222は入力端子221から供給されるアナログの映像信号及び音声信号をデジタル信号に変換し、セレクタ216に供給する。
セレクタ216は、復調器215、A/D変換部222及び入力端子223から供給されるデジタルの映像信号及び音声信号から1つを選択して、信号処理部224に供給する。
信号処理部224は、入力される映像信号について、所定の信号処理やスケーリング処理等を施し、処理後の映像信号を映像表示パネル102に供給する。また、信号処理部224は、入力されたデジタル音声信号に所定の信号処理を施し、アナログ音声信号に変換してスピーカ225に出力する。また、テレビジョン放送表示装置100は、少なくともTSデマルチプレクサ及びMPEGデコーダを有し、MPEGデコーダによってデコードされた後の信号が信号処理部224に入力される。
さらに、信号処理部224は、映像表示パネル102に表示させるためのOSD(On Screen Display)信号も生成している。
スピーカ225は、信号処理部224から供給される音声信号を入力し、その音声信号を用いて音声を出力する。
そして、映像表示パネル102は、液晶ディスプレイやプラズマディスプレイ等のフラットパネルディスプレイから構成される。映像表示パネル102は、信号処理部224から供給される映像信号を用いて映像を表示する。
さらに、テレビジョン放送表示装置100は制御部227、操作部228、受光部229、HDD(Hard Disk Drive)230、メモリ231、カメラ101、及びマイク233を有している。
制御部227は、テレビジョン放送表示装置100における種々の動作を統括的に制御する。制御部227は、CPU(Central Processing Unit)等を内蔵したマイクロプロセッサであり、操作部228からの操作情報を入力する一方、リモートコントローラ250から送信された操作情報を、受光部229を介して入力し、それらの操作情報にしたがい各部をそれぞれ制御する。本実施形態の受光部229は、リモートコントローラ250からの赤外線を受光する。
制御部227は、メモリ231を使用している。メモリ231は、主として、制御部227に内蔵されているCPUが実行する制御プログラムを格納したROM(Read Only Memory)と、CPUに作業エリアを提供するためのRAM(Random Access Memory)と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。
HDD230は、セレクタ216で選択されたデジタルの映像信号及び音声信号を記録する記録手段としての機能を有している。テレビジョン放送表示装置100はHDD230を有するため、セレクタ216で選択されたデジタルの映像信号及び音声信号をHDD230により記録することができる。さらに、テレビジョン放送表示装置100は、HDD230に記録されたデジタルの映像信号及び音声信号を用いて映像及び音声を再生することもできる。
カメラ101は、テレビジョン放送表示装置100の正面を撮像する撮像部として機能する。マイク233は、ユーザが発した音声信号を収集する。
図3は、制御部227における、制御プログラム群の実行で実現された構成例を示したブロック図である。図3に示されるように、制御部227は、入力部301と、検出部302と、判定部303と、位置設定部304と、表示倍率設定部305と、表示制御部306と、を実現する。さらに、制御部227の各構成は、HDD230に格納されている部位辞書データベース311と、拡大制御データベース312と、を参照可能とする。
部位辞書データベース311は、顔や手を検出するための辞書として参照可能なデータベースとする。本実施形態の部位辞書データベース311は、顔に含まれている各部位(目、眉、鼻、口など)の特徴情報が予め登録されている。さらには、部位辞書データベース311は、カメラ101で撮像される、手の形状を予め登録しておく。登録されている手の形状と比較することで、手の検出を行うことができる。なお、本実施形態は、顔や手の検出手法を制限するものではなく、周知の手法を含めて他の手法を用いて検出を行っても良い。
入力部301は、カメラ101により撮像された画像データを入力する。さらに、入力部301は、必要に応じて、マイク233から音声信号の入力等を行っても良い。
検出部302は、顔検出部321と、手検出部322と、を備え、画像データに対して、撮像された手、顔、物体等を検出する。
顔検出部321は、入力部301が入力した画像データに写っている人の顔を検出する。人の顔の検出手法としては、周知の手法を含めて様々な手法を用いても良い。本実施形態では、顔の各部位の特徴情報が予め部位辞書データベース311に登録されているので、顔検出部321は、画像データに写っている映像と登録されている特徴情報との類似度に基づいて顔を検出する。さらに、本実施形態の顔検出部321は、顔の各部位(眉、目、鼻、及び口等)も検出する。
手検出部322は、部位辞書データベース311に登録されている手の形状パターンと比較して、入力部301が入力した画像データに写っている人の手を検出する。さらに手検出部322は、検出された手に隣接している物体(例えば突起物)等を検出する。手に隣接している物体(突起物)としては、アイブロウペンシルなどが考えられる。
判定部303は、顔検出部321により検出された人の顔と、手検出部322により検出された手と、の位置関係に基づいて、画像データを拡大するか否かを判定する。本実施形態では、人の顔の各部位毎に予め閾値が設定されている。そして、判定部303は、人の顔の各部位と、手又は手に持った物体との距離が、予め設定されている閾値より短くなった場合に、画像データを拡大すると判定する。なお、閾値は、実施の態様に応じて設定されるため、説明を省略する。
図4は、検出部302により画像データから検出された顔の部位と、手と、の位置関係を例示した図である。図4の“○”で示されている箇所411〜421が、部位辞書データベース311に登録されている特徴情報と類似度が高いと判別された箇所とする。これにより、顔検出部321は、顔を検出できる。そして、顔検出部321は、特徴情報と類似度が高いと判別された箇所411〜421から、各顔の部位を特定できる。さらに、手検出部322は、手402と、手402に隣接している突起物(化粧用品と考えられる)401と、を検出する。図4に示す例では、判定部303は、顔の各部位と、手の指の先端又は手に隣接している(手が持っている)突起物401の先端と、の間の距離が閾値以上のために拡大しないと判定する。
図5は、検出部302により画像データから検出された顔の部位と、手と、の位置関係を例示した図である。図5に示される例では、顔の眉(例えば箇所414)と、手502に隣接している突起物501の先端と、の間の距離が閾値より短くなっているために、判定部303は、拡大すると判定する。これにより、表示制御部306は、領域521を拡大表示する。
また、複数の部位と、手(又は手に隣接している物体の先端)と、の間の距離が短くなることで、複数の部位のうち、どの部位にフォーカスした上で拡大すれば良いのかわからなくなる場合も考えられる。そこで、本実施形態では、手の状態に基づいて、どの部位をフォーカスの対象とするのか判定することとした。本実施形態の判定部303は、手の状態を特定した際に、拡大制御データベース312を参照し、手の状態と対応付けられた部位を、フォーカスの対象と設定する。
図6は、拡大制御データベース312の構成例を示した図である。図6に示されるように、拡大制御データベース312は、部位と、手の状況と、フォーカス位置と、拡大率と、を対応付けて登録されている。図6に示されるように、顔の部位毎に手の状況が登録されている。そして、判定部303は、顔の部位毎に登録されている手の状況が、検出部302により検出されている手の状況と一致した場合に、当該手の状況と対応付けてある顔の部位を拡大すると判定する。なお、眉と対応付けられている「手に突起物」とは、手にアイブロウペンシルなどを持っている状態とみなす。同様に顔と対応付けられている「手に道具」とは、手にひげそり等を持っている状態、髪の毛と対応付けられている「手に道具」とは、手に毛抜き等を持っている状態とみなす。
位置設定部304は、判定部303により拡大すると判定された場合に、入力部301に入力された画像データのうち、拡大する際の基準となるフォーカス位置を設定する。本実施形態では、拡大制御データベース312において、拡大の対象となる部位と対応付けてあるフォーカス位置を、拡大する画像データにおけるフォーカスの中心位置として設定する。
表示倍率設定部305は、判定部303により拡大すると判定された場合に、入力部301に入力された画像データに対する表示倍率を設定する。本実施形態では、拡大制御データベース312において、拡大の対象となる部位と対応付けてある表示倍率を、拡大する画像データにおける表示倍率として設定する。なお、本実施形態は、拡大制御データベース312に設定されている表示倍率で拡大する例について説明したが、拡大する手法として他の手法を用いても良い。例えば、表示倍率設定部305は、画像データに含まれている顔等のサイズに基づいて、各部位を表示するために適切な表示倍率を算出し、当該表示倍率を設定しても良い。
表示制御部306は、入力部301により入力された画像データを、通常の表示倍率で映像表示パネル102に表示する。本実施形態の表示制御部306は、判定部303により拡大すると判定された場合に、位置設定部304により設定されたフォーカスの中心位置、及び表示倍率設定部305により設定された(通常の表示倍率より拡大率が高い)表示倍率で、画像データの拡大表示を行う。
このように、表示制御部306は、映像表示パネル102に対して、入力部301が入力した画像データを、通常の表示倍率で表示する。そして、表示されている画像データに人の手と顔の部位との画像が含まれている場合に、通常の表示倍率より拡大率が高い拡大表示用の表示倍率で表示する。
上述したように、本実施形態では表示を切り替える際に、手等と顔の部位との距離を考慮する。つまり、表示制御部306は、手と顔の部位との間の距離が拡大判定用に予め定められた閾値より大きい場合に、手と顔の部位とを含む画像データを、通常の表示倍率で表示し、拡大判定用に予め定められた閾値以下の場合に、拡大表示用の表示倍率で、手と顔の部位とを含んだ拡大画像データを表示する。
また、顔の部位毎に、拡大判定用の閾値を異ならせても良い。例えば、HDD230が顔の部位毎に、拡大判定用の閾値を備え、判定部303が、HDD230を参照して、顔の部位毎に異なる拡大判定用の閾値を用いて、当該部位を含んだ画像を拡大するか否かを判定する。これにより、表示制御部306は、手と顔の目との間の距離が、目のために定められた閾値より小さい場合に、手と目とを含む画像を、目と対応付けられた表示倍率で表示する。そして、表示制御部306は、手(又は突起物)と、顔の眉との間の距離が、眉のために定められた閾値より小さい場合に、手(又は突起物)と、顔の眉とを含む画像を、(目に対応付けられた表示倍率とは異なる)眉と対応付けられた表示倍率で表示する。
次に、本実施形態にかかるテレビジョン放送表示装置100における、画像データの拡大表示の際の処理について説明する。図7は、本実施形態にかかるテレビジョン放送表示装置100における上述した処理の手順を示すフローチャートである。
まず、入力部301がカメラ101からの画像データを入力する(ステップS701)。次に、表示制御部306が、入力した画像データを、通常の表示倍率で映像表示パネル102に表示する(ステップS702)。
次に、検出部302の手検出部322が、入力部301により入力された画像データから手を検出する(ステップS703)。検出部302の顔検出部321が、入力部301により入力された画像データから顔を検出する(ステップS704)。
そして、顔検出部321は、ステップS704により実際に画像データから顔が検出されたか否かを判定する(ステップS705)。顔が検出されなかったと判定された場合(ステップS705:No)、ステップS707に遷移する。
一方、顔検出部321が、顔を検出した場合(ステップS705:Yes)、画像データから顔の部位(顔のパーツ、例えば、目、眉、口、鼻)を検出する(ステップS706)。
その後、判定部303が、手及び顔の部位を検出したか否かを判定する(ステップS707)。検出していない場合(ステップS707:No)は、拡大表示を行わずに、通常の表示を継続して処理を終了する。
一方、判定部303が、手及び顔の部位を検出した場合(ステップS707:Yes)、画像データを拡大するか否かを判定し、判定結果を拡大制御フラグに設定する(ステップS708)。なお、詳細な処理については後述する。
その後、表示制御部306が、拡大制御フラグに基づいて、拡大制御が必要か否かを判定する(ステップS709)。拡大制御が必要ないと判定した場合(ステップS709:No)、拡大表示を行わずに、通常の表示を継続して処理を終了する。
一方、表示制御部306が、拡大制御が必要と判定した場合(ステップS709:Yes)、通常の表示倍率より拡大率を高い拡大表示用の表示倍率で、画像データを拡大表示する(ステップS710)。
なお、上述したフローチャートでは、手を検出してから、顔を検出する例について説明したが、検出する順序を制限するものではなく、顔を検出してから手を検出しても良いし、手と顔との検出を並行して行っても良い。上述した処理手順により、顔の部位と、手とを含んだ領域が拡大表示される。
次に、ステップS708における拡大するか否かの判定手法について具体的に説明する。本実施形態にかかるテレビジョン放送表示装置100における、画像データを拡大するか否かの判定の際の処理について説明する。図8は、本実施形態にかかるテレビジョン放送表示装置100における上述した処理の手順を示すフローチャートである。
まず、手検出部322は、さらに突起物が手に(当該手が持っていると見える程度に)隣接しているか否かを判定する(ステップS801)。隣接していると判定した場合(801:Yes)、手検出部322は、突起物の先端を検出する(ステップS802)。一方、突起物が手に隣接していないと判定した場合(ステップS801:No)、指の先端を検出する(ステップS803)。なお、本実施形態では、手に隣接している突起物とは、手でアイブロウペンシルや口紅などの化粧用品を持っているものとみなしている。
次に、手検出部322は、具体的な手の状態を検出する(ステップS804)。そして、判定部303は、拡大制御データベース312を参照して、検出された手の状態と対応付けられた顔の各部位を特定する(ステップS805)。その後、判定部303は、特定された顔の各部位と、検出された(手又は突起物の)先端との間の距離を算出する(ステップS806)。
そして、判定部303は、検出された(手又は突起物の)先端に最も距離が短い顔の部位を特定する(ステップS807)。その後、判定部303は、特定された顔の部位と先端との間の距離が、当該部位に設定された閾値以下か否かを判定する(ステップS808)。閾値より大きいと判定された場合(ステップS808:No)、拡大設定フラグを“(拡大)不要”と設定して(ステップS809)、処理を終了する。
一方、判定部303が、特定された顔の部位と先端との間の距離が、当該部位に設定された閾値以下と判定した場合(ステップS808:Yes)、判定部303は、拡大設定フラグを“要”と設定する(ステップS810)。
そして、位置設定部304が、拡大制御データベース312で、当該部位と対応付けられたフォーカス位置を、これから画像データを表示するための中心位置として設定する(ステップS811)。例えば、当該部位が目の場合、画像データに写っている目を、拡大する際の中心位置として設定される。
次に、表示倍率設定部305が、拡大制御データベースで、当該部位と対応付けられた(通常の表示倍率より高い)表示倍率を、これから画像データを表示するための表示倍率として設定する(ステップS812)。
上述した処理手順により、顔の部位と、手との間の位置関係、さらには手の状態に応じた画像データの拡大制御を実現できる。
(変形例1)
上述した実施形態においては、顔の部位と、手との間の位置関係、及び手の状況に応じて、画像データを拡大制御する例について説明した。しかしながら、自動で拡大制御を行うことに制限するものではなく、音声信号に基づいて拡大制御を切り替えても良い。そこで、変形例では、さらに音声信号に基づいて制御を行う例について説明する。
入力部301は、マイク233からの音声信号を入力する。そして、判定部303は、上述した実施形態で示した条件を満たすとともに、入力部301が入力した音声信号が所定の音声パターンであった場合に、画像データを拡大すると判定する。所定のパターンの例としては、音声認識で「拡大」とユーザが発したと判断される場合が考えられる。
また、拡大制御の他に様々な制御を、音声で行っても良い。元の表示倍率に戻すための音声パターン(例えば、「戻せ」)や、現在の表示倍率を継続するための音声パターン(例えば、「そのまま」)などを予め登録しておき、入力部301が、入力した音声信号が、登録されている音声パターンである場合に、表示制御部306が、検出された音声信号に従って、様々な画像データの拡大・縮小制御を実現できる。
さらには、音声をコマンドとして、他の制御を行っても良い。例えば、表示制御部306で拡大制御が行われた後、入力部301が「もっと大きく」等の音声パターンがあった倍に、表示制御部306が、画像データに対して、さらなる拡大制御を行う。また、入力部301が「戻して」等の音声パターンがあった場合に、表示制御部306が、画像データに対して、1つ前の表示倍率で表示するよう制御する。
(変形例2)
また、上述した実施形態及び変形例は、顔に対してメーク等を行うために、顔の部位と手とを含んだ範囲を拡大する例について説明した。しかしながら、拡大の対象を顔の部位に制限するものではない。例えば、物品に貼り付けられたラベルの文字等が小さいため、老人等では見にくい場合がある。そこで、変形例では、カメラ101に物品が写った場合に、当該物品の表示を拡大する例について説明する。
検出部302は、入力部301により入力された画像データから、顔を検出できずに、手と物品とを検出する。
そして、判定部303が、検出部302により顔が検出されず、手と物品とを検出した際、物品の画像と、当該手との距離が、物品の拡大用に定められた閾値より小さい場合に、物品を含む画像を拡大すると判定する。その際に、位置設定部304は、物品が示された位置をフォーカスの中心として設定する。また、表示倍率設定部305は、当該物品の拡大用に定められた表示倍率を設定する。
これにより、表示制御部306は、画像データに物体と人の手とが表示され、且つ物体と手とが隣接している(物品と、当該手との距離が、物品の拡大用に定められた閾値より小さい)時に、通常の表示倍率より拡大率が高い、物品の拡大用に定められた表示倍率で、物体を含んだ画像データに切り替えて表示する。
従来、鏡を見ながら、コンタクトをいれたり、メークをする際、両手がふさがっていることが多いため、顔の近くに鏡を持って来る等の作業が煩雑であった。さらに、鏡を見ながら細かい手作業をする際、等倍では見えにくいという問題があった。
そこで、上述した実施形態、及び変形例においては、手作業をする際に、必要に応じて注目される領域にフォーカスし、拡大・縮小を行なうこととした。これにおり、手がふさがっている際でも、ユーザの意図に合わせて適宜フォーカス、拡大、縮小等の制御が実現される。
したがって、上述した実施形態のテレビジョン放送表示装置100においては、作業負担を軽減するとともに、拡大された画面を視認することで、作業ミス等を軽減できる。
本実施形態では、電子機器をテレビジョン放送表示装置に適用した例について説明したが、テレビジョン放送表示装置に制限するものではなく、例えば、スマートフォンやタブレット端末等に適用しても良い。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100…テレビジョン放送表示装置、101…カメラ、102…映像表示パネル、212…アンテナ、213…入力端子、214…チューナ、215…復調器、216…セレクタ、221…入力端子、222…A/D変換部、223…入力端子、224…信号処理部、225…スピーカ、227…制御部、228…操作部、229…受光部、231…メモリ、233…マイク、250…リモートコントローラ、301…入力部、302…検出部、303…判定部、304…位置設定部、305…表示倍率設定部、306…表示制御部、311…部位辞書データベース、312…拡大制御データベース、321…顔検出部、322…手検出部。

Claims (15)

  1. 撮像部により撮像された画像のデータを入力する入力部と、
    前記入力部より入力された画像を第1の表示倍率で表示すると共に、第1の画像に人の手と顔の部位との画像が含まれる場合に、前記第1の画像を、前記第1の表示倍率より拡大率が高い第2の表示倍率で表示する表示制御部と、
    を備える電子機器。
  2. 前記表示制御部は、前記手と前記顔の部位との間の距離が第1の閾値より大きい場合に前記手と前記顔の部位とを含む画像を前記第1の表示倍率で表示し、
    前記手と前記顔の部位との間の距離が前記第1の閾値以下の場合に前記第2の表示倍率で、前記手と前記顔の部位とを含む画像を表示する、
    請求項1に記載の電子機器。
  3. 前記表示制御部は、前記手と前記顔の第1部位との間の距離が第2の閾値より小さい場合に、前記手と前記顔の第1部位とを含む画像を第3の表示倍率で表示し、
    前記手と前記顔の第2部位との間の距離が第3の閾値より小さい場合に、前記手と前記顔の第2部位とを含む画像を前記第3の表示倍率とは異なる第4の表示倍率で表示する、
    請求項1又は2に記載の電子機器。
  4. 前記表示部は、さらに、物体の画像と人の手との間の距離が第4閾値より小さい場合に、前記第1の表示倍率より拡大率が高い第5の表示倍率で、前記物体を含む画像を表示する、
    請求項1乃至3のいずれか1つに記載の電子機器。
  5. 音声信号を検出する音声検出部を、さらに備え、
    前記表示部は、さらに、前記第1の画像に人の手と顔の部位とが表示されている際に、前記音声検出部が第1の音声信号を検出した場合に、前記第2の表示倍率で、前記手と前記顔の部位とを含んだ前記第2の画像に切り替えて表示する、
    請求項1乃至4のいずれか1つに記載の電子機器。
  6. 撮像部により撮像された画像のデータを入力し、
    入力された画像を第1の表示倍率で表示すると共に、第1の画像に人の手と顔の部位との画像が含まれている場合に、前記第1の画像を、前記第1の表示倍率より拡大率が高い第2の表示倍率で表示する、
    方法。
  7. 前記手と前記顔の部位との間の距離が第1の閾値より大きい場合に前記手と前記顔の部位とを含む画像を前記第1の表示倍率で表示し、
    前記手と前記顔の部位との間の距離が前記第1の閾値以下の場合に前記第2の表示倍率で、前記手と前記顔の部位とを含む画像を表示する、
    請求項6に記載の方法。
  8. 前記手と前記顔の第1の部位との間の距離が第2の閾値より小さい場合に、前記手と前記顔の第1部位とを含む画像を第3の表示倍率で表示し、
    前記手と前記顔の第2の部位との間の距離が第3の閾値より小さい場合に、前記手と前記顔の第2部位とを含む画像を前記第3の表示倍率とは異なる第4の表示倍率で表示する、
    請求項6又は7に記載の方法。
  9. 物体の画像と人の手との間の距離が第4の閾値より小さい場合に、第1の表示倍率より拡大率が高い第5の表示倍率で、前記物体を含む画像を表示する、
    請求項6乃至8のいずれか1つに記載の方法。
  10. 音声信号を検出し、
    前記第1の画像に人の手と顔の部位とが表示されている際に、第1の音声信号を検出した場合に、前記第2の表示倍率で、前記手と前記顔の部位とを含んだ前記第2の画像に切り替えて表示する、
    請求項6乃至9のいずれか1つに記載の方法。
  11. 撮像部により撮像された画像のデータを入力する入力ステップと、
    前記入力ステップにより入力された画像を第1の表示倍率で表示すると共に、前記第1の画像に人の手と顔の部位との画像が含まれている場合に、前記第1の画像を、前記第1の表示倍率より拡大率が高い第2の表示倍率で表示する表示ステップと、
    を実行させるためのプログラム。
  12. 前記表示ステップは、前記手と前記顔の部位との間の距離が第1の閾値より大きい場合に前記手と前記顔の部位とを含む画像を前記第1の表示倍率で表示し、
    前記手と前記顔の部位との間の距離が前記第1の閾値以下の場合に前記第2の表示倍率で、前記手と前記顔の部位とを含む画像を表示する、
    請求項11に記載のプログラム。
  13. 前記表示ステップは、前記手と前記顔の第1の部位との間の距離が第2の閾値より小さい場合に、前記手と前記顔の第1部位とを含む画像を第3の表示倍率で表示し、
    前記手と前記顔の第2の部位との間の距離が第3の閾値より小さい場合に、前記手と前記顔の第2部位とを含む画像を前記第3の表示倍率とは異なる第4の表示倍率で表示する、
    請求項11又は12に記載のプログラム。
  14. 前記表示ステップは、さらに、物体の画像と人の手との間の距離が第4閾値より小さい場合に、前記第1の表示倍率より拡大率が高い第5の表示倍率で、前記物体を含む画像を表示する、
    請求項11乃至13のいずれか1つに記載のプログラム。
  15. 音声信号を検出する音声検出ステップを、さらに備え、
    前記表示ステップは、さらに、前記第1の画像に人の手と顔の部位とが表示されている際に、前記音声検出ステップが第1の音声信号を検出した場合に、前記第2の表示倍率で、前記手と前記顔の部位とを含んだ前記第2の画像に切り替えて表示する、
    請求項11乃至14のいずれか1つに記載のプログラム。
JP2013232376A 2013-11-08 2013-11-08 電子機器、方法、及びプログラム Pending JP2015095682A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013232376A JP2015095682A (ja) 2013-11-08 2013-11-08 電子機器、方法、及びプログラム
US14/333,903 US20150130846A1 (en) 2013-11-08 2014-07-17 Electronic device, method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013232376A JP2015095682A (ja) 2013-11-08 2013-11-08 電子機器、方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2015095682A true JP2015095682A (ja) 2015-05-18

Family

ID=51392049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013232376A Pending JP2015095682A (ja) 2013-11-08 2013-11-08 電子機器、方法、及びプログラム

Country Status (2)

Country Link
US (1) US20150130846A1 (ja)
JP (1) JP2015095682A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021181442A1 (ja) * 2020-03-09 2021-09-16 小池 聡 スマートフォン撮影システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
CN109963200A (zh) * 2017-12-25 2019-07-02 上海全土豆文化传播有限公司 视频播放方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008277983A (ja) * 2007-04-26 2008-11-13 Funai Electric Co Ltd テレビジョン受像機
CN102656543A (zh) * 2009-09-22 2012-09-05 泊布欧斯技术有限公司 计算机装置的远程控制
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US20140071044A1 (en) * 2012-09-10 2014-03-13 Electronics And Telecommunications Research Institute Device and method for user interfacing, and terminal using the same
WO2014156146A1 (ja) * 2013-03-29 2014-10-02 パナソニック株式会社 電子ミラー装置
US20150201124A1 (en) * 2014-01-15 2015-07-16 Samsung Electronics Co., Ltd. Camera system and method for remotely controlling compositions of self-portrait pictures using hand gestures

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021181442A1 (ja) * 2020-03-09 2021-09-16 小池 聡 スマートフォン撮影システム

Also Published As

Publication number Publication date
US20150130846A1 (en) 2015-05-14

Similar Documents

Publication Publication Date Title
US11119577B2 (en) Method of controlling an operation of a camera apparatus and a camera apparatus
US10083710B2 (en) Voice control system, voice control method, and computer readable medium
JP6886117B2 (ja) 1つの表示装置に表示された画像の画質の制御方法
JP6011165B2 (ja) ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
JP5641970B2 (ja) 操作装置、再生装置及びテレビ受信装置
US10666853B2 (en) Virtual makeup device, and virtual makeup method
JP6341755B2 (ja) 情報処理装置、方法及びプログラム並びに記録媒体
EP2925005A1 (en) Display apparatus and user interaction method thereof
JP5228074B2 (ja) 情報処理装置、表示制御方法
US20170094132A1 (en) Image capture apparatus, determination method, and storage medium determining status of major object based on information of optical aberration
KR102354458B1 (ko) 디스플레이 장치 및 그의 제어방법
US20090251557A1 (en) Image pickup control method and apparatus for camera
JP2013223244A (ja) カメラ装置及びその制御方法
JP2013153376A (ja) 画像処理装置、画像処理方法および記録媒体
EP3381180B1 (en) Photographing device and method of controlling the same
JP2008033718A (ja) 撮像装置及び部位拡大表示方法
JP2015095682A (ja) 電子機器、方法、及びプログラム
US9402029B2 (en) Image processing apparatus capable of specifying positions on screen
US7283106B2 (en) Time-lapsing mirror
JP2015026102A (ja) 電子機器
CN110246206B (zh) 辅助画眉的方法、装置及系统
KR102019174B1 (ko) 관심영역의 이동 및 영상 확대가 가능한 영상 처리 시스템 및 방법
JP2012174057A (ja) 表示装置、テレビジョン受像装置、特定方法、コンピュータプログラム及び記録媒体
WO2016017250A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20080130148A1 (en) Time-lapsing mirror

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102