JP2016161830A - コンテンツ出力装置、コンテンツ出力方法及びプログラム - Google Patents

コンテンツ出力装置、コンテンツ出力方法及びプログラム Download PDF

Info

Publication number
JP2016161830A
JP2016161830A JP2015041600A JP2015041600A JP2016161830A JP 2016161830 A JP2016161830 A JP 2016161830A JP 2015041600 A JP2015041600 A JP 2015041600A JP 2015041600 A JP2015041600 A JP 2015041600A JP 2016161830 A JP2016161830 A JP 2016161830A
Authority
JP
Japan
Prior art keywords
content
age
user
speed
content output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015041600A
Other languages
English (en)
Inventor
隆司 川下
Takashi Kawashita
隆司 川下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2015041600A priority Critical patent/JP2016161830A/ja
Priority to US14/967,909 priority patent/US9754156B2/en
Priority to CN201510994434.2A priority patent/CN105938390B/zh
Publication of JP2016161830A publication Critical patent/JP2016161830A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0269Targeted advertisements based on user profile or attribute
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00Combined visual and audible advertising or displaying, e.g. for public address
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00Combined visual and audible advertising or displaying, e.g. for public address
    • G09F2027/001Comprising a presence or proximity detector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】視聴者であるユーザにとってストレスにならないコンテンツを出力する。
【解決手段】コンテンツ出力装置10の顔検出部111は、ユーザを検出する。特徴量抽出部112は、顔検出部111が検出したユーザの特徴を抽出する。年齢推定部113は、特徴量抽出部112が抽出した特徴に基づいて、ユーザの年齢を推定する。コンテンツ制御部114は、年齢推定部113が推定した年齢に応じて、コンテンツの再生速度を制御する。
【選択図】図2

Description

本発明は、コンテンツ出力装置、コンテンツ出力方法及びプログラムに関する。
従来から、ディスプレイやスクリーンなどにコンテンツ(文字、動画、静止画など)を表示して広告を行うことが広く行われている。
例えば、特許文献1には、スクリーンを表示するコンテンツの形状にして、そのスクリーン上に同形のコンテンツを表示することで(例えば、人物と同形のスクリーン上にその人物のコンテンツを投影して)、ユーザへの印象を高める技術が開示されている。
特開2011−150221号公報
しかしながら、特許文献1では、視聴者であるユーザに対して一方的な広告配信しかできず、ユーザに対する見易さや聞き易さを考慮していなかった。このため、あるユーザにとっては、見辛さや聞き辛さが原因でストレスになることがあった。
このようなことから、コンテンツを見る人の特徴に合わせて、ストレスにならないようにコンテンツを出力するのが望ましい。
そこで、本発明は、上述のような事情に鑑みてなされたものであり、視聴者であるユーザにとってストレスにならないコンテンツを出力する場合に好適なコンテンツ出力装置等を提供することを目的とする。
上記目的を達成するため、本発明のコンテンツ出力装置は、
ユーザを検出する検出手段と、
前記検出手段が検出した前記ユーザの特徴を抽出する抽出手段と、
前記抽出手段が抽出した特徴に基づいて、表示手段に出力するコンテンツの再生速度を制御する制御手段と、
を備えたことを特徴とする。
本発明によれば、視聴者であるユーザにとってストレスにならないコンテンツを出力することができる。
実施形態に係るコンテンツ出力装置の外観を示す図である。 実施形態に係るコンテンツ出力装置の構成を示すブロック図である。 (a)は成人の場合のコンテンツの再生速度を示す図であり、(b)は高齢者及び子供の場合のコンテンツの再生速度を示す図である。 (a)はメニュー付き広告におけるメニュー項目の切替前を示す図であり、(b)はメニュー付き広告におけるメニュー項目切替後を示す図である。 コンテンツ出力制御処理のフローチャートの一例を示す図である。
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の実施形態に係るコンテンツ出力装置の外観を示す図である。
このコンテンツ出力装置10は、店頭や公共施設などに設置され、視聴者であるユーザに案内や広告などのコンテンツを出力するデジタル・サイネージ(いわゆる電子看板)である。コンテンツとしては、ユーザの案内に給される案内情報、あるいは訴求力のある広告情報であって、例えば、静止画、動画などである。本実施形態においては、適宜動画をとって説明する。
図1に示すように、コンテンツ出力装置10は、表示部12、カメラ13、HW(ハードウェア)キー14、スピーカ15を備える。
表示部12は、例えば、LCD(Liquid Crystal Display)、EL(Electroluminescence)ディスプレイなどによって構成され、コンテンツを出力する。
カメラ13は、レンズや絞りなどの光学素子とCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などのイメージセンサとから構成される撮像部である。このカメラ13は、コンテンツ出力装置10を視聴するユーザが画角に収まるように設置され、ユーザをリアルタイムに撮影する。
HWキー14は、表示部12を支持する支持台の前面に4つ設けられ、ユーザに操作される操作部である。ユーザは、このHWキーにより、例えば、コンテンツの切り替え、コンテンツの開始又は停止などをコンテンツ出力装置10に指示する。
スピーカ15は、音声を外部出力する音声出力部である。例えば、コンテンツが音声付き動画であれば、その動画の音声を可聴音として外部出力する。
次に、コンテンツ出力装置10の構成について図2を参照しながら説明する。
コンテンツ出力装置10は、図1で示したものを除き、制御部11、記憶部16を備える。
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)によって構成される。制御部11は、ROMに記憶されたプログラム(例えば、後述するコンテンツ出力制御処理に係るプログラム)を実行することにより、各部(顔検出部111、特徴量抽出部112、年齢推定部113、コンテンツ制御部114)の機能を実現する。
記憶部16は、HDD(Hard Disk Drive)などの不揮発性メモリである。この記憶部16は、表示部12に出力する様々なコンテンツを記憶する。また、この記憶部16は、後述する顔検出や年齢推定などで用いられる、予め学習しておいた顔のテンプレート画像や年齢毎の特徴量などを記憶する。
次に、制御部11の機能について説明する。
まず、顔検出部111は、ユーザを検出する。具体的には、顔検出部111は、ユーザの顔領域を検出する。より具体的には、カメラ13のライブ画像に写るユーザの顔領域を検出する。この顔領域の検出の手法は任意だが、例えば、ライブ画像内のユーザの各画素の明度、彩度、色相に基づいて肌色の画素を特定する。そして、特定した肌色の画素の領域と、予め学習しておいた顔のテンプレート画像と、を照合して顔領域を特定して検出する。あるいは、ライブ画像内のユーザの口や目といった顔の構成要素に相当する形状を抽出して、その構成要素の位置を基準として、顔領域を検出する。
次に、特徴量抽出部112は、顔検出部111が検出したユーザの特徴を抽出する。具体的には、特徴量抽出部112は、顔検出部111が検出した顔領域から、ユーザの顔の特徴を示す特徴量を抽出する。この特徴量は、顔から年齢を推定するための指標となる量である。特徴量としては、一般的に加齢に伴って変化する皺や目袋の特徴量を用いる。
具体的には、特徴量抽出部112は、ガボール(Gabor)フィルタやLBP(Local Binary Pattern)ヒストグラム等の手法を用いて顔領域中に含まれる局所的なエッジを検出することにより、皺等の特徴量を生成する。ガボールフィルタは、画像中にどの向きの線やエッジが含まれているかを抽出するためのフィルタである。LBPは、中心画素値とその周辺画素値との大小関係から0又は1のビットを作成してコード化する方式である。LPBヒストグラムを用いることで、画像中に含まれるエッジの形状情報等を検出することができる。
次に、年齢推定部113は、特徴量抽出部112が抽出した特徴(この実施形態では、特に、特徴量)に基づいて、ユーザの年齢を推定する。具体的には、年齢推定部113は、抽出した皺や目袋などの特徴量と、予め複数の顔画像から学習しておいた年齢毎に異なる特徴量と、を比較して年齢を推定する。例えば、年代毎(10代〜60代)で異なる特徴量のレンジを予めデータベース化しておき、抽出した特徴量がどのレンジ内にあるかを判断することにより年齢推定すればよい。
次に、コンテンツ制御部114は、特徴量に基づいて推定されたユーザの年齢に応じて、1)コンテンツの再生速度と、2)コンテンツを別コンテンツに切り替える切替速度と、を制御する。
1)について、コンテンツ制御部114は、コンテンツが動画の場合、推定した年齢に応じて、動画の再生速度と、その動画の音声の再生速度とを制御する。具体的には、コンテンツ制御部114は、推定した年齢が所定の年齢か否かに応じて上記制御を行う。具体的には、コンテンツ制御部114は、推定した年齢が11歳以上64歳以下の場合、動画と音声を通常速度(動画のオリジナルの再生速度)で再生する(図3(a)参照)。一方、コンテンツ制御部114は、推定した年齢が65歳以上又は10歳以下の場合(高齢者又は子供の場合)、動画と音声の再生速度を通常速度より遅くして再生する(図3(b)参照)。
2)について、コンテンツ制御部114は、コンテンツがメニュー付き広告の場合、推定した年齢に応じて、メニュー付き広告が含むメニュー項目の切替速度を制御する。具体的には、コンテンツ制御部114は、推定した年齢が所定の年齢か否かに応じて切替速度を制御する。
メニュー付き広告とは、図4(a)に示すように、メニュー画面121と、広告画面120と、を含むコンテンツである。メニュー画面121は、広告切替用のメニュー項目(メニュー1〜メニュー4)を含む。ユーザは、所望する広告を視聴するために、メニュー1〜4それぞれに対応するHWキー14を押下して広告画面120に写る広告を切り替える。コンテンツ制御部114は、メニュー画面121内に全メニュー項目が表示できない場合、定期的にメニュー項目を切り替える。この実施形態では、このメニュー1〜4は、図4(b)に示すように、メニュー5〜8に定期的に切り替わる。
ここで、コンテンツ制御部114は、推定した年齢が11歳以上64歳以下の場合、図4(a)のメニュー項目(メニュー1〜4)から図4(b)の別メニュー項目(メニュー5〜8)へ通常速度で切り替える。一方、コンテンツ制御部114は、推定した年齢が65歳以上又は10歳以下の場合(高齢者又は子供の場合)、図4(a)のメニュー項目(メニュー1〜4)から図4(b)の別メニュー項目(メニュー5〜8)に切り替える切替速度を通常速度より遅くする。
なお、2)のメニュー付き広告の広告が動画の場合(広告画面120に選択されたメニューの動画が再生される場合)、動画の再生速度は、上記1)の再生速度になる。つまり、広告画面120の動画は、上記1)に従って、推定年齢が11歳以上64歳以下であれば通常速度で、推定年齢が65歳以上又は10歳以下であれば通常速度より低速で、それぞれ再生される。
次に、コンテンツ出力制御処理について説明する。このコンテンツ出力制御処理は、コンテンツ出力装置10の電源がONされて、カメラ13がONされたことを契機に開始される。なお、コンテンツは音声付き動画(メニュー付き広告であれば広告は音声付き動画)であることを前提に説明する。コンテンツ出力装置10は、動画と音声をオリジナルの通常速度で再生しているものとする。また、理解を容易にするために、カメラ13が写すユーザ数は1人であることを前提に説明する。
まず、制御部11は、ユーザを検知したか否か判定する(ステップS11)。具体的には、制御部11は、カメラ13のライブ画像内にユーザがいるか否か判定する。この判定は任意だが、例えば、人検知のアルゴリズムによりユーザを検知することができる。具体的には、ライブ画像を構成する連写された各画像に写る物体間の距離からその物体が動体か否か判定し、かつ、その動体の色が肌色か否か判定することにより人か否か判定することができる。
なお、カメラ13によるユーザ検知は必須ではなく、人感センサによりコンテンツ出力装置10の周辺にユーザがいるか否か判定してもよい。
ここで、ユーザを検知しない場合(ステップS11;No)、コンテンツ制御部114は、動画と音声を通常速度で再生する(ステップS16)。動画がメニュー付き広告であれば、コンテンツ制御部114は、メニュー切替を通常速度で定期的に切り替えつつ、動画と音声を通常速度で再生する。そして、制御部11は、動画終了か否か判定し(ステップS17)、終了していない場合は(ステップS17;No)、ステップS11に戻る。一方、動画終了した場合は(ステップS17;Yes)、処理を終了する。
このように、制御部11は、ユーザを検知しない間は(ステップS11でNoの間は)、動画が終了するまで動画と音声を通常速度で再生し続ける。
ここで、ユーザを検知した場合(ステップS11;Yes)、顔検出部111は、ユーザの顔領域を検出する(ステップS12)。この顔領域の抽出は、上述した任意の手法により検出する。
次に、特徴量抽出部112は、顔領域の特徴量を抽出する。具体的には、特徴量抽出部112は、上述した任意の手法により、加齢に伴って一般的に変化する皺や目袋などの特徴量を抽出する。
次に、年齢推定部113は、ユーザの年齢推定を行う(ステップS14)。具体的には、年齢推定部113は、上述した任意の手法により、抽出した特徴量と、予め学習しておいた年齢毎に異なる特徴量と、を比較して年齢を推定する。
次に、コンテンツ制御部114は、推定した年齢が65歳以上又は10歳以下か否か(つまり、ユーザが高齢者又は子供か否か)判定する(ステップS15)。推定した年齢が65歳以上又は10歳以下でない場合(つまり、高齢者又は子供でない場合)(ステップS15;No)、コンテンツ制御部114は、動画と音声を通常速度で再生する(ステップS16)。
具体的には、図3(a)に示すように、コンテンツ制御部114は、動画と音声(こんにちは)をオリジナルの通常速度で再生する。動画がメニュー付き広告であれば、図4(a)に示すように、コンテンツ制御部114は、選択された動画につき通常速度で再生しつつ、メニュー項目(メニュー1〜4)の切り替えを通常速度(例えば、1秒)で別メニュー項目(メニュー5〜8)に切り替える。
一方、推定した年齢が65以上又は10歳以下の場合(ステップS15;Yes)、コンテンツがメニュー付き広告か否か判定する(ステップS18)。コンテンツがメニュー付き広告でない場合(ステップS18;No)、コンテンツ制御部114は、動画と音声を通常速度より低速で再生する(ステップS20)。
具体的には、図3(b)に示すように、コンテンツ制御部114は、通常速度より低速(例えば、2/3のスピード)で動画と音声(こ…ん…に…ち…は)を再生する。
一方、コンテンツがメニュー付き広告の場合(ステップS18;Yes)、コンテンツ制御部114は、メニュー切替を低速で切り替え(ステップS19)、選択されたメニューの動画とその動画の音声を通常速度より低速で再生する(ステップS20)。
具体的には、図4(a)に示すように、コンテンツ制御部114は、選択されたメニューの動画を低速で再生しつつ、メニュー項目(メニュー1〜4)の切り替えを通常速度より低速(例えば、2秒)で別メニュー項目(メニュー5〜8)に切り替える。
ステップS16又はステップS20の後、制御部11は、動画終了か否か判定して(ステップS17)、動画終了していなければ(ステップS17;No)、ステップS11以下の処理を繰り返し、動画終了していれば(ステップS17;Yes)、処理を終了する。このように、コンテンツ制御部114は、推定した年齢に応じて、動画と音声の再生速度(メニュー付き広告であれば動画の再生速度に加えて切替速度)を制御する。なお、コンテンツ出力制御処理は、動画が再生される都度、繰り返される。
以上、コンテンツ制御部114は、抽出したユーザの顔の特徴量に基づいて(この実施形態においては、特に、特徴量に基づいて推定された年齢に応じて)、表示部12に出力するコンテンツの再生速度を制御するようにしている。このため、ユーザの特徴(特に、年齢)に合わせて、コンテンツの再生速度を制御することができる。したがって、視聴者であるユーザにとってストレスにならないようにコンテンツを出力することができる。
また、コンテンツ制御部114は、推定した年齢が65歳以上又は10歳以下の場合、コンテンツをオリジナルの通常速度より低速で再生するようにしている(音声付き動画であれば、動画と音声の再生速度を低速再生するようにしている)。このため、オリジナルの通常速度では、動画が早くて見づらかったり音声が早くて聞き取りづらかったりする高齢者や子供にとって、見易く聞きやすい動画を再生することができる。
また、コンテンツ制御部114は、推定した年齢が65歳以上又は10歳以下の場合、コンテンツから別コンテンツに切り替える切替速度を通常速度より低速にするようにしている。具体的には、コンテンツがメニュー付き広告の場合、メニュー項目を別メニュー項目に切り替える切替速度を遅くする。このため、通常速度でメニュー項目が切り替わった場合に各メニュー項目(実際には、メニュー項目毎の広告のタイトルなど)を読むのに時間がかかる高齢者や子供が、それを読み終わらないうちに別メニュー項目に一瞬で切り替わるといった事態を避けることができる。
以上で実施形態の説明を終了するが、上記実施形態は一例であり、コンテンツ出力装置10の具体的な構成やコンテンツ出力制御処理の内容などが上記実施形態で説明したものに限られないことはもちろんである。
(変形例)
上述したコンテンツ出力制御処理においては、カメラ13が写すユーザ数は1人であることを前提に説明したが、実際には複数の場合もある。この場合、ステップS11でユーザを複数検知した場合は、ステップS12乃至14においてユーザ毎にそれぞれ顔領域、特徴量、年齢推定を行う。そして、ステップS15において、推定した年齢が65歳以上又は10歳以下のユーザが1人以上含まれる場合(カメラ13が1人でも高齢者又は子供を写す場合)は、ステップS18以下の処理に進んで動画を低速再生するとよい。一方、全ユーザが65歳以上又は10歳以下ではない場合は、ステップS16以下の処理に進んで動画を通常再生するとよい。
あるいは、ステップS15において、年齢が65歳以上又は10歳以下のユーザ数と、それ以外のユーザ数と、を比較して、低速再生するか否かの分岐を決定してもよい。例えば、高齢者又は子供の数が多ければ低速再生処理を行い、高齢者又は子供の数が少なければ通常再生処理を行ってもよい。これによれば、高齢者又は子供の数に応じて柔軟に再生処理を行うことができる。
また、上述した実施形態においては、切り替えの対象はメニュー画面121のメニュー項目であることを前提に説明したが、これに限られない。例えば、コンテンツを別コンテンツに切り替える場合(例えば、動画を別動画に切り替える場合)に、高齢者又は子供であれば切替速度を低速にするとよい。これにより、動画の内容を理解するのに時間がかかる高齢者や子供が内容を理解しないまま(例えば、広告文字などを読み終わらないうちに)一瞬で別動画に切り替わるといった事態を避けることができる。つまり、別コンテンツへの切替速度を遅くすることで(ゆっくりコンテンツをフェードアウトさせることで)、高齢者や子供は切替前のコンテンツの内容を理解することができる。
また、上述したコンテンツ出力制御処理では、コンテンツの再生速度と切替速度を制御するようにしたが、これに限られない。例えば、コンテンツに係る音声の音量や周波数を制御するようにしてもよい。具体的には、コンテンツ制御部114は、推定した年齢が65歳以上であれば、コンテンツに係る音声の音量を大きくし、かつ、音声の周波数成分のうち高周波成分を低周波成分に変更するようにする。
一般的に、加齢に伴って高齢者であれば、高周波領域における感度の低下が起こり、高い音が聞き取りづらくなる。このため、音声の高周波成分(高い音)を低周波成分(低い音)にシフトさせることにより、高齢者にとって聞き取りやすい音声を再生することができる。また、音量を大きくすることにより難聴の高齢者にとって聞き取りやすい音声を再生することができる。
また、上述した実施形態においては、ユーザの特徴として年齢を基準にコンテンツの再生速度を制御するようにしたが、これに限られない。例えば、別基準としてユーザの表情を用いてもよい。この場合、コンテンツ出力装置10は、抽出した特徴量に基づいて、ユーザの表情を推定する表情推定部を備えるようにする。そして、コンテンツ制御部114は、表情推定部が推定した表情に応じて、コンテンツの再生速度を制御する。
例えば、推定した表情が不快な表情であればコンテンツの理解に苦慮していることが推測できるので、コンテンツ制御部114は、コンテンツの再生速度を通常速度よりも遅くするとよい。この表情推定の手法は任意だが、例えば、各表情において特徴となる顔パーツの特徴量(例えば、不快な表情であれば眉をひそめた場合の特徴量など)を予め学習しておき、抽出した顔パーツの特徴量と比較することで表情を推定すればよい。これにより、年齢に代わる特徴としてユーザの表情に応じて、コンテンツの再生速度を制御できるので、ユーザにとってストレスにならないようにコンテンツを再生することができる。
また、年齢と表情に代わるユーザの特徴として、ユーザの人種を基準として用いてもよい。この場合、コンテンツ出力装置10は、抽出した特徴量に基づいて、ユーザの人種を推定する人種推定部を備えるようにする。そして、コンテンツ制御部114は、人種推定部が推定した人種に応じて、コンテンツの再生速度を制御する。具体的には、推定した人種が日本人以外であれば、コンテンツ制御部114は、コンテンツを通常速度より低速で再生するとよい。
この人種推定の手法は任意だが、例えば、色特徴量を用いることができる。具体的には、人種毎の色の違い(例えば、欧米人であれば瞳の色、アフリカ人であれば肌の色など)を色特徴量として予め算出しておく。この色特徴量は、例えば、各人種において顔領域の色相毎に彩度を求めて予めヒストグラム化しておき(黒人であれば黒の度合いが最も大きいヒストグラムとなる)、顔領域から算出した色特徴量と近いヒストグラムを選択して、人種推定することができる。これによれば、日本語の理解に苦慮する(例えば、動画中の日本語の文字や日本語音声などの理解に苦慮する)ことが推測される日本人以外の人種のユーザにとって、ストレスにならないようにコンテンツを再生することができる。
また、本実施形態では、ユーザの顔を認識してユーザの特徴を抽出したがこれに限らず、例えば、会員カードなどを読み取ることによって、ユーザ認識や特徴抽出を行ってもよい。
また、本発明に係るコンテンツ出力装置10は、専用の装置によらず、通常のコンピュータを用いて実現可能である。例えば、コンピュータがプログラムを実行することで、コンテンツ出力装置10を実現してもよい。コンテンツ出力装置10の機能を実現するためのプログラムは、USB(Universal Serial Bus)メモリ、CD−ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)、HDD等のコンピュータ読み取り可能な記録媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
(付記1)
ユーザを検出する検出手段と、
前記検出手段が検出した前記ユーザの特徴を抽出する抽出手段と、
前記抽出手段が抽出した特徴に基づいて、表示手段に出力するコンテンツの再生速度を制御する制御手段と、
を備えたことを特徴とするコンテンツ出力装置。
(付記2)
前記検出手段は、前記ユーザの顔領域を検出し、
前記抽出手段は、前記検出した顔領域から、前記ユーザの顔の特徴を抽出する、
ことを特徴とする付記1に記載のコンテンツ出力装置。
(付記3)
前記抽出手段が抽出した特徴に基づいて、前記ユーザの年齢を推定する年齢推定手段を備え、
前記制御手段は、前記年齢推定手段が推定した年齢に応じて、前記コンテンツの再生速度を制御する、
ことを特徴とする付記1又は2に記載のコンテンツ出力装置。
(付記4)
前記制御手段は、前記年齢推定手段が推定した年齢が所定の年齢以上又は所定の年齢以下の場合、前記コンテンツを所定速度より低速で再生する、
ことを特徴とする付記3に記載のコンテンツ出力装置。
(付記5)
前記制御手段は、前記年齢推定手段が推定した年齢が所定の年齢以上の場合、前記コンテンツに係る音声の音量と、該音声の周波数と、を制御する、
ことを特徴とする付記3又は4に記載のコンテンツ出力装置。
(付記6)
前記制御手段は、前記年齢推定手段が推定した年齢に応じて、前記コンテンツから別コンテンツに切り替える切替速度を制御する、
ことを特徴とする付記3乃至5の何れか一つに記載のコンテンツ出力装置。
(付記7)
前記制御手段は、前記年齢推定手段が推定した年齢が所定の年齢以上又は所定の年齢以下の場合、前記別コンテンツに切り替える切替速度を所定速度より低速にする、
ことを特徴とする付記6に記載のコンテンツ出力装置。
(付記8)
前記抽出手段が抽出した特徴に基づいて、前記ユーザの表情を推定する表情推定手段を備え、
前記制御手段は、前記表情推定手段が推定した表情に応じて、前記コンテンツの再生速度を制御する、
ことを特徴とする付記1に記載のコンテンツ出力装置。
(付記9)
前記抽出手段が抽出した特徴に基づいて、前記ユーザの人種を推定する人種推定手段を備え、
前記制御手段は、前記人種推定手段が推定した人種に応じて、前記コンテンツの再生速度を制御する、
ことを特徴とする付記1に記載のコンテンツ出力装置。
(付記10)
前記制御手段は、前記人種推定手段が日本人以外の人種を推定した場合、前記コンテンツを所定速度より低速で再生する、
ことを特徴とする付記9に記載のコンテンツ出力装置。
(付記11)
ユーザを検出する検出ステップと、
前記検出ステップにおいて検出した前記ユーザの特徴を抽出する抽出ステップと、
前記抽出ステップにおいて抽出した特徴に基づいて、表示手段に出力するコンテンツの再生速度を制御する制御ステップと、
を備えたことを特徴とするコンテンツ出力方法。
(付記12)
コンピュータを、
ユーザを検出する検出手段、
前記検出手段が検出した前記ユーザの特徴を抽出する抽出手段、
前記抽出手段が抽出した特徴に基づいて、表示手段に出力するコンテンツの再生速度を制御する制御手段、
として機能させるためのプログラム。
10…コンテンツ出力装置、11…制御部、12…表示部、13…カメラ、14…HWキー、15…スピーカ、16…記憶部、111…顔検出部、112…特徴量抽出部、113…年齢推定部、114…コンテンツ制御部、120…広告画面、121…メニュー画面

Claims (12)

  1. ユーザを検出する検出手段と、
    前記検出手段が検出した前記ユーザの特徴を抽出する抽出手段と、
    前記抽出手段が抽出した特徴に基づいて、表示手段に出力するコンテンツの再生速度を制御する制御手段と、
    を備えたことを特徴とするコンテンツ出力装置。
  2. 前記検出手段は、前記ユーザの顔領域を検出し、
    前記抽出手段は、前記検出した顔領域から、前記ユーザの顔の特徴を抽出する、
    ことを特徴とする請求項1に記載のコンテンツ出力装置。
  3. 前記抽出手段が抽出した特徴に基づいて、前記ユーザの年齢を推定する年齢推定手段を備え、
    前記制御手段は、前記年齢推定手段が推定した年齢に応じて、前記コンテンツの再生速度を制御する、
    ことを特徴とする請求項1又は2に記載のコンテンツ出力装置。
  4. 前記制御手段は、前記年齢推定手段が推定した年齢が所定の年齢以上又は所定の年齢以下の場合、前記コンテンツを所定速度より低速で再生する、
    ことを特徴とする請求項3に記載のコンテンツ出力装置。
  5. 前記制御手段は、前記年齢推定手段が推定した年齢が所定の年齢以上の場合、前記コンテンツに係る音声の音量と、該音声の周波数と、を制御する、
    ことを特徴とする請求項3又は4に記載のコンテンツ出力装置。
  6. 前記制御手段は、前記年齢推定手段が推定した年齢に応じて、前記コンテンツから別コンテンツに切り替える切替速度を制御する、
    ことを特徴とする請求項3乃至5の何れか一項に記載のコンテンツ出力装置。
  7. 前記制御手段は、前記年齢推定手段が推定した年齢が所定の年齢以上又は所定の年齢以下の場合、前記別コンテンツに切り替える切替速度を所定速度より低速にする、
    ことを特徴とする請求項6に記載のコンテンツ出力装置。
  8. 前記抽出手段が抽出した特徴に基づいて、前記ユーザの表情を推定する表情推定手段を備え、
    前記制御手段は、前記表情推定手段が推定した表情に応じて、前記コンテンツの再生速度を制御する、
    ことを特徴とする請求項1に記載のコンテンツ出力装置。
  9. 前記抽出手段が抽出した特徴に基づいて、前記ユーザの人種を推定する人種推定手段を備え、
    前記制御手段は、前記人種推定手段が推定した人種に応じて、前記コンテンツの再生速度を制御する、
    ことを特徴とする請求項1に記載のコンテンツ出力装置。
  10. 前記制御手段は、前記人種推定手段が日本人以外の人種を推定した場合、前記コンテンツを所定速度より低速で再生する、
    ことを特徴とする請求項9に記載のコンテンツ出力装置。
  11. ユーザを検出する検出ステップと、
    前記検出ステップにおいて検出した前記ユーザの特徴を抽出する抽出ステップと、
    前記抽出ステップにおいて抽出した特徴に基づいて、表示手段に出力するコンテンツの再生速度を制御する制御ステップと、
    を備えたことを特徴とするコンテンツ出力方法。
  12. コンピュータを、
    ユーザを検出する検出手段、
    前記検出手段が検出した前記ユーザの特徴を抽出する抽出手段、
    前記抽出手段が抽出した特徴に基づいて、表示手段に出力するコンテンツの再生速度を制御する制御手段、
    として機能させるためのプログラム。
JP2015041600A 2015-03-03 2015-03-03 コンテンツ出力装置、コンテンツ出力方法及びプログラム Pending JP2016161830A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015041600A JP2016161830A (ja) 2015-03-03 2015-03-03 コンテンツ出力装置、コンテンツ出力方法及びプログラム
US14/967,909 US9754156B2 (en) 2015-03-03 2015-12-14 Content output apparatus, content output method and recording medium
CN201510994434.2A CN105938390B (zh) 2015-03-03 2015-12-25 内容输出装置、内容输出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015041600A JP2016161830A (ja) 2015-03-03 2015-03-03 コンテンツ出力装置、コンテンツ出力方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2016161830A true JP2016161830A (ja) 2016-09-05

Family

ID=56846817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015041600A Pending JP2016161830A (ja) 2015-03-03 2015-03-03 コンテンツ出力装置、コンテンツ出力方法及びプログラム

Country Status (3)

Country Link
US (1) US9754156B2 (ja)
JP (1) JP2016161830A (ja)
CN (1) CN105938390B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018136770A (ja) * 2017-02-22 2018-08-30 沖電気工業株式会社 情報処理装置、方法および情報処理システム
JP7369884B1 (ja) 2023-04-06 2023-10-26 輝明 村上 情報処理装置、情報処理方法及び情報処理プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6432130B2 (ja) * 2013-11-29 2018-12-05 カシオ計算機株式会社 表示システム、表示装置、撮影装置、表示方法及びプログラム
KR101758825B1 (ko) * 2015-09-22 2017-07-18 한국과학기술연구원 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법, 이를 수행하기 위한 기록 매체 및 장치
US11094228B2 (en) * 2016-11-14 2021-08-17 Sony Corporation Information processing device, information processing method, and recording medium
CN106531033A (zh) * 2016-11-28 2017-03-22 国网山东省电力公司济宁供电公司 一种电控桌牌及工作状态评估方法
CN111176503A (zh) * 2019-12-16 2020-05-19 珠海格力电器股份有限公司 一种交互系统设置方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07168687A (ja) * 1993-12-15 1995-07-04 Hitachi Ltd ガイダンス制御方法
JP2003309786A (ja) * 2002-04-16 2003-10-31 Canon Inc 動画再生装置、動画再生方法及びそのコンピュータ・プログラム
JP2005318973A (ja) * 2004-05-07 2005-11-17 Sony Corp 生体センサ装置、コンテンツ再生方法およびコンテンツ再生装置
JP2006003875A (ja) * 2004-05-18 2006-01-05 Toyota Motor Corp 画面表示制御装置および画面表示制御方法
JP2010201977A (ja) * 2009-02-27 2010-09-16 Toyota Motor Corp 車載表示システム
JP2013109051A (ja) * 2011-11-18 2013-06-06 Glory Ltd 電子情報提供システム及び電子情報提供方法
JP2013152277A (ja) * 2012-01-24 2013-08-08 Toshiba Tec Corp 情報提供装置とそのプログラムおよび情報提供システム
JP2013205430A (ja) * 2012-03-27 2013-10-07 Toshiba Tec Corp 情報提供端末
JP2014053672A (ja) * 2012-09-05 2014-03-20 Nikon Corp 再生システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08248969A (ja) * 1995-03-13 1996-09-27 Brother Ind Ltd 音楽再生装置
KR100304803B1 (ko) * 1996-02-09 2001-09-24 모리시타 요이찌 텔레비젼수상기
US20080037953A1 (en) * 2005-02-03 2008-02-14 Matsushita Electric Industrial Co., Ltd. Recording/Reproduction Apparatus And Recording/Reproduction Method, And Recording Medium Storing Recording/Reproduction Program, And Integrated Circuit For Use In Recording/Reproduction Apparatus
US7948526B2 (en) * 2006-11-14 2011-05-24 Casio Computer Co., Ltd. Imaging apparatus, imaging method and program thereof
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
WO2009025155A1 (ja) * 2007-08-21 2009-02-26 Voxmol Llc 音声再生方法、音声再生装置およびコンピュータ・プログラム
JP5398408B2 (ja) * 2009-08-07 2014-01-29 オリンパスイメージング株式会社 カメラ、カメラの制御方法、表示制御装置、および表示制御方法
JP2011150221A (ja) 2010-01-25 2011-08-04 Seiko Epson Corp 映像出力装置搭載機器、映像出力装置の投影方法
CN101950200B (zh) * 2010-09-21 2011-12-21 浙江大学 基于摄像头的眼球控制游戏地图和角色移动的方法和装置
CN102566740A (zh) * 2010-12-16 2012-07-11 富泰华工业(深圳)有限公司 具有情绪识别功能的电子装置及其输出控制方法
US8780140B2 (en) * 2011-02-16 2014-07-15 Sony Corporation Variable display scale control device and variable playing speed control device
CN103517124B (zh) * 2012-06-29 2016-12-21 鸿富锦精密工业(深圳)有限公司 视频播放方法
CN103543821B (zh) * 2012-07-10 2016-08-10 中国移动通信集团公司 一种移动终端控制方法以及系统
CN103576839B (zh) * 2012-07-24 2019-03-12 广州三星通信技术研究有限公司 基于面部识别来控制终端操作的设备和方法
CN202795519U (zh) * 2012-09-14 2013-03-13 成都捷康特科技有限公司 一种基于dsp与fpga的人脸识别门禁装置
CN102915434B (zh) * 2012-09-26 2016-05-25 上海交通大学 一种基于低功耗嵌入式平台的人脸识别系统
JP6379801B2 (ja) * 2013-08-30 2018-08-29 株式会社リコー コンテンツ選択システム、コンテンツ選択方法及び管理装置
CN104010220B (zh) * 2014-04-30 2017-07-14 小米科技有限责任公司 内容服务提供方法和装置
CN104102346A (zh) * 2014-07-01 2014-10-15 华中科技大学 一种家用信息采集和用户情感识别设备及其工作方法
CN104077579B (zh) * 2014-07-14 2017-07-04 上海工程技术大学 基于专家系统的人脸表情图像识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07168687A (ja) * 1993-12-15 1995-07-04 Hitachi Ltd ガイダンス制御方法
JP2003309786A (ja) * 2002-04-16 2003-10-31 Canon Inc 動画再生装置、動画再生方法及びそのコンピュータ・プログラム
JP2005318973A (ja) * 2004-05-07 2005-11-17 Sony Corp 生体センサ装置、コンテンツ再生方法およびコンテンツ再生装置
JP2006003875A (ja) * 2004-05-18 2006-01-05 Toyota Motor Corp 画面表示制御装置および画面表示制御方法
JP2010201977A (ja) * 2009-02-27 2010-09-16 Toyota Motor Corp 車載表示システム
JP2013109051A (ja) * 2011-11-18 2013-06-06 Glory Ltd 電子情報提供システム及び電子情報提供方法
JP2013152277A (ja) * 2012-01-24 2013-08-08 Toshiba Tec Corp 情報提供装置とそのプログラムおよび情報提供システム
JP2013205430A (ja) * 2012-03-27 2013-10-07 Toshiba Tec Corp 情報提供端末
JP2014053672A (ja) * 2012-09-05 2014-03-20 Nikon Corp 再生システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018136770A (ja) * 2017-02-22 2018-08-30 沖電気工業株式会社 情報処理装置、方法および情報処理システム
JP7369884B1 (ja) 2023-04-06 2023-10-26 輝明 村上 情報処理装置、情報処理方法及び情報処理プログラム
JP7371299B1 (ja) 2023-04-06 2023-10-30 輝明 村上 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
CN105938390A (zh) 2016-09-14
US9754156B2 (en) 2017-09-05
CN105938390B (zh) 2019-02-15
US20160259967A1 (en) 2016-09-08

Similar Documents

Publication Publication Date Title
JP2016161830A (ja) コンテンツ出力装置、コンテンツ出力方法及びプログラム
EP3582187B1 (en) Face image processing method and apparatus
TWI253860B (en) Method for generating a slide show of an image
US7995106B2 (en) Imaging apparatus with human extraction and voice analysis and control method thereof
JP6016322B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20150093425A (ko) 콘텐츠 추천 방법 및 장치
JP6413018B2 (ja) ビデオキャプチャの処理方法、システム及び装置
US20120188411A1 (en) Method and apparatus for processing image
KR20090098505A (ko) 상태 정보를 이용하여 미디어 신호를 생성하는 방법 및장치
KR20200132569A (ko) 특정 순간에 관한 사진 또는 동영상을 자동으로 촬영하는 디바이스 및 그 동작 방법
CN105409202A (zh) 用户终端装置及其控制方法
KR101839406B1 (ko) 디스플레이장치 및 그 제어방법
US20110292062A1 (en) Image processing apparatus, method, and storage medium storing a program
JP6373446B2 (ja) ビデオフレームを選択するプログラム、システム、装置、及び方法
JP5839065B2 (ja) 撮像装置、撮像方法及びプログラム
KR101985669B1 (ko) 동영상을 이용한 카툰 생성장치 및 방법
JP2014143595A (ja) 画像記録装置
JP2010199968A (ja) デジタルカメラ
JP6217696B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2008186075A (ja) インタラクティブ画像表示装置
JP2006349845A (ja) 電子書籍表示装置
JP2013197827A (ja) 撮影補助装置、方法、並びに該撮影補助装置を搭載した撮影装置及びカメラ付き携帯端末
CN107147842B (zh) 一种儿童照相的方法及装置
JP6539966B2 (ja) 情報出力装置、情報出力方法、およびプログラム
JP2015179969A (ja) 撮像装置、撮像方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191126