JP2013197771A - 画像出力装置、映像出力方法、およびプログラム - Google Patents

画像出力装置、映像出力方法、およびプログラム Download PDF

Info

Publication number
JP2013197771A
JP2013197771A JP2012061527A JP2012061527A JP2013197771A JP 2013197771 A JP2013197771 A JP 2013197771A JP 2012061527 A JP2012061527 A JP 2012061527A JP 2012061527 A JP2012061527 A JP 2012061527A JP 2013197771 A JP2013197771 A JP 2013197771A
Authority
JP
Japan
Prior art keywords
video
image
unit
target
movement amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012061527A
Other languages
English (en)
Other versions
JP5912706B2 (ja
Inventor
Masaru Inoue
賢 井上
Tetsujiro Kondo
哲二郎 近藤
Takahide Ayada
隆秀 綾田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
I Cubed Research Center Inc
Original Assignee
I Cubed Research Center Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by I Cubed Research Center Inc filed Critical I Cubed Research Center Inc
Priority to JP2012061527A priority Critical patent/JP5912706B2/ja
Publication of JP2013197771A publication Critical patent/JP2013197771A/ja
Application granted granted Critical
Publication of JP5912706B2 publication Critical patent/JP5912706B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】出力する映像が映像酔いする映像であることを検知し、また、当該映像酔いを低減することができなかった。
【解決手段】2以上の画像を有する映像が、映像酔いする映像であると判断するための条件である1以上の映像判断条件が格納される映像判断条件格納部と、2以上の入力画像を取得する入力画像取得部と、2以上の入力画像を用いて構成される映像である対象映像が映像酔いする映像であるか否かを、映像判断条件を用いて判断する映像判断部と、映像判断部が、対象映像が映像酔いする映像であると判断した場合に、対象映像が有する2以上の各画像である対象画像に対して予め決められた映像酔いを低減する処理を施す画像処理部と、対象画像または画像処理部が処理を施した対象画像を出力する画像出力部とを具備する画像出力装置により、映像酔いする映像であることを検知し、また、当該映像酔いを低減することができる。
【選択図】図1

Description

本発明は、画像を出力する画像出力装置等に関するものである。
従来、出力先となる機器や装置などの条件に応じた適切な解像度の画像を出力する画像出力装置が開発されている(特許文献1参照)。
また、ユーザの映像酔いに対する耐性を評価するための数値を算出する映像酔い耐性評価装置が開発されている(特許文献2参照)。
特開2011−35561 特開2011−83379
現在、映像コンテンツは、往々にして20〜30インチ程度の放送局モニタにおいて作業・確認が行われ、放送されている。一方で、家庭視聴環境におけるテレビなどのディスプレイは大型化し、一般家庭においても60インチを超えるものも一般的になってきている。
ここで、送信側のコンテンツと受信側のコンテンツは、当然、同一である。また、コンテンツ内でのオブジェクトの動きや、カメラ動作によるパン・チルトなどの動き量は、単位フレーム当たりの画素数で定義されるものである。従って、画面内の物体が実際に画面上を移動する距離は、画面の大きさに比例して大きくなる。これにより、人間が物体を目で追う距離は、送信側の人間が確認している時よりも、受信側の人間が視聴しているときの方が大きくなり、映像酔いを起こしやすくなるという課題がある。しかしながら、従来の画像出力装置などでは、出力する映像が映像酔いする映像であることを検知し、また、当該映像酔いを低減することができなかった。
本第一の発明の画像出力装置は、2以上の画像を有する映像が、映像酔いする映像であると判断するための条件である1以上の映像判断条件が格納される映像判断条件格納部と、2以上の入力画像を取得する入力画像取得部と、2以上の入力画像を用いて構成される映像である対象映像が映像酔いする映像であるか否かを、映像判断条件を用いて判断する映像判断部と、映像判断部が、対象映像が映像酔いする映像であると判断した場合に、対象映像が有する2以上の各画像である対象画像に対して予め決められた映像酔いを低減する処理を施す画像処理部と、対象画像または画像処理部が処理を施した対象画像を出力する画像出力部とを具備する画像出力装置である。
このような構成により、出力する映像が映像酔いする映像であることを検知し、当該映像酔いを低減することができる。
また、本第二の発明の画像出力装置は、第一の発明に対して、映像判断条件は、一の映像に含まれる被写体の移動量に関する条件である移動量条件であり、映像判断部は、対象映像から、移動量を取得する移動量取得手段と、移動量取得手段が取得した移動量が、1以上の移動量条件に合致するか否かを判断し、合致する場合に、対象映像が映像酔いする映像であると判断する判断手段とを具備する画像出力装置である。
このような構成により、出力する映像が映像酔いする映像であることを、出力する映像中の被写体の移動量により検知することができる。
また、本第三の発明の画像出力装置は、第一の発明に対して、映像判断条件は、ユーザからの指示に関する条件であるユーザ指示条件であり、ユーザからの指示を受け付ける受付部をさらに具備し、映像判断部は、受付部が受け付けた指示が、1以上のユーザ指示条件に合致するか否かを判断し、合致する場合に、対象映像が映像酔いする映像であると判断する判断手段を具備する画像出力装置である。
このような構成により、出力する映像が映像酔いする映像であることを、ユーザからの指示により検知することができる。
また、本第四の発明の画像出力装置は、第二の発明に対して、映像判断条件は、画面サイズと移動量に関する条件である画面サイズ移動量条件であり、映像判断部は画面サイズを示す画面サイズ情報を取得する画面サイズ情報取得手段をさらに具備し、判断手段は、画面サイズ情報取得手段が取得した画面サイズ情報と移動量取得手段が取得した移動量とが、1以上の画面サイズ移動量条件に合致するか否かを判断し、合致する場合に、対象映像が映像酔いする映像であると判断する画像出力装置である。
このような構成により、出力する映像が映像酔いする映像であることを、出力する映像中の被写体の移動量と、画面サイズとにより検知することができる。
また、本第五の発明の画像出力装置は、第二の発明に対して、映像判断条件は、画面からユーザまでの距離と移動量に関する条件であるユーザ距離移動量条件であり、映像判断部は前方のユーザを検知し、ユーザまでの距離を示すユーザ距離情報を取得するユーザ距離情報取得手段をさらに具備し、判断手段は、ユーザ距離情報取得手段が取得したユーザ距離情報と移動量取得手段が取得した移動量とが、1以上のユーザ距離移動量条件に合致するか否かを判断し、合致する場合に、出力映像が映像酔いする映像であると判断する画像出力装置である。
このような構成により、出力する映像が映像酔いする映像であることを、出力する映像中の被写体の移動量と、ユーザまでの距離とにより検知することができる。
また、本第六の発明の画像出力装置は、第一から第五いずれかの発明に対して、画像処理部は、対象画像に対して、対象画像を縮小する縮小処理または対象画像の一部を切り出すトリミング処理のいずれかの処理を施す画像出力装置である。
このような構成により、映像酔いを、出力する画像の縮小または画像のトリミングにより低減することができる。
また、本第七の発明の画像出力装置は、第一から第六いずれかの発明に対して、映像判断条件格納部には、映像酔いを低減する処理を示す低減処理情報が対応付いた映像判断条件が格納され、画像処理部は、映像判断部が、対象映像が映像酔いする映像であると判断した際に用いた映像判断条件に対応する映像処理情報を、映像判断条件格納部から取得する低減処理情報取得手段と、対象映像が有する2以上の画像である対象画像に対して、低減処理情報取得手段が取得した低減処理情報が示す処理を施す画像処理手段とを具備する画像出力装置である。
このような構成により、映像酔いする映像であることを検知したときの映像の特徴に応じて、出力する映像に対して処理を施し、映像酔いを低減することができる。
また、本第八の発明の画像出力装置は、第一から第七いずれかの発明に対して、画像出力部は、対象画像を出力する領域である第一領域に、画像処理部が処理を施した対象画像を出力する画像出力手段と、画像処理部が処理を施した対象画像のサイズが、画面サイズより小さい場合に、第一領域とは異なる領域である第二領域に、画像処理部が処理を施した対象画像とは異なる画像を出力する他画像出力手段とを具備する画像出力装置である。
このような構成により、出力する画像のサイズが画面サイズより小さい場合にできる空き領域を有効に活用できる。
また、本第九の発明の画像出力装置は、第八の発明に対して、他画像出力手段は、第二領域を分割した2以上の領域に、対象画像を用いて構成されるストロボ画像を出力する画像出力装置である。
このような構成により、出力する画像のサイズが画面サイズより小さい場合にできる空き領域を有効に活用できる。
また、本第十の発明の画像出力装置は、第八の発明に対して、データ放送によるデータを受信するデータ放送受信部をさらに具備し、他画像出力手段は、第二領域に、データ放送受信部が受信したデータを出力する画像出力装置である。
このような構成により、出力する画像のサイズが画面サイズより小さい場合にできる空き領域を有効に活用できる。
また、本第十一の発明の画像出力装置は、第八の発明に対して、2以上の画像を有する映像であり、2以上のチャプターに分割し得る映像である入力映像が格納される入力映像格納部をさらに具備し、入力画像取得部は、入力映像が有する2以上の各入力画像を、入力映像格納部から順次取得し、他画像出力手段は、第二領域に、入力画像取得部が取得した2以上の入力画像のうち、入力映像が有する2以上の各チャプターを代表する入力画像を出力する画像出力装置である。
このような構成により、出力する画像のサイズが画面サイズより小さい場合にできる空き領域を有効に活用できる。
本発明による画像出力装置等によれば、出力する映像が映像酔いする映像であることを検知し、当該映像酔いを低減することができる。
実施の形態1における画像出力装置のブロック図 同画像出力装置1の全体動作について説明するフローチャート 同映像判断条件の例を示す図 同映像判断条件の例を示す図 同出力画像の出力例を示す図 同出力画像の出力例を示す図 同出力画像の出力例を示す図 同出力画像の出力例を示す図 同出力画像の出力例を示す図 同出力画像と他画像の出力例を示す図 同出力画像と他画像の出力例を示す図 同出力画像と他画像の出力例を示す図 同画像出力回路の構成例を示す図 上記実施の形態におけるコンピュータシステムの概観図 上記実施の形態におけるコンピュータシステムのブロック図
以下、本発明による画像出力装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。また、所定の情報が格納され得る格納部等において、当該格納部に情報が記憶される過程は問わないものとする。例えば、記録媒体を介して情報が格納部等で記憶されるようになってもよい。また、通信回線などを介して送信された情報が格納部等で記憶されるようになってもよい。さらに、入力デバイスを介して入力された情報が格納部等で記憶されるようになってもよい。また、本実施の形態において説明する各情報の形式、内容などは、あくまで例示であり、各情報の持つ意味を示すことができれば、形式、内容などは問わない。
(実施の形態1)
本実施の形態において、出力する映像が映像酔いする映像であるか否かを判断し、映像酔いする映像である場合に、当該出力する映像が有する2以上の画像に、映像酔いを低減する処理を施す画像出力装置1について説明する。
なお、本実施の形態における画像出力装置1は、例えば、テレビ受信機や、記録媒体(光ディスクやハードディスク等)の再生機などである。
図1は、本実施の形態における画像出力装置1のブロック図である。画像出力装置1は、入力映像格納部11、映像判断条件格納部12、データ放送受信部13、入力画像取得部14、受付部15、映像判断部16、画像処理部17、画像出力部18を備える。また、映像判断部16は、移動量取得手段161、画面サイズ情報取得手段162、ユーザ距離情報取得手段163、判断手段164を備える。また、画像処理部17は、低減処理情報取得手段171、画像処理手段172を備える。また、画像出力部18は、画像出力手段181、他画像出力手段182を備える。
入力映像格納部11には、2以上の画像を有する映像である入力映像が格納される。当該画像を、以下、入力画像とする。また、入力映像のデータ形式などは、問わない。また、入力映像は、2以上のチャプターに分割し得る映像であることが好適である。
なお、以下、一の映像のみに言及している場合であっても、当該映像が有する2以上の各画像について言及していることも含む場合があることは、言うまでもない。また、一の画像にのみ言及している場合であっても、当該画像を有する一の映像について言及していることも含む場合があることは、言うまでもない。
映像判断条件格納部12には、映像判断条件が格納される。映像判断条件とは、映像が、映像酔いする映像であると判断するための条件である。映像判断条件は、例えば、以下の様な条件である。
(1)一の映像に含まれる被写体の移動量に関する条件である移動量条件
(2)画面サイズと、移動量とに関する条件である画面サイズ移動量条件
(3)ユーザ距離と、移動量とに関する条件であるユーザ距離移動用条件
(4)ユーザからの指示に関する条件であるユーザ指示条件
移動量は、通常、いわゆる動きベクトル(ベクトル量)であるが、その他のスカラー量でもよい。また、移動量は、被写体の移動の量(長さ、ピクセル数など)を示すことができれば、内容や形式などは問わない。また、移動量は、単位時間や単位フレームなどの単位量あたりの移動の量であってもよい。なお、一の映像から移動量を算出する方法や手順などは、公知であるので、詳細な説明を省略する。また、移動量の単位は、問わない。移動量の単位は、例えば、「pixel/frame」や、「pixel/sec」、「cm/frame」、「cm/sec」などである。また、ユーザからの指示とは、後述の受付部15がユーザから受け付ける指示である。当該指示の詳細は、後述する。また、画面サイズとは、通常、画像出力装置1が備える画面のサイズ(寸法)であるが、当該画面の解像度(画面解像度)であってもよい。また、ユーザ距離とは、画像出力装置1が備える画面からユーザまでの距離である。
(1)は、移動量が大きい程、映像酔いする映像であることを示す条件である。(1)は、例えば、「移動量が10pixel/frame以上であること」や、「移動量が10pixel/frame以上20pixel/frame未満であること」などである。
また、(2)は、画面サイズが大きい程、かつ移動量が大きい程、映像酔いする映像であることを示す条件である。(2)は、例えば、「画面サイズが50インチ以上であり、かつ移動量が10pixel/frame以上であること」や、「画面サイズが(1920×1080)以上(4096×2160)未満であり、かつ移動量が10pixel/frame以上20pixel/frame未満であること」などである。
また、(3)は、ユーザ距離が近い程、かつ移動量が大きい程、映像酔いする映像であることを示す条件である。(3)は、例えば、「ユーザまでの距離が3m未満であり、かつ移動量が10pixel/frame以上20pixel/frame未満であること」や、「ユーザまでの距離が3m以上6m未満であり、かつ移動量が20pixel/frame以上であること」などである。
また、(4)は、ユーザからの指示が、予め決められた指示であることを示す条件である。(4)は、例えば、「ユーザからの指示が映像酔いを感じたことを通知する指示であること」や、「ユーザからの指示が映像酔いする映像であることを通知する指示であること」、「ユーザからの指示が映像酔いを低減する処理を行うことの指示であること」などである。
また、映像判断条件は、例えば、以下の様な条件であってもよい。
(5)画面サイズと、ユーザ距離と、移動量とに関する条件である画面サイズユーザ距離移動量条件
(6)ユーザからの指示と、画面サイズとに関する条件であるユーザ指示画面サイズ条件
(7)ユーザからの指示と、ユーザ距離とに関する条件であるユーザ指示ユーザ距離条件
(8)ユーザからの指示と、画面サイズと、ユーザ距離とに関する条件であるユーザ指示画面サイズユーザ距離条件
なお、当該(5)〜(8)の条件については、上記の(1)〜(4)と同様であるので、説明を省略する。
また、映像判断条件は、例えば、以下の様な条件であってもよい。
(9)輝度値の変化に関する条件である輝度値変化条件
(10)映像の表現の方式に関する条件である映像方式条件
(9)は、映像が有する2以上の画像間での輝度値の変化(差)が大きい程、また当該変化が繰り返し起きる回数が多い程、映像酔いする映像であることを示す条件である。(9)は、いわゆるフラッシング映像を検知するための条件でもある。(9)は、例えば、「2つの画像間における輝度値の差が50以上であり、かつ当該差が30フレーム以上続くこと」などである。(10)は、いわゆる3D映像を検知するための条件である。(10)は、例えば、「映像が3D映像であること」などである。
また、映像判断条件は、映像酔いする映像を検知する際のモードに関する検知モード条件を有していてもよい。当該検知モードとは、例えば、対象画像から取得できる情報により自動的に映像酔いする映像であるか否かを検知するモードや、ユーザからの指示により手動的に映像酔いする映像であるか否かを検知するモードなどである。また、検知モード条件は、当該検知モードが、予め決められた検知モードであることを示す条件である。検知モード条件は、例えば、「検知モードが自動検知モードであること」や、「検知モードが手動検知モードであること」などである。
つまり、映像判断条件は、移動量条件、ユーザ指示条件のいずれかと、以下の0以上の条件の組み合わせであればよい。
(a)画面サイズに関する条件である画面サイズ条件
(b)ユーザ距離に関する条件であるユーザ距離条件
(c)検知モード条件
なお、映像判断条件は、プログラムであってもよい。この場合、映像判断条件は、通常、プログラムのソースコード中に埋め込まれている。
また、映像判断条件には、通常、映像酔いを低減する処理(以下、映像酔い低減処理)を示す低減処理情報が対応付いている。映像酔い低減処理は、例えば、画像を縮小する縮小処理や、画像の一部を切り出すトリミング処理、画像の輝度値を小さくする輝度抑制処理、ノイズを低減するノイズ低減処理などである。なお、当該処理において、当該縮小処理の際の縮小率や、縮小後の画像のサイズ、トリミング処理の際のトリミング率や、トリミング後の画像のサイズ、トリミングの範囲、輝度抑制処理の際の抑制する割合や、抑制後の輝度値、抑制の範囲などは、予め決められていてもよいし、そうでなくてもよい。
また、低減処理情報は、例えば、当該低減処理を識別する識別子や、当該低減処理を行うプログラム、当該低減処理を行うプログラムの識別子などである。当該プログラムには、いわゆる関数も含まれる。
また、縮小処理を示す場合、低減処理情報は、例えば、縮小処理の際の縮小率や、縮小後の画像のサイズなどを有していてもよい。低減処理情報は、例えば、以下の様な情報である。
(1)70%のサイズに縮小することを示す「縮小:70%」
(2)「0.80」の割合のサイズに縮小することを示す「縮小処理(0.80)」
(3)「1280×720」のサイズに縮小することを示す「縮小:1280×720」
また、また、トリミング処理を示す場合、低減処理情報は、例えば、トリミングの際のトリミング率や、トリミング後の画像のサイズ、トリミングの範囲などを有していてもよい。トリミングの範囲は、通常、画像上の座標で示されるが、特徴量に関する条件で示されてもよい。この場合、低減処理情報は、当該特徴量に関する条件に合致する範囲をトリミングすることを示す。低減処理情報は、例えば、以下の様な情報である。
(1)60%のサイズで、座標(0,0)からトリミングすることを示す「トリミング:60%,(0,0)」
(2)「0.75」の割合のサイズで、座標(10,20)」からトリミングすることを示す「切り取り:×0.75,(10,20)」
(3)座標(0,0)から座標(1280,720)までをトリミングすることを示す「トリミング((0,0),(1280,720))」
(4)移動量が「20cm/frame」未満である範囲をトリミングすることを示す「トリミング(移動量<20cm/frame)」
また、輝度抑制処理を示す場合、低減処理情報は、例えば、輝度抑制処理の際の抑制する割合や、抑制後の輝度値、抑制の範囲などを有していてもよい。低減処理情報は、例えば、以下の様な情報である。
(1)画像全体の輝度を80%にすることを示す「輝度:80%」
(2)画像全体の輝度を「0.75」の割合にすることを示す「輝度処理(0.75)」
(3)座標(100,200)から座標(500,600)までを輝度値「128」にすることを示す「輝度(128,(100,200),(500,600)」
また、低減処理情報は、上記の縮小率や、トリミング率、抑制の割合などのパラメータを算出するための計算式であってもよい。当該計算式には、通常、移動量や、画面サイズ情報、ユーザ距離情報などを代入することを示す変数が含まれる。
また、映像判断条件には、低減処理情報の他に、映像酔い低減処理を選択するための条件である低減処理選択条件が対応付いていてもよい。低減処理選択条件は、通常、移動量以外の特徴量に関する条件である。特徴量とは、一の映像の特徴を示す情報である。また、移動量以外の特徴量とは、例えば、画素値や、輝度値、周波数分布、ダイナミックレンジ、時空間相関、ノイズ量などである。また、低減処理選択条件には、画面サイズや、ユーザ距離に関する条件が含まれてもよい。
データ放送受信部13は、データ放送によるデータを受信する。データ放送受信部13は、通常、放送を受信する手段で実現される。
入力画像取得部14は、2以上の入力画像を取得する。当該取得とは、放送による受信や、通信による受信、記録媒体からの読み込みなどである。また、入力画像取得部14は、入力映像が有する2以上の各入力画像を、入力映像格納部11から、順次、取得する。また、入力画像取得部14は、通常、2以上の入力画像を有する入力映像を取得する。
入力画像取得部14は、通常、放送を受信する手段や、データを読み込む手段などで実現される。
受付部15は、ユーザからの指示を受け付ける。当該指示は、例えば、映像酔いを感じたことや、映像酔いする映像であることを通知する映像酔い通知指示や、映像酔いを低減する処理を行うことを指示する映像酔い低減指示などである。また、受付部15は、これらの指示以外の指示を受け付けてもよい。これらの指示以外の指示とは、例えば、電源ONの指示や、電源OFFの指示、チャンネル変更の指示、音量増減の指示などである。なお、受付部15が映像酔い通知指示など以外の指示を受け付けた場合、画像出力装置1は、通常、当該受け付けた指示に応じた処理を行う。
また、受け付けとは、いわゆるリモコンや、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。
受付部15における指示の入力手段は、いわゆるリモコンや、メニュー画面によるものなど、何でもよい。受付部15は、リモコンなどの入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェアなどで実現され得る。
映像判断部16は、対象映像が映像酔いする映像であるか否かを、映像判断条件格納部12に格納されている1以上の映像判断条件を用いて判断する。
対象映像とは、映像酔いする映像であるか否かを判断する対象となる映像であり、2以上の入力画像を用いて構成される映像である。当該「2以上の入力画像を用いて構成される映像」とは、当該2以上の入力画像を有する入力映像、または当該2以上の各入力画像を用いて構成される2以上の出力画像を有する出力映像である。つまり、映像判断部16は、入力映像、または出力映像について、映像酔いする映像であるか否かを判断する。なお、対象映像は、通常、出力映像であるが、入力映像であってもよい。また、「入力画像を用いて構成される出力画像」とは、通常、入力画像に何らかの処理(以下、出力画像作成処理)が施された画像である。出力画像作成処理とは、通常、画像処理であり、例えば、高解像度化や、ノイズ除去、鮮鋭化、サイズの拡大、サイズの縮小などである。また、当該処理は、これらの効果を得ることができればよく、処理の具体的な方法や手順などは、問わない。また、出力画像に施された出力画像作成処理の内容や回数などは、問わない。例えば、出力画像は、これらの2以上の異なる出力画像作成処理が施された画像であってもよいし、同一の出力画像作成処理が2回以上施された画像であってもよい。
以上より、対象映像は、入力映像、または出力映像である。また、対象映像は、2以上の対象画像を有する。対象映像が入力映像である場合、対象映像は、2以上の入力画像を有する。また、対象映像が出力映像である場合、対象映像は、2以上の出力画像を有する。
なお、出力画像は、通常、図示しない出力画像作成部が作成する。当該出力画像作成部は、通常、入力画像取得部14が取得した入力画像に対して、出力画像作成処理を施し、出力画像を作成する。また、映像判断部16は、通常、後述の各手段により、当該判断を行う。
移動量取得手段161は、対象映像から、移動量を取得する。ここで、例えば、時間的に連続する2つの画像において、先の画像をA(以下、画像A)とし、後の画像をB(以下、画像B)とする。この様な場合において、移動量取得手段161は、例えば、まず、画像Aから被写体を検出する。また、移動量取得手段161は、画像Bからも同一の被写体を検出する。当該被写体は、例えば、人物や、動物、植物、その他建造物などである。当該画像からの被写体の検出の方法や手順などは、公知であるので、詳細な説明を省略する。また、当該被写体は、画像中の任意の被写体であってもよいし、予め決められた被写体であってもよい。そして、移動量取得手段161は、当該検出した被写体が一致するように画像Aと画像Bとを重ね合わせる。そして、移動量取得手段161は、当該重ね合わせた画像のずれを、当該2つの画像間における被写体の移動量として取得する。なお、当該ずれは、画像を構成する画素の数(ピクセル、pixel)であってもよいし、物理的な長さ(センチメートル、cm、ミリメートル、mm)などであってもよい。また、例えば、当該ずれは、本例の様に、一の画像あたりのずれであってもよいし、予め決められた単位量の画像(例えば、フレーム)あたりのずれであってもよいし、1秒あたりのずれであってもよい。
また、移動量取得手段161は、例えば、以上の様な処理により、各画像から2以上の被写体を検知してもよい。また、移動量取得手段161は、例えば、以上の様な処理により、2以上の各画像から1以上の被写体を検知してもよい。また、移動量取得手段161は、例えば、以上の様な処理により、2以上の被写体ごとに移動量を算出し、当該移動量の平均を取得してもよい。
なお、移動量の取得の方法や手順などは、公知であるので、その他の詳細な説明を省略する。また、移動量取得手段161は、通常、2または3の対象画像を有する対象映像から移動量を取得することが好適である。また、移動量取得手段161は、例えば、4以上の対象画像を有する対象映像から移動量を取得してもよい。また、移動量取得手段161は、出力映像から移動量を取得することが好適である。
画面サイズ情報取得手段162は、画面サイズを示す画面サイズ情報を取得する。画面サイズ情報は、通常、任意の記憶領域、または予め決められた記憶領域に格納されている。従って、画面サイズ情報取得手段162は、当該記憶領域に格納されている画面サイズ情報を取得する。
ユーザ距離情報取得手段163は、画像出力装置1の前方に位置するユーザを検知し、画面から当該ユーザまでの距離を示すユーザ距離情報を取得する。当該距離の計測の方法は問わない。当該距離は、例えば、画面の中心からユーザまでの距離であってもよいし、画面の端(上下左右は問わず)からユーザまでの距離であってもよい。なお、ユーザ距離情報取得手段163は、例えば、人物(ユーザ)を赤外線などにより検知する人感センサや、対象物までの距離を計測する距離センサなどの装置から、ユーザ距離情報を取得する。この場合、ユーザ距離情報取得手段163は、これらの装置を備えていてもよいし、これらの装置で実現され得てもよい。また、ユーザ距離情報取得手段163の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。
判断手段164は、上記の3つの各手段のいずれかが取得した情報、または受付部15が受け付けた指示が、映像判断条件格納部12に格納されている1以上の映像判断条件のいずれかに合致するか否かを判断する。そして、合致する場合に、判断手段164は、対象映像が映像酔いする映像であると判断する。
また、判断手段164は、例えば、以下の様な判断を行う。
(1)移動量取得手段161が取得した移動量が、移動量条件に合致するか否かの判断
(2)画面サイズ情報取得手段162が取得した画面サイズ情報と移動量取得手段161が取得した移動量とが、画面サイズ移動量条件に合致するか否かの判断
(3)ユーザ距離情報取得手段163が取得したユーザ距離情報と移動量取得手段161が取得した移動量とが、ユーザ距離移動量条件に合致するか否かの判断
(4)受付部15が受け付けた指示が、ユーザ指示条件に合致するか否かの判断
(1)について、例えば、移動量取得手段161が取得した移動量が「50cm/frame」であり、移動量条件が「移動量≧45cm/frame」である場合、判断手段164は、当該移動量が当該移動量条件に合致すると判断する。
また、(2)について、例えば、画面サイズ情報取得手段162が取得した画面サイズ情報が「1920×1080」であり、移動量取得手段161が取得した移動量が「15pixel/frame」であり、画面サイズ移動量条件が「画面サイズ≧(1920×1080)&移動量≧10pixel/frame」である場合、判断手段164は、当該画面サイズ情報と移動量情報とが当該画面サイズ移動量条件に合致すると判断する。
また、(3)について、例えば、ユーザ距離情報取得手段163が取得したユーザ距離情報が「3m」であり、移動量取得手段161が取得した移動量が「15pixel/frame」であり、画面サイズ移動量条件が「距離≦5m&移動量≧10pixel/frame」である場合、判断手段164は、当該ユーザ距離情報と移動量情報とが当該ユーザ距離移動量条件に合致すると判断する。
また、(4)について、受付部15が受け付けた指示が映像酔い通知指示であり、ユーザ指示条件が「ユーザ指示=(映像酔い通知指示or映像酔い低減指示)」である場合、判断手段164は、当該ユーザからの指示が当指示条件に合致すると判断する。
なお、上記(1)〜(4)の各条件が、検知モード条件を有している場合、判断手段164は、検知モード識別子が、当該検知モード条件に合致するか否かを判断する。当該検知モード識別子とは、検知モードを識別する情報である。また、検知モードは、通常、任意の記憶領域、または予め決められた記憶領域に格納されている。従って、判断手段164は、通常、当該記憶領域に格納されている検知モード識別子を取得し、当該検知モード識別子が、検知モード条件に合致するか否かを判断する。例えば、当該検知モード識別子が「自動検知モード」であり、検知モード条件が「検知モード=自動検知」である場合、判断手段164は、当該検知モード識別子が当該検知モード条件に合致すると判断する。
画像処理部17は、映像判断部16が、対象映像が映像酔いする映像であると判断した場合に、対象映像が有する2以上の各対象画像に対して、予め決められた映像酔い低減処理を施す。なお、映像判断部16が判断した対象映像と、画像処理部17が映像酔い低減処理を施す対象画像を有する対象映像とは、同一であってもよいし、異なっていてもよい。
また、画像処理部17は、例えば、対象映像に対して、映像酔い低減処理を施してもよい。この場合、画像処理部17は、例えば、対象映像が有する2以上の各対象画像の各々に対して、順に、映像酔い低減処理を施してもよいし、当該2以上の対象画像のすべてに対して、同時に、映像酔い低減処理を施してもよい。
また、画像処理部17は、例えば、対象映像が有する2以上の対象画像のうちの一の対象画像に対して映像酔い低減処理を施してもよい。この場合、画像処理部17は、例えば、当該2以上の対象画像のうちの先頭の対象画像や、中間の対象画像、末尾の対象画像などの一の画像に対して、映像酔い低減処理を施す。
なお、画像処理部17は、通常、後述の各手段により、対象映像を行う。
低減処理情報取得手段171は、映像判断部16が、対象映像が映像酔いする映像であると判断した際に用いた映像判断条件に対応する映像処理情報を、映像判断条件格納部12から取得する。当該「対象映像が映像酔いする映像であると判断した際に用いた映像判断条件」とは、つまりは、映像判断部16が、対象映像が映像酔いする映像であるか否かの判断の際に取得した移動量や、画面サイズ情報、ユーザ距離情報、ユーザ指示などが合致する映像判断条件である。
例えば、移動量取得手段161が取得した移動量が「50cm/frame」であり、
判断手段164が当該移動量に合致すると判断した映像判断条件が「移動量≧45cm/frame」であったとする。この場合、低減処理情報取得手段171は、当該映像判断条件「移動量≧45cm/frame」に対応する映像処理情報を、映像判断条件格納部12から取得する。また、例えば、映像判断条件格納部12において、映像判断条件「移動量≧45cm/frame」が低減処理情報「縮小:70%」に対応付いているとする。この場合、低減処理情報取得手段171は、当該低減処理情報「縮小:70%」を取得する。また、例えば、低減処理情報がパラメータを算出するための計算式である場合、低減処理情報取得手段171は、当該計算式を取得後、当該計算式が含む変数に、当該変数に対応する数値を代入し、当該パラメータを算出する。
また、例えば、映像判断条件格納部12に格納されている映像判断条件に、低減処理選択条件が対応付いている場合、低減処理情報取得手段171は、対象映像から特徴量を取得し、当該特徴量が合致する低減処理選択条件に対応する低減処理情報を取得してもよい。この場合、低減処理情報取得手段171は、例えば、まず、映像判断部16が、対象映像が映像酔いする映像であると判断した場合に、当該対象映像から、特徴量を取得する。当該特徴量は、通常、移動量以外の特徴量である。そして、低減処理情報取得手段171は、当該判断した際に用いた映像判断条件を取得する。そして、低減処理情報取得手段171は、当該映像判断条件に対応する低減処理選択条件のうち、取得した特徴量に合致する低減処理選択条件に対応する低減処理情報を、映像判断条件格納部12から取得する。
例えば、上記の様に、判断手段164がユーザからの指示に合致すると判断した映像判断条件が「ユーザ指示=映像酔い通知指示」であったとする。この場合、低減処理情報取得手段171は、当該映像判断条件に対応する低減処理選択条件を取得する。当該低減処理選択条件には、「192≦輝度<200」が含まれているとする。また、低減処理情報取得手段171が対象映像から取得した特徴量が輝度値「196」であったとする。この場合、低減処理情報取得手段171は、当該輝度値が合致する低減処理選択条件「192≦輝度<200」を取得する。そして、低減処理情報取得手段171は、当該低減処理選択条件「192≦輝度<200」に対応する低減処理情報を、映像判断条件格納部12から取得する。
つまり、映像判断条件格納部12に格納されている映像判断条件に、低減処理選択条件が対応付いている場合、低減処理情報取得手段171は、映像判断部16が、対象映像が映像酔いする映像であると判断した際に用いた映像判断条件と、対象映像から取得した特徴量に合致する低減処理選択条件とに対応する低減処理情報を、映像判断条件格納部12から取得する。
なお、ユーザは、通常、出力映像を視聴している。従って、対象映像から特徴量を取得するときに手動検知モードである場合(任意の記憶領域、または予め決められた記憶領域に、手動検知モードであることを識別する検知モード識別子が格納されている場合)、低減処理情報取得手段171は、通常、出力映像から特徴量を取得する。また、対象映像から特徴量を取得するときに自動検知モードである場合(任意の記憶領域、または予め決められた記憶領域に、自動検知モードであることを識別する検知モード識別子が格納されている場合)、低減処理情報取得手段171は、入力映像、出力映像のどちらから特徴量を取得してもよい。この場合、入力映像、出力映像のどちらから特徴量を取得するかは、通常、予め決められていているが、そうでなくてもよい。なお、映像からの特徴量の取得の方法や手順などは、公知であるので、詳細な説明を省略する。
画像処理手段172は、対象映像が有する2以上の画像である対象画像に対して、低減処理情報取得手段171が取得した低減処理情報が示す処理を施す。例えば、低減処理情報取得手段171が低減処理情報「縮小:70%」を取得した場合、画像処理手段172は、当該低減処理情報に従い、対象画像を70%のサイズに縮小する。また、例えば、低減処理情報取得手段171が低減処理情報「トリミング((0,0),(1280,720))」を取得した場合、画像処理手段172は、当該低減処理情報に従い、対象画像の座標(0,0)から座標(1280,720)までをトリミングする。また、例えば、低減処理情報取得手段171が低減処理情報「輝度(128,(100,200),(500,600)」を取得した場合、画像処理手段172は、当該低減処理情報に従い、対象画像の座標(100,200)から座標(500,600)までの輝度を、「128」にする。なお、画像処理手段172は、出力映像が有する2以上の出力画像に対して、映像酔い低減処理を施すことが好適である。
また、画像処理手段172が対象画像に対して施す映像酔い低減処理は、予め決められていてもよい。この場合、画像処理手段172は、低減処理情報取得手段171が取得したパラメータを用いて、予め決められた映像酔い低減処理を施す。
画像出力部18は、対象画像、または画像処理部17が映像酔い低減処理を施した対象画像を出力する。ここでの出力とは、ディスプレイへの表示、プロジェクターを用いた投影、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。なお、送信や蓄積、処理結果の引渡しについては、出力対象が最終的にユーザに提示されるものとする。なお、画像出力部18は、通常、後述の各手段により、対象画像などを出力する。
画像出力手段181は、対象画像を出力する。「対象画像を出力する」とは、つまりは、入力画像取得部14が取得した入力画像を、出力画像生成処理を施さずにそのまま出力すること、または、入力画像取得部14が取得した入力画像に対して出力画像生成処理を施した出力画像を出力することである。画像出力手段181は、通常、出力画像を出力する。また、画像出力手段181は、通常、画像出力装置1が備える画面の全領域に(画面いっぱいに)対象画像を出力する。
また、画像出力手段181は、画像処理部17が映像酔い低減処理を施した対象画像を出力する。「映像酔い低減処理を施した対象画像を出力する」とは、つまりは、入力画像取得部14が取得した入力画像に対して映像酔い低減処理を施した画像を出力すること、または、出力画像に対して映像酔い低減処理を施した画像を出力することである。画像出力手段181は、通常、映像酔い低減処理を施した出力画像を出力する。また、画像出力手段181は、通常、画像出力装置1が備える画面の全領域のうち、対象画像を出力する領域である第一領域に対象画像を出力する。
なお、第一領域の大きさは、通常、全領域よりも小さいが、同一であってもよい。また、第一領域の大きさは、通常、映像酔い低減処理を施した対象画像のサイズと同一である。つまり、第一領域の大きさは、映像酔い低減処理を施した対象画像のサイズに従う。また、第一領域の位置は、予め決められていてもよいし、そうでなくてもよい。後者の場合、第一領域の位置は、画面のサイズと、映像酔い低減処理を施した対象画像のサイズとから決定(算出)されてもよい。当該決定の方法や手順などは、問わない。
他画像出力手段182は、画像処理部17が映像酔い低減処理を施した対象画像のサイズが、画面サイズより小さい場合に、前記第一領域とは異なる領域である第二領域に、前記画像処理部が処理を施した対象画像とは異なる画像(以下、他画像)を出力する。つまり、他画像出力手段182は、画像出力手段181が出力している画像のサイズが、画面サイズより小さい場合に、第二領域に、他画像を出力する。
また、他画像とは、例えば、ストロボ画像や、データ放送によるデータ、入力映像が有する2以上の各チャプターを代表する画像などである。ストロボ画像は、画像出力手段181が出力している対象画像に、時間的に連続する過去に出力した1以上の出力画像である。また、データ放送によるデータは、データ放送受信部13が受信したデータである。また、各チャプターを代表する画像は、通常、各チャプターが有する2以上の入力画像のうち、時間的に先頭の入力画像である。
なお、入力映像格納部11、映像判断条件格納部12不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
また、映像判断部16、移動量取得手段161、画面サイズ情報取得手段162、判断手段164、画像処理部17、低減処理情報取得手段171、画像処理手段172は、通常、MPUやメモリ等から実現され得る。映像判断部16などの処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現してもよい。
また、画像出力部18、画像出力手段181、他画像出力手段182は、ディスプレイなどの出力デバイスを含むと考えてもよいし、含まないと考えてもよい。画像出力部18などは、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイスなどで実現され得る。
次に、画像出力装置1の全体動作について、図2のフローチャートを用いて説明する。なお、所定の情報におけるi番目の情報は、「情報[i]」と記載するものとする。また、図2のフローチャートにおいて、映像判断条件格納部12には、m個の映像判断条件が格納されているものとする。また、当該各映像判断条件には、低減処理情報が対応付いているものとする。
(ステップS201)入力画像取得部14は、入力映像格納部11に2以上の入力画像が格納されているか否かを判断する。格納されている場合は、ステップS202に進み、そうでない場合は、ステップS218に進む。
(ステップS202)入力画像取得部14は、入力映像格納部11から2以上の入力画像を取得する。
(ステップS203)出力画像作成部は、ステップS202で取得した2以上の各入力画像に対して、出力画像作成処理を施し、2以上の出力画像を作成する。そして、出力画像作成部は、当該2以上の出力画像を用いて出力映像を構成する。
(ステップS204)映像判断部16は、任意の記憶領域に格納されている検出モード識別子を取得する。そして、映像判断部16は、当該検出モード識別子を用いて、検知モードが自動検知モードであるか否かを判断する。自動検知モードである場合は、ステップS205に進み、そうでない場合は、ステップS208に進む。
(ステップS205)移動量取得手段161は、出力映像から、移動量を取得する。
(ステップS206)画面サイズ情報取得手段162は、任意の記憶領域に格納されている画面サイズ情報を取得する。
(ステップS207)ユーザ距離情報取得手段163は、ユーザ距離情報を取得する。
(ステップS208)受付部15は、ユーザからの指示を受け付けたか否かを判断する。受け付けた場合は、ステップS209に進み、そうでない場合は、ステップS208に戻る。
(ステップS209)判断手段164は、ステップS208で受け付けたユーザ指示を取得する
(ステップS210)判断手段164は、カウンタiに1をセットする。
(ステップS211)判断手段164は、ステップS205で取得した移動量、ステップS206で取得した画面サイズ情報、ステップS207で取得したユーザ距離情報、ステップS209で取得したユーザ指示のうちのいずれか1以上が、映像判断条件格納部12に格納されている映像判断条件[i]に合致するか否かを判断する。合致する場合は、ステップS214に進み、そうでない場合は、ステップS212に進む。
(ステップS212)判断手段164は、iがmであるか否かを判断する。mである場合は、ステップS201に戻り、そうでない場合は、ステップS213に進む。
(ステップS213)判断手段164は、iを1インクリメントし、ステップ211に戻る。
(ステップS214)低減処理情報取得手段171は、映像判断条件[i]に対応する低減処理情報[i]を取得する
(ステップS215)画像処理手段172は、ステップS214で取得した低減処理情報[i]に従い、出力画像に対して映像酔い低減処理を施す。
(ステップS216)画像出力手段181は、ステップS215で映像酔い低減処理が施された出力画像を出力する。
(ステップS217)他画像出力手段182は、ステップS216で出力した画像のサイズが、画面サイズよりも小さいか否かを判断する。小さい場合は、ステップS218に進み、そうでない場合は、ステップS201に戻る。
(ステップS218)他画像出力手段182は、他画像を出力する。
(ステップS219)データ放送受信部13は、データ放送によるデータを受信したか否かを判断する。受信した場合は、ステップS220に進み、そうでない場合は、ステップS201に戻る。
(ステップS220)データ放送受信部13は、ステップS219で受信したデータを、任意の記憶領域に蓄積する。
なお、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理を終了してもよい。
(具体例)
次に、画像出力装置1の動作の具体例について説明する。なお、本具体例において、画像出力装置1は、テレビ受信機(以下、テレビ)であるものとする。また、テレビの画面サイズは、「55inch」であり、当該画面サイズ情報は、任意の記憶領域に格納されているものとする。
(例1)
本例において、映像判断条件格納部12には、図3に示す映像判断条件が格納されているものとする。当該映像判断条件(項目名:条件)は、レコードを一意に特定するためのID(項目名:ID)と、低減処理情報(項目名:低減処理)とが対応付いている。
まず、ユーザがリモコンを操作し、テレビの電源をONにしたとする。すると、図示しない画像受信部が入力画像の受信を開始し、順次、入力映像格納部11に蓄積する。そして、出力画像作成部は、当該入力映像格納部11に格納されている入力画像を、順次、取得し、当該入力画像に対して出力画像作成処理を施し、出力画像を作成する。そして、画像出力手段181は、当該出力画像を、順次、出力する。このときの様子は、例えば、図5である。
次に、移動量取得手段161は、画像出力手段181が出力している2以上の画像を有する出力映像から、移動量を取得する。ここで、移動量取得手段161は、例えば、図5の出力画像(出力映像)における被写体である乗り物を検出し、当該乗り物の移動量を算出したとする。そして、移動量取得手段161は、当該乗り物の移動量「45cm/frame」を取得したものとする。
次に、画面サイズ情報取得手段162は、任意の記憶領域に格納されている画面サイズ情報「55inch」を取得する。
次に、ユーザ距離情報取得手段163は、ユーザ距離情報を取得し、ユーザ距離情報「5m」を取得したものとする。
次に、判断手段164は、移動量取得手段161が取得した移動量「45cm/frame」、画面サイズ情報取得手段162が取得した画面サイズ情報「55inch」、ユーザ距離情報取得手段163が取得したユーザ距離情報「5m」のうち、移動量と画面サイズ情報が、図3の「ID=013」の映像判断条件に合致すると判断する。以上により、映像判断部16は、画像出力手段181が出力中の出力映像が、映像酔いする映像であることを検知する。
次に、低減処理情報取得手段171は、判断手段164が、移動量と画面サイズ情報が合致すると判断した図3の「ID=013」の映像判断条件に対応する低減処理情報「縮小(60%)」を取得する。当該低減処理情報は、画像のサイズを60%に縮小することを示す。
次に、画像処理手段172は、低減処理情報取得手段171が取得した低減処理情報「縮小(60%)」に従い、画像出力手段181が出力中の出力映像のサイズを、60%に縮小する。
次に、画像出力手段181は、画像処理手段172が縮小した出力画像を出力する。このときの様子は、例えば、図6である。
(例2)
本例において、映像判断条件格納部12には、図4に示す映像判断条件が格納されているものとする。当該映像判断条件(項目名:判断条件)は、レコードを一意に特定するためのID(項目名:ID)と、低減処理選択条件(項目名:選択条件)と、低減処理情報(項目名:低減処理)とが対応付いている。
まず、具体例1と同様に、図7の様に、画像出力手段181が、順次、出力画像を出力しているとする。
次に、具体例1と同様に、移動量取得手段161、画面サイズ情報取得手段162、ユーザ距離情報取得手段163は、出力映像から、それぞれ、移動量と、画面サイズ情報と、ユーザ距離情報とを取得し、移動量「360pixel/sec」と、画面サイズ情報「55inch」と、ユーザ距離情報「6m」とを取得したものとする。
次に、判断手段164は、移動量取得手段161が取得した移動量「360pixel/sec」、画面サイズ情報取得手段162が取得した画面サイズ情報「55inch」、ユーザ距離情報取得手段163が取得したユーザ距離情報「6m」のうち、移動量とユーザ距離情報が、図4の「ID=016」に合致すると判断する。以上により、映像判断部16は、画像出力手段181が出力中の出力映像が、映像酔いする映像であることを検知する。
次に、低減処理情報取得手段171は、移動量取得手段161などが移動量などを取得した出力映像から、特徴量を取得し、例えば、出力映像全体の輝度値「204」を取得したものとする。
次に、低減処理情報取得手段171は、判断手段164が、移動量とユーザ距離情報が合致すると判断した図4の「ID=016」の映像判断条件に対応し、取得した輝度値「204」が合致する選択条件「200≦輝度値<208」に対応する「ID=016」の低減処理情報「トリミング(輝度値<200)」を取得する。当該低減処理情報は、画像から輝度値が「200未満」である範囲をトリミングすることを示す。
次に、画像処理手段172は、低減処理情報取得手段171が取得した低減処理情報「トリミング(輝度値<200)」に従い、画像出力手段181が出力中の出力映像から輝度値が「192未満」である範囲をトリミングする。
次に、画像出力手段181は、画像処理手段172がトリミングした出力画像を出力する。このときの様子は、例えば、図8である。
(例3)
本例において、映像判断条件格納部12には、図3に示す映像判断条件が格納されているものとする。
まず、具体例1や具体例2と同様に、図5や図7の様に、画像出力手段181が、順次、出力画像を出力しているとする。このとき、テレビの検知モードは、手動検知モードであるとする。
次に、ユーザが、図5や図7の様な映像を視聴中に、映像酔いを感じ、リモコンを操作し、テレビに、映像酔いしたことを通知したとする。このとき、リモコンには、例えば、映像酔いを通知するためのボタンなどが備えられており、ユーザは、当該ボタンを押下することで、テレビに映像酔いしたことを通知する。すると、受付部15は、映像酔い通知指示を受け付ける。
次に、判断手段164は、受付部15が受け付けた映像酔い通知指示が、図3の「ID=019」に合致すると判断する。以上により、映像判断部16は、画像出力手段181が出力中の出力映像が、映像酔いする映像であることを検知する。
なお、以降の低減処理情報の取得の処理などは、具体例1や具体例2と同様であるので、説明を省略する。
(例4)
まず、図9の様に、画像出力手段181が、縮小処理が施された出力画像を出力しているとする。図9において、出力画像のサイズは、画面サイズより小さく、空き領域がある(図9における黒い領域)。当該領域が、第二領域である。
次に、他画像出力手段182は、図9の第二領域に、他画像を出力する。例えば、ストロボ画像を出力する場合、他画像出力手段182は、時間的に連続する過去に出力した1以上の出力画像であるであるストロボ画像を、第二領域に出力する。このときの様子は、例えば、図10である。
また、例えば、データ放送によるデータを出力する場合、他画像出力手段182は、データ放送受信部13が受信し、任意の蓄積領域に蓄積したデータを、任意の蓄積領域から取得する。そして、他画像出力手段182は、当該取得したデータを、第二領域に出力する。このときの様子は、例えば、図11である。
また、例えば、入力画像取得部14が入力映像格納部11から順次取得している入力画像を有する入力映像が、2以上のチャプターを有している場合、他画像出力手段182は、当該各チャプターが有する2以上の入力画像のうち、時間的に先頭の入力画像を取得する。そして、他画像出力手段182は、当該各チャプターごとに取得した先頭の入力画像を、第二領域に出力する。このときの様子は、例えば、図12である。
(例5)
図13は、画像出力装置1を回路で構成した画像出力回路2の例である。当該画像出力回路2は、入力映像から動きベクトルを取得し、当該動きベクトルを用いて入力映像が映像酔いする映像であるか否かを判断し、映像酔いする映像である場合に、入力映像に対して映像酔い低減処理を施し、例えば、映像を出力する回路に出力する。
図13において、画像出力回路2は、動きベクトル検出回路201、動き量判定回路202、倍率計算回路203、スケーラー・トリミング回路204、子画面生成回路205、画面合成回路206を備える。
動きベクトル検出回路201は、移動量取得手段161に相当する。また、動き量判定回路202は、映像判断条件格納部12と、判断手段164とに相当する。また、倍率計算回路203は、映像判断条件格納部12と、低減処理情報取得手段171とに相当する。また、スケーラー・トリミング回路204は、画像処理手段172に相当する。また、子画面生成回路205は、他画像出力手段182に相当する。また、画面合成回路206は、画像出力手段181と、他画像出力手段182とに相当する。なお、映像判断条件格納部12は、例えば、図示しないメモリなどの記憶回路であってもよい。
まず、入力映像を信号化した信号である入力映像信号が、動きベクトル検出回路201に入力される。これと同時に、当該入力映像信号は、スケーラー・トリミング回路204と、子画面生成回路205にも入力される。
次に、入力映像信号が入力されると、動きベクトル検出回路201は、当該入力映像信号から入力映像を取得し、当該入力映像の動きベクトルを取得する。そして、動きベクトル検出回路201は、取得した動きベクトルを、動き量判定回路202に出力する。
次に、動きベクトルが入力されると、動き量判定回路202は、当該動きベクトルが示す動き量が、映像判断条件に合致するか否かを判断する。当該映像判断条件は、例えば、動き量判定回路202とは異なる記憶回路に保存されている。そして、動きベクトルが映像判断条件に合致する場合、動き量判定回路202は、動きベクトルを、倍率計算回路203に出力する。
次に、動きベクトルが入力されると、倍率計算回路203は、当該動きベクトルから、画像を縮小またはトリミングする際の倍率を計算する。倍率計算回路203は、例えば、低減処理情報を用いて、倍率を計算する。この場合、低減処理情報は、通常、動きベクトルから、画像を縮小またはトリミングする際の倍率を算出する計算式である。当該計算式は、例えば、倍率計算回路203とは異なる記憶回路に保存されている。そして、倍率計算回路203は、算出した倍率を、スケーラー・トリミング回路204に出力する。
次に、倍率が入力されると、スケーラー・トリミング回路204は、入力された入力映像信号から入力映像を取得し、当該入力映像が有する2以上の各入力画像を、当該倍率に従って縮小またはトリミングする。そして、スケーラー・トリミング回路204は、縮小またはトリミングした入力画像(以下、処理済画像)を、順次、画面合成回路206に出力する。
次に、子画面生成回路205は、入力された入力映像信号から入力映像を取得し、当該入力映像が有する2以上の各画像から、第二領域に出力する画像(以下、子画像)を生成する。そして、子画面生成回路205は、生成した子画像を、順次、画面合成回路206に出力する。
次に、処理済画像と子画像が入力されると、画面合成回路206は、当該2つの画像を合成し、出力する画像(以下、出力用画像)を生成する。当該合成とは、処理済画像を第一領域に、子画像を第二領域に出力するように、一の画像において当該2つの画像を配置することである。そして、画面合成回路206は、生成した出力用画像を、例えば、映像出力回路などに出力する。
なお、本例において、動きベクトル検出回路201、スケーラー・トリミング回路204、子画面生成回路205には、出力映像が信号化された出力信号が入力されてもよい。また、いわゆるデジタル回路やアナログ回路において公知の処理の方法や手順などの説明を省略していることは、言うまでもない。
以上、本実施の形態による画像出力装置1によれば、出力する映像が映像酔いする映像であることを検知し、当該映像酔いを低減することができる。
また、本実施の形態による画像出力装置1によれば、出力する映像が映像酔いする映像であることを、出力する映像中の被写体の移動量や、画面サイズ、ユーザまでの距離などにより検知することができる。
また、本実施の形態による画像出力装置1によれば、映像酔いを、出力する画像の縮小や、画像のトリミングなどの処理により低減することができる。
また、本実施の形態による画像出力装置1によれば、出力する画像のサイズが画面サイズより小さい場合にできる空き領域を有効に活用できる。
また、上記各実施の形態において、一の装置に存在する2以上の通信手段は、物理的に一の媒体で実現されてもよいことは言うまでもない。
また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよいし、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよいし、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。
また、上記各実施の形態における画像出力装置を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、記録媒体に、2以上の画像を有する映像が、映像酔いする映像であると判断するための条件である1以上の映像判断条件が格納されており、コンピュータを、2以上の入力画像を取得する入力画像取得部と、前記2以上の入力画像を用いて構成される映像である対象映像が映像酔いする映像であるか否かを、前記映像判断条件を用いて判断する映像判断部と、前記映像判断部が、前記対象映像が映像酔いする映像であると判断した場合に、対象映像が有する2以上の各画像である対象画像に対して予め決められた映像酔いを低減する処理を施す画像処理部と、前記対象画像または前記画像処理部が処理を施した対象画像を出力する画像出力部として機能させるためのプログラムである。
なお、上記プログラムにおいて、ハードウェアでしか行われない処理は少なくとも含まれない。
また、上記プログラムは、サーバなどからダウンロードされることによって実行されてもよいし、所定の記録媒体(例えば、CD−ROMなどの光ディスクや磁気ディスク、半導体メモリなど)に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。
また、上記プログラムを実行するコンピュータは、単数であってもよいし、複数であってもよい。つまり、集中処理を行ってもよいし、あるいは分散処理を行ってもよい。
また、図14は、前述のプログラムを実行して、前述の実施の形態の画像出力装置等を実現するコンピュータシステム9の概観図である。前述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。
図14において、コンピュータシステム9は、CD−ROM(Compact Disk Read Only Memory)ドライブ9011、FD(Flexible Disk)ドライブ9012を含むコンピュータ901と、キーボード902と、マウス903と、モニタ904とを備える。
図15は、コンピュータシステム9のブロック図である。図15において、コンピュータ901は、CD−ROMドライブ9011、FDドライブ9012に加えて、CPU(Central Processing Unit)9013と、ブートアッププログラム等のプログラムを記憶するためのROM(Read−Only Memory)9014と、CPU9013に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM(Random Access Memory)9015と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク9016と、CD−ROMドライブ9011、FDドライブ9012、CPU9013等を相互に接続するバス9017とを備える。ここでは図示しないが、コンピュータ901は、さらに、LANへの接続を提供するネットワークカードを備えていてもよい。
コンピュータシステム9に、前述の実施の形態の画像出力装置等の機能を実行させるプログラムは、CD−ROM9101、またはFD9102に記憶されて、CD−ROMドライブ9011またはFDドライブ9012に挿入され、さらにハードディスク9016に転送されてもよい。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ901に送信され、ハードディスク9016に記憶されてもよい。プログラムは実行の際にRAM9015にロードされる。プログラムは、CD−ROM9101、FD9102またはネットワークから直接、ロードされてもよい。
プログラムは、コンピュータ901に、前述の実施の形態の画像出力装置等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくてもよい。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいればよい。コンピュータシステム9がどのように動作するかは周知であり、詳細な説明は省略する。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる画像出力装置は、映像酔いする映像であることを検知し、当該映像酔いを低減することができるという効果を有し、テレビジョン受信機等として有用である。
1 画像出力装置
11 入力映像格納部
12 映像判断条件格納部
13 データ放送受信部
14 入力画像取得部
15 受付部
16 映像判断部
17 画像処理部
18 画像出力部
161 移動量取得手段
162 画面サイズ情報取得手段
163 ユーザ距離情報取得手段
164 判断手段
171 低減処理情報取得手段
172 画像処理手段
181 画像出力手段
182 他画像出力手段

Claims (13)

  1. 2以上の画像を有する映像が、映像酔いする映像であると判断するための条件である1以上の映像判断条件が格納される映像判断条件格納部と、
    2以上の入力画像を取得する入力画像取得部と、
    前記2以上の入力画像を用いて構成される映像である対象映像が映像酔いする映像であるか否かを、前記映像判断条件を用いて判断する映像判断部と、
    前記映像判断部が、前記対象映像が映像酔いする映像であると判断した場合に、対象映像が有する2以上の各画像である対象画像に対して予め決められた映像酔いを低減する処理を施す画像処理部と、
    前記対象画像または前記画像処理部が処理を施した対象画像を出力する画像出力部とを具備する画像出力装置。
  2. 前記映像判断条件は、一の映像に含まれる被写体の移動量に関する条件である移動量条件であり、
    前記映像判断部は、
    前記対象映像から、前記移動量を取得する移動量取得手段と、
    前記移動量取得手段が取得した移動量が、前記1以上の移動量条件に合致するか否かを判断し、合致する場合に、前記対象映像が映像酔いする映像であると判断する判断手段とを具備する請求項1記載の画像出力装置。
  3. 前記映像判断条件は、ユーザからの指示に関する条件であるユーザ指示条件であり、
    ユーザからの指示を受け付ける受付部をさらに具備し、
    前記映像判断部は、
    前記受付部が受け付けた指示が、前記1以上のユーザ指示条件に合致するか否かを判断し、合致する場合に、前記対象映像が映像酔いする映像であると判断する判断手段を具備する請求項1記載の画像出力装置。
  4. 前記映像判断条件は、画面サイズと移動量に関する条件である画面サイズ移動量条件であり、
    前記映像判断部は
    画面サイズを示す画面サイズ情報を取得する画面サイズ情報取得手段をさらに具備し、
    前記判断手段は、
    前記画面サイズ情報取得手段が取得した画面サイズ情報と前記移動量取得手段が取得した移動量とが、前記1以上の画面サイズ移動量条件に合致するか否かを判断し、合致する場合に、前記対象映像が映像酔いする映像であると判断する請求項2記載の画像出力装置。
  5. 前記映像判断条件は、画面からユーザまでの距離と移動量に関する条件であるユーザ距離移動量条件であり、
    前記映像判断部は
    前方のユーザを検知し、当該ユーザまでの距離を示すユーザ距離情報を取得するユーザ距離情報取得手段をさらに具備し、
    前記判断手段は、
    ユーザ距離情報取得手段が取得したユーザ距離情報と前記移動量取得手段が取得した移動量とが、前記1以上のユーザ距離移動量条件に合致するか否かを判断し、合致する場合に、前記出力映像が映像酔いする映像であると判断する請求項2記載の画像出力装置。
  6. 前記画像処理部は、
    前記対象画像に対して、対象画像を縮小する縮小処理または対象画像の一部を切り出すトリミング処理のいずれかの処理を施す請求項1から請求項5いずれか記載の画像出力装置。
  7. 前記映像判断条件格納部には、
    映像酔いを低減する処理を示す低減処理情報が対応付いた映像判断条件が格納され、
    前記画像処理部は、
    前記映像判断部が、対象映像が映像酔いする映像であると判断した際に用いた映像判断条件に対応する映像処理情報を、前記映像判断条件格納部から取得する低減処理情報取得手段と、
    前記対象映像が有する2以上の画像である対象画像に対して、前記低減処理情報取得手段が取得した低減処理情報が示す処理を施す画像処理手段とを具備する請求項1から請求項6いずれか記載の画像出力装置。
  8. 前記画像出力部は、
    前記対象画像を出力する領域である第一領域に、前記画像処理部が処理を施した対象画像を出力する画像出力手段と、
    前記画像処理部が処理を施した対象画像のサイズが、画面サイズより小さい場合に、前記第一領域とは異なる領域である第二領域に、前記画像処理部が処理を施した対象画像とは異なる画像を出力する他画像出力手段とを具備する請求項1から請求項7いずれか記載の画像出力装置。
  9. 前記他画像出力手段は、
    前記第二領域を分割した2以上の領域に、前記対象画像を用いて構成されるストロボ画像を出力する請求項8記載の画像出力装置。
  10. データ放送によるデータを受信するデータ放送受信部をさらに具備し、
    前記他画像出力手段は、
    前記第二領域に、前記データ放送受信部が受信したデータを出力する請求項8記載の画像出力装置。
  11. 2以上の画像を有する映像であり、2以上のチャプターに分割し得る映像である入力映像が格納される入力映像格納部をさらに具備し、
    前記入力画像取得部は、
    前記入力映像が有する2以上の各入力画像を、前記入力映像格納部から順次取得し、
    前記他画像出力手段は、
    前記第二領域に、前記入力画像取得部が取得した2以上の入力画像のうち、前記入力映像が有する2以上の各チャプターを代表する入力画像を出力する請求項8記載の画像出力装置。
  12. 記録媒体に、
    2以上の画像を有する映像が、映像酔いする映像であると判断するための条件である1以上の映像判断条件が格納されており、
    入力画像取得部と、映像判断部と、画像処理部と、画像出力部とを用いて行われる画像出力方法であって、
    前記入力画像取得部が、
    2以上の入力画像を取得する入力画像取得ステップと、
    前記映像判断部が、
    前記2以上の入力画像を用いて構成される映像である対象映像が映像酔いする映像であるか否かを、前記映像判断条件を用いて判断する映像判断ステップと、
    前記画像処理部が、
    前記映像判断部が、前記対象映像が映像酔いする映像であると判断した場合に、対象映像が有する2以上の各画像である対象画像に対して予め決められた映像酔いを低減する処理を施す画像処理ステップと、
    前記画像出力部が、
    前記対象画像または前記画像処理部が処理を施した対象画像を出力する画像出力ステップとを具備する画像出力方法。
  13. 記録媒体に、
    2以上の画像を有する映像が、映像酔いする映像であると判断するための条件である1以上の映像判断条件が格納されており、
    コンピュータを、
    2以上の入力画像を取得する入力画像取得部と、
    前記2以上の入力画像を用いて構成される映像である対象映像が映像酔いする映像であるか否かを、前記映像判断条件を用いて判断する映像判断部と、
    前記映像判断部が、前記対象映像が映像酔いする映像であると判断した場合に、対象映像が有する2以上の各画像である対象画像に対して予め決められた映像酔いを低減する処理を施す画像処理部と、
    前記対象画像または前記画像処理部が処理を施した対象画像を出力する画像出力部として機能させるためのプログラム。
JP2012061527A 2012-03-19 2012-03-19 画像出力装置、映像出力方法、およびプログラム Expired - Fee Related JP5912706B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012061527A JP5912706B2 (ja) 2012-03-19 2012-03-19 画像出力装置、映像出力方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012061527A JP5912706B2 (ja) 2012-03-19 2012-03-19 画像出力装置、映像出力方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2013197771A true JP2013197771A (ja) 2013-09-30
JP5912706B2 JP5912706B2 (ja) 2016-04-27

Family

ID=49396230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012061527A Expired - Fee Related JP5912706B2 (ja) 2012-03-19 2012-03-19 画像出力装置、映像出力方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP5912706B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017054457A (ja) * 2015-09-11 2017-03-16 株式会社コーエーテクモゲームス 情報処理装置、表示制御方法、及び表示制御プログラム
JP2019015812A (ja) * 2017-07-05 2019-01-31 セイコーエプソン株式会社 端末装置、表示システム、及び端末装置の制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11203578A (ja) * 1998-01-20 1999-07-30 Fujitsu General Ltd マルチ表示監視システム
JP2002199354A (ja) * 2000-12-25 2002-07-12 Toshiba Corp デジタル放送受信装置とその制御方法
JP2008299241A (ja) * 2007-06-04 2008-12-11 Sharp Corp 画像処理装置及び表示装置
JP2010050645A (ja) * 2008-08-20 2010-03-04 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
WO2010109900A1 (ja) * 2009-03-26 2010-09-30 パナソニック株式会社 映像加工装置、映像加工方法、映像加工集積回路、映像再生装置
JP2011083591A (ja) * 2009-09-15 2011-04-28 Fujifilm Corp 診断支援システム、診断支援プログラムおよび診断支援方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11203578A (ja) * 1998-01-20 1999-07-30 Fujitsu General Ltd マルチ表示監視システム
JP2002199354A (ja) * 2000-12-25 2002-07-12 Toshiba Corp デジタル放送受信装置とその制御方法
JP2008299241A (ja) * 2007-06-04 2008-12-11 Sharp Corp 画像処理装置及び表示装置
JP2010050645A (ja) * 2008-08-20 2010-03-04 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
WO2010109900A1 (ja) * 2009-03-26 2010-09-30 パナソニック株式会社 映像加工装置、映像加工方法、映像加工集積回路、映像再生装置
JP2011083591A (ja) * 2009-09-15 2011-04-28 Fujifilm Corp 診断支援システム、診断支援プログラムおよび診断支援方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017054457A (ja) * 2015-09-11 2017-03-16 株式会社コーエーテクモゲームス 情報処理装置、表示制御方法、及び表示制御プログラム
JP2019015812A (ja) * 2017-07-05 2019-01-31 セイコーエプソン株式会社 端末装置、表示システム、及び端末装置の制御方法
JP7077540B2 (ja) 2017-07-05 2022-05-31 セイコーエプソン株式会社 端末装置、表示システム、及び端末装置の制御方法

Also Published As

Publication number Publication date
JP5912706B2 (ja) 2016-04-27

Similar Documents

Publication Publication Date Title
KR101810935B1 (ko) 이미지 조절 표시 방법, 장치, 프로그램 및 기록매체
KR101755412B1 (ko) 동영상 파일의 식별자를 처리하는 방법, 장치, 프로그램 및 기록매체
WO2014199941A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US9418436B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2007310454A (ja) 画像評価装置および被験者集中度算出装置、並びに、画像評価プログラムおよび被験者集中度算出プログラム
JP5391224B2 (ja) 映像付加情報表示制御装置およびその動作方法
WO2004104921A3 (en) System and method for automatic processing of endoscopic images
CN107409239B (zh) 基于眼睛追踪的图像传输方法、图像传输设备及图像传输系统
JP5935694B2 (ja) 動画像配信システム、及び動画像配信方法
JP5460793B2 (ja) 表示装置、表示方法、テレビジョン受信機及び表示制御装置
CN106970770B (zh) 一种显示调整方法、电子设备及装置
CN112243505A (zh) 信息处理装置、信息处理方法和程序
CN112616078A (zh) 投屏处理方法、装置、电子设备和存储介质
JP2004120686A (ja) 映像配信システムにおけるモバイル端末の映像表示方法
US9875521B2 (en) Image output apparatus, image output method, and program
JP5912706B2 (ja) 画像出力装置、映像出力方法、およびプログラム
JP2019149785A (ja) 映像変換装置及びプログラム
WO2019142659A1 (ja) 情報処理装置および方法、並びにプログラム
US11064103B2 (en) Video image transmission apparatus, information processing apparatus, system, information processing method, and recording medium
KR20180013264A (ko) 중요도에 따라 썸네일 배치를 달리하는 영상 표시 장치
JP6930880B2 (ja) 映像表示装置および映像制作支援方法
US20130127841A1 (en) Three-dimensional (3d) image display method and apparatus for 3d imaging and displaying contents according to start or end of operation
JP6224913B2 (ja) 画像出力装置、画像出力方法、およびプログラム
JP2006148767A (ja) 映像配信システム、映像配信装置、映像受信装置、映像配信装置の通信方法、映像受信装置の表示方法、プログラム、及び記憶媒体
JPWO2016181672A1 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160401

R150 Certificate of patent or registration of utility model

Ref document number: 5912706

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees