JP2018092301A - 情報処理装置、情報処理装置の制御方法、及び制御プログラム - Google Patents

情報処理装置、情報処理装置の制御方法、及び制御プログラム Download PDF

Info

Publication number
JP2018092301A
JP2018092301A JP2016233948A JP2016233948A JP2018092301A JP 2018092301 A JP2018092301 A JP 2018092301A JP 2016233948 A JP2016233948 A JP 2016233948A JP 2016233948 A JP2016233948 A JP 2016233948A JP 2018092301 A JP2018092301 A JP 2018092301A
Authority
JP
Japan
Prior art keywords
image
spherical
superimposed
original
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016233948A
Other languages
English (en)
Other versions
JP6622686B2 (ja
Inventor
裕介 佐藤
Yusuke Sato
裕介 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mixi Inc
Original Assignee
Mixi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mixi Inc filed Critical Mixi Inc
Priority to JP2016233948A priority Critical patent/JP6622686B2/ja
Publication of JP2018092301A publication Critical patent/JP2018092301A/ja
Application granted granted Critical
Publication of JP6622686B2 publication Critical patent/JP6622686B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】球面画像に変換されたことによって不正確となった画像をユーザが視認することを抑制する、ことを目的とする。【解決手段】携帯電話端末は、複数の原画像が平面キャンバスに配置されて平面画像を形成し、平面画像を球面画像に変換する球面画像変換を行う。球面画像変換は、球面画像において相対的に歪みが大きい特定領域の画像をユーザに視認させない非視認化を行う。なお、特定領域は、平面キャンバスの進入禁止領域に重畳して配置された原画像である重畳原画像に対応する重畳原画像対応領域の少なくとも一部である。【選択図】図6

Description

本発明は、情報処理装置、情報処理装置の制御方法、及び制御プログラムに関するものである。
近年、情報処理装置を用いて、複数の画像を配置して形成した平面画像、いわゆるコラージュ画像を生成する手法が開発されている。平面画像は、例えば、予め定められた平面領域にユーザによって選択された複数の画像を配置することによって形成される。
特許文献1には、3次元空間で定義された物体に原画像を変形して貼り付けて画像を作成するテクスチャマッピングが開示されている。特許文献1で開示されているテクスチャマッピングは、長方形状の原画像であるテクスチャを、立体として定義された球面の領域に貼り付けることにより、球面画像を生成するものである。
特開平10−326351号公報
ここで、平面画像から球面画像への変換は、例えば座標変換によって行われ、平面画像を形成する4つの辺のうち、所定の対向する2つの辺の各々は一点に結合され、いわゆる極点を形成する。そして、球面画像に変換された平面画像は、極点に近くなるほど収縮されて画像の歪みが大きくなり、不正確な画像となる。この結果、ユーザは、球面画像に変換されたことによって不正確となった画像を視認する可能性がある。
本発明は、このような事情に鑑みてなされたものであって、球面画像に変換されたことによって不正確となった画像をユーザが視認することを抑制できる、情報処理装置、情報処理装置の制御方法、及び制御プログラムを提供することを目的とする。
上記課題を解決するため、本発明の一態様である「情報処理装置」は、平面画像を球面画像に変換する情報処理装置であって、一又は複数の原画像が予め定められた平面領域に配置されて形成された前記平面画像を前記球面画像に変換する画像変換手段と、前記球面画像において相対的に歪みが大きい特定領域の画像をユーザに視認させない非視認化を行う非視認処理手段と、を備える。
上記課題を解決するため、本発明の一態様である「情報処理装置」は、一又は複数の原画像が配置されて平面画像を形成するための平面領域、及び前記平面画像を変換した球面画像を画像表示手段に表示させる画像表示制御手段を備え、前記画像表示制御手段は、前記球面画像において相対的に歪みが大きい特定領域の画像をユーザに視認させない非視認化が行われた前記球面画像を前記画像表示手段に表示させる。
上記課題を解決するため、本発明の一態様である「情報処理装置の制御方法」は、平面画像を球面画像に変換する情報処理装置の制御方法であって、一又は複数の原画像が予め定められた平面領域に配置されて前記平面画像を形成する第1ステップと、前記平面画像を前記球面画像に変換する第2ステップと、前記球面画像において相対的に歪みが大きい特定領域の画像をユーザに視認させない非視認化を行う第3ステップと、を有する。
上記課題を解決するため、本発明の一態様である「制御プログラム」は、平面画像を球面画像に変換する情報処理装置が備えるコンピュータを、一又は複数の原画像が予め定められた平面領域に配置されて形成された前記平面画像を前記球面画像に変換する画像変換手段と、前記球面画像において相対的に歪みが大きい特定領域の画像をユーザに視認させない非視認化を行う非視認処理手段と、して機能させる。
上記課題を解決するため、本発明の一態様である「制御プログラムを記録したコンピュータ読取り可能な記録媒体」に記録される制御プログラムは、平面画像を球面画像に変換する情報処理装置が備えるコンピュータを、一又は複数の原画像が予め定められた平面領域に配置されて形成された前記平面画像を前記球面画像に変換する画像変換手段と、前記球面画像において相対的に歪みが大きい特定領域の画像をユーザに視認させない非視認化を行う非視認処理手段と、して機能させる。
上記「情報処理装置」には、以下に例示するように、種々の技術的限定を加えてもよい。また、同趣旨の技術的限定を、「情報処理装置の制御方法」が実行する処理ステップや「情報処理装置の制御プログラム」の機能に加えてもよい。
前記非視認処理手段は、前記非視認化として、予め定められた画像を前記球面画像に沿うように変形させた被覆画像によって、前記特定領域を、という限定を加えてもよい。
前記特定領域は、前記球面画像に変換された場合に一点に結合される前記平面領域の辺から前記平面領域の中心線へと向かう所定領域に重畳して配置された前記原画像である重畳原画像に対応する領域の少なくとも一部である、という限定を加えてもよい。
前記予め定められた画像は、前記重畳原画像である、という限定を加えてもよい。
前記非視認処理手段は、前記一点に結合される前記平面領域の辺から最も離れた前記重畳原画像の基準位置に対応する前記球面画像の位置と、前記被覆画像の基準位置とを一致させて被覆する、という限定を加えてもよい。
前記原画像は、重要部分が予め設定され、前記非視認処理手段は、前記重畳原画像の前記重要部分が前記所定領域に重畳している場合に前記重要部分に対応する前記特定領域に前記非視認化を行い、前記重畳原画像の前記重要部分が前記所定領域に重畳していない場合には前記非視認化を行わない、という限定を加えてもよい。
前記非視認処理手段は、少なくとも前記重畳原画像の前記重要部分に対応する前記特定領域を非視認化する、という限定を加えてもよい。
前記原画像は、重要部分が予め設定され、前記非視認処理手段は、前記非視認化において複数の前記被覆画像が重なり合う場合、前記重要部分の割合が相対的に大きい前記重畳原画像に対応する前記被覆画像ほど前面となるように被覆する、という限定を加えてもよい。
前記非視認処理手段は、前記球面画像に変換した場合に相対的に歪みが大きくなる前記重畳原画像に対応する前記被覆画像ほど前面となるように被覆する、という限定を加えてもよい。
前記原画像は、重要度が予め設定され、前記非視認処理手段は、前記非視認化において複数の前記被覆画像が重なり合う場合、前記重要度が相対的に高い前記重畳原画像に対応する前記被覆画像ほど前面となるように被覆する、という限定を加えてもよい。
前記非視認処理手段が、前記画像変換手段による変換後に前記非視認化を行う、という限定を加えてもよい。
本発明によれば、球面画像に変換されたことによって不正確となった画像をユーザが視認することを抑制できる、という効果を有する。
本発明の実施形態に係る携帯電話端末の正面図である。 本発明の実施形態に係る携帯電話端末の電気的構成を示す機能ブロック図である。 本発明の実施形態に係る平面画像を形成するための平面キャンバスを示す図である。 平面画像を球面画像に変換した一例を示す図である。 本発明の実施形態に係る球面画像変換機能に関する機能ブロック図である。 本発明の実施形態に係る球面画像変換処理の流れを示すフローチャートである。 本発明の実施形態に係る進入禁止領域のサブ領域を示す図である。 本発明の実施形態に係る球面画像変換処理によって平面画像を球面画像に変換した一例を示す図である。 本発明の他の実施形態を示す全体構成図である。
以下に、本発明に係る情報処理装置、情報処理装置の制御方法、及び制御プログラムの一実施形態について、図面を参照して説明する。なお、本実施形態では、情報処理装置を携帯電話端末、いわゆるスマートフォンとして説明する。
[1.携帯電話端末の構成]
図1は本実施形態に係る携帯電話端末10の正面図である。
携帯電話端末10の筐体12には、その正面12Aに、画面に画像を表示する画像表示手段であるタッチパネルディスプレイ14が備えられる。タッチパネルディスプレイ14は、例えばLCD(Liquid Crystal Display)及びタッチセンサを備える。LCDは、各種画像を表示し、タッチセンサは、指、スタイラス、又はペン等の指示体を用いて行われる各種入力操作を受け付ける。
また、携帯電話端末10の正面12Aには、音が入力されるマイクロフォン16、音を出力するスピーカ18、及び被写体を撮像するカメラ20が備えられる。カメラ20は、筐体12の正面12Aだけでなく筐体12の背面にも備えられる。さらに、筐体12の側面12Bには、携帯電話端末10を起動又は停止させるための電源ボタンやスピーカ18が出力する音のボリューム調整ボタン等の操作ボタン22が備えられる。
また、携帯電話端末10の筐体12には、メモリカードが挿入されるスロットやUSB(Universal Serial Bus)端子等が備えられる。
図2は、携帯電話端末10の電気的構成を示す機能ブロック図である。
携帯電話端末10は、上記構成に加え、主制御部24、主記憶部26、補助記憶部28、通信部30を備える。
主制御部24は、例えば、CPU(Central Processing Unit)、マイクロプロセッサ、DSP(Digital Signal Processor)等であり、携帯電話端末10の全体の動作を制御する。
主記憶部26は、例えば、RAM(Random Access Memory)やDRAM(Dynamic Random Access Memory)等で構成されており、主制御部24による各種プログラムに基づく処理の実行時のワークエリア等として用いられる。
補助記憶部28は、例えば、フラッシュメモリ等の不揮発性メモリであり、画像等の各種データ及び主制御部24の処理に利用されるプログラム等を保存する。補助記憶部28に記憶されるプログラムは、例えば、携帯電話端末10の基本的な機能を実現するためのOS(Operating System)、各種ハードウェア制御するためのドライバ、電子メールやウェブブラウジング、その他各種機能を実現するためのプログラム等である。また、補助記憶部28には、詳細を後述する本実施形態に係る球面画像変換処理を実行するためのプログラムが予め記憶されている。
通信部30は、例えばNIC(Network Interface Controller)であり、携帯電話網等の通信網に接続する機能を有する。なお、通信部30は、NICに代えて又はNICと共に、無線LAN(Local Area Network)に接続する機能、無線WAN(Wide Area Network)に接続する機能、例えばBluetooth(登録商標)等の近距離の無線通信、及び赤外線通信等を可能とする機能を有してもよい。
これら主制御部24、主記憶部26、補助記憶部28、通信部30、タッチパネルディスプレイ14、マイクロフォン16、スピーカ18、カメラ20、及び操作ボタン22は、システムバス32を介して相互に電気的に接続されている。従って、主制御部24は、主記憶部26及び補助記憶部28へのアクセス、タッチパネルディスプレイ14に対する画像の表示、ユーザによるタッチパネルディスプレイ14や操作ボタン22に対する操作状態の把握、マイクロフォン16への音の入力、スピーカ18からの音の出力、カメラ20に対する制御、及び通信部30を介した各種通信網や他の情報処理装置へのアクセス等を行える。
[2.平面画像から球面画像への変換の概要]
本実施形態に係る携帯電話端末10は、平面画像を球面画像へ変換(以下「球面画像変換」という。)する球面画像変換機能を有する。球面画像変換は、例えば、平面座標系から球面座標系に変換することによって行われる。
平面画像から変換された球面画像は、タッチパネルディスプレイ14に表示されて、ユーザによって視認可能とされる。なお、平面画像が球面画像変換された場合、変換された画像は疑似的な球体の内表面に表示されてもよいし、外表面に表示されてもよい。変換された画像が球体の内表面に表示される場合は、ユーザの視点位置は球面画像の内側(例えば球体の中心)になる。一方、変換された画像が球体の外表面に表示される場合は、ユーザの視点位置は球面画像の外側になる。
図3に示されるように、平面画像40は、予め定められた平面領域(以下「平面キャンバス」という。)42に複数の原画像44が配置されて形成される、矩形状の画像である。複数の原画像44によって形成された平面画像40は、いわゆるコラージュ画像である。なお、原画像44は、予め補助記憶部28等に記憶されている画像等であり、球面画像変換されていない画像である。
例えば、携帯電話端末10のユーザの操作によって平面画像40が形成される場合、タッチパネルディスプレイ14に平面キャンバス42が表示される。そして、ユーザが補助記憶部28に記憶されている原画像44を選択し、平面キャンバス42に配置することによって平面画像40が形成される。なお、原画像44は、回転されて平面キャンバス42に配置されてもよいし、原画像44同士が重なり合ってもよい。また、原画像44は、矩形以外に円形等、他の形状であってもよい。
平面キャンバス42の縦及び横の大きさは、ユーザによって任意に設定が可能となっている。また、原画像44が配置されなかった平面キャンバス42の領域は、所定の背景色で表示される。背景色は、例えば、透明、白色又は黒色等の予め定められた色、又は予め定められた模様等である。
図4は、平面画像40を変換した球面画像50を示す図である。図4における「A′」,「B′」,「C′」,「D′」,「E′」,「F′」で表記される領域は、平面キャンバス42に配置した原画像44に対応する変換後の画像領域52である。なお、図4に示す球面画像50は一例であり、図3に示す平面キャンバス42への原画像44の配置位置と図4に示す画像領域32とが対応しているものではない。
平面画像40が球面画像変換されると、概念的には、平面画像40を形成する4つの辺のうち、対向する2つの辺42a,42bの各々は一点に結合され、いわゆる極点を形成する。一方、他の対向する2つの辺42c,42dは一つに結合されて2つの極点を結ぶ線(弧)を形成する。なお、2つの極点を結ぶこの線は、経線の一つでもある。以下の説明では、図4に示すように、極点に近い領域を高緯度という。また、球面画像50の中心線(大円)50aは平面キャンバス42の中心線42eに対応し、以下「赤道」という。
平面画像40が球面画像変換されると、極点に近くなるほど、すなわち高緯度ほど画像が収縮されるために画像の歪みが大きくなり、不正確な画像となる。すなわち、球面画像50は、高緯度になるほど、原画像44に対応する画像領域52の歪みが大きくなる。このため、不正確な画像が球面画像50としてユーザに視認されると、ユーザは画像を誤認する可能性がある。
[3.本実施形態に係る球面画像変換機能の概要]
本実施形態に係る携帯電話端末10が有する球面画像変換機能は、不正確な画像が球面画像50としてユーザに視認されることを抑制する。
ここで、本実施形態に係る平面キャンバス42には、図3に示されるように、進入禁止領域46が予め定められている。進入禁止領域46は、平面画像40が球面画像変換された場合に一点に結合される平面キャンバス42の辺42a又は辺42bから中心線42eへと向かう所定領域である。すなわち、進入禁止領域46は、球面画像変換後において極点に近い領域であり、平面画像40を球面画像変換した場合に、画像の歪みが相対的に大きくなる領域である。進入禁止領域46は、辺42a又は辺42bを一辺として固定されるものの、辺42a又は辺42bから中心線42eの方向で任意の範囲に設定可能とされている。
また、平面キャンバス42は、進入禁止領域46と他の領域とがユーザによって区別可能なようにタッチパネルディスプレイ14に表示される。例えば、進入禁止領域46と他の領域とが異なる背景色で表示される。または、進入禁止領域46と他の領域とを区別するための線が平面キャンバス42に表示される。これにより、ユーザは、進入禁止領域46に配置する原画像44を認識できる。また、ユーザが進入禁止領域46に原画像44を配置した場合又は配置しようとした場合、進入禁止領域46への原画像44の配置であることが、例えば、ポップアップによる表示やスピーカ18から出力する音によって報知される。また、この他にも、進入禁止領域46の背景色が変化したり、携帯電話端末10が振動してもよい。図3の例では「A」,「B」,「C」,「L」,「M」,「N」の表記がある原画像44が、進入禁止領域46に重畳して配置された重畳原画像48である。
本実施形態に係る球面画像変換機能は、球面画像50において相対的に歪みが大きい特定領域の画像をユーザに視認させない非視認化を行う。本実施形態に係る特定領域は、進入禁止領域46に重畳して配置された重畳原画像48に対応する領域(以下「重畳原画像対応領域」という。)の少なくとも一部である。
非視認化は、一例として、予め定められた画像を球面画像50に沿うように変形(以下「球面変形」という。)させて、重畳原画像対応領域を被覆するものである。球面変形は、平面座標から球面座標への座標変換とは異なり、例えば、変形前後で画像の縦横比を変化させることなく、又は変化させても最小限とし、球面画像50の表面に沿うように画像を曲げることである。また、被覆とは、球面変形させた画像(以下「被覆画像」という。)を球面画像50に貼り付けることである。例えば、被覆画像は、予め定められた画像の中心が赤道50a上にあると仮定して、予め定められた画像を球面変形させたものとする。
なお、重畳原画像対応領域には、対応する重畳原画像48が球面画像変換された画像が存在するが、これに限らず、重畳画像対応領域では対応する重畳原画像48が球面画像変換されていなくてもよい。この理由は、重畳原画像対応領域が被覆画像によって被覆されるので、重畳原画像対応領域で球面画像変換が行われても、ユーザに視認されないためである。
本実施形態に係る被覆画像は、一例として、重畳原画像48を球面変形させた画像とする。すなわち、重畳原画像対応領域は、対応する重畳原画像48そのものを球面変形させて被覆される。これにより、重畳原画像対応領域が非視認化されても、ユーザは、非視認化された領域の原画像44が何であったかを認識できる。
原画像44には、重要部分が予め設定可能とされている。重要部分は、一例として、ユーザによって任意に決定されて設定されるものであり、原画像44の一部領域が重要部分として設定されてもよいし、原画像44の全体が重要部分として設定されてもよい。重要部分は、ユーザにより任意に決定されるだけでなく、例えば、人の顔、建物、又は文字等の予め定められた画像が原画像44毎に認識(画像認識又は文字認識)されて、認識された画像の部分が重要部分として自動的に設定されてもよい。
また、重要部分と共に又は重要部分に代えて、原画像44に重要度が設定されてもよい。重要度は、重なり合う原画像44との関係で相対的に設定されてもよい。例えば、平面キャンバス42において重なり合う原画像44がある場合、重なり合う原画像44のうち前面にある原画像44ほど、重なり合う他の原画像44に対して重要度が高く設定される。換言すると、重なり合う原画像44のうち背面にある原画像44ほど、重なり合う他の原画像44に対して重要度が低く設定される。
以下の説明では、重なり合う原画像44との関係で相対的に設定される重要度を「相対的重要度」といい、ユーザが任意に決定することで設定される重要度を「絶対的重要度」といい、原画像44に設定されている重要部分及び重要度を総称して「重要情報」という。
そして、本実施形態に係る球面画像変換では、変換後の球面画像50の重畳原画像対応領域において複数の被覆画像が重なり合うように非視認化された場合に、原画像44の重要情報に基づいて重なり合う被覆画像の前後関係を決定する。なお、必ずしも、平面キャンバス42に配置される原画像44の全てに重要部分や重要度が設定される必要はない。
[4.本実施形態に係る球面画像変換機能に関する機能ブロック図]
図5は、本実施形態に係る球面画像変換機能に関する機能ブロック図である。主制御部24は、画像表示制御部60、平面画像形成部62、重要情報設定部64、球面画像変換部66、及び非視認処理部68を備える。主制御部24が備える各機能は、補助記憶部28に記憶されているプログラムによって実現される。
画像表示制御部60は、タッチパネルディスプレイ14に表示させる画像を示すデータをタッチパネルディスプレイ14に出力する。球面画像変換機能において、タッチパネルディスプレイ14に表示させる画像とは、例えば、平面キャンバス42、平面画像40、及び球面画像50等である。なお、画像表示制御部60は、進入禁止領域46と他の領域とがユーザによって区別可能なように平面キャンバス42を表示する。
平面画像形成部62は、ユーザによって選択された原画像44を補助記憶部28から読み出し、ユーザの操作によって平面キャンバス42に配置された複数の原画像44から平面画像40を形成する。なお、形成された平面画像40は、適宜、主記憶部26又は補助記憶装置28に記憶される。
重要情報設定部64は、原画像44毎に重要情報を設定する。重要情報設定部64は、ユーザによって決定された原画像44毎の重要情報を受け付け、受け付けた重要情報(重要部分、絶対的重要度)を原画像44毎に設定する。また、重要情報設定部64は、原画像44から自動的に重要部分を認識し、設定してもよい。原画像44毎の重要情報の設定は、平面キャンバス42に原画像44を配置する前に行われてもよいし、平面キャンバス42に原画像44を配置した後に行われてもよい。また、重要情報設定部64は、平面キャンバス42に重なり合うように配置された原画像44がある場合、ユーザの操作によらず自動的に、重なり合う原画像44の前後関係を判定して原画像44に相対的重要度を設定する。
球面画像変換部66は、平面画像40を球面画像50に変換する。
非視認処理部68は、球面画像50において相対的に歪みが大きい特定領域(重畳原画像対応領域)の画像をユーザに視認させない非視認化を行う。非視認処理部68は、原画像配置位置判定部70、重要情報読取部72、及び被覆部74を備える。
原画像配置位置判定部70は、進入禁止領域46に原画像44が配置されているか否か、すなわち、重畳原画像48の有無を判定する。なお、進入禁止領域46や原画像44の位置は、一例として座標によって特定される。
重要情報読取部72は、原画像44に設定されている重要情報である重要部分、絶対的重要度、及び相対的重要度を読み取る。
被覆部74は、重畳原画像対応領域に対応する重畳原画像48を球面変形させた被覆画像によって、重畳原画像対応領域を被覆して非視認化する。また、被覆部74は、重畳原画像48に対する重要部分の設定の有無によって、重畳原画像対応領域に対する非視認化の有無を判定する。
[5.本実施形態に係る球面画像変換処理]
図6は、主制御部24によって実行される球面画像変換機能による処理(以下「球面画像変換処理」という。)の流れを示すフローチャートである。球面画像変換処理を実行するためのプログラムは補助記憶部28の所定領域に予め記憶されており、球面画像変換処理は、該プログラムが起動することによって開始する。
まず、ステップ100では、平面画像40の形成を平面画像形成部62によって行う。具体的には、画像表示制御部60が平面キャンバス42をタッチパネルディスプレイ14に表示させ、平面キャンバス42に対してユーザが原画像44を配置することで平面画像40が形成される。形成された平面画像40は、主記憶部26又は補助記憶部28に記憶される。
次のステップ102では、進入禁止領域46に重畳している原画像44、すなわち重畳原画像48の有無を原画像配置位置判定部70が判定する。この判定結果は、主記憶部26又は補助記憶部28に記憶される。
次のステップ104では、ステップ100で形成された平面画像40を球面画像50へ変換する球面画像変換を球面画像変換部66が行う。球面画像変換によって得られた球面画像50は、主記憶部26又は補助記憶部28に記憶される。
球面画像変換では、平面画像40(平面キャンバス42)における原画像44の配置位置と、球面画像50における変換後の原画像44の配置位置との対応関係が主記憶部26又は補助記憶部28に記憶される。
なお、本実施形態に係る球面画像変換では、重畳原画像48も球面画像50へ変換するが、これに限らず、球面画像変換は非視認化の対象とする重畳原画像48を球面画像50へ変換しなくてもよい。球面画像50へ変換されなかった重畳原画像48の領域は、例えば背景色で表示される。非視認化の対象とする重畳原画像48を球面画像50へ変換しない場合、ステップ104では球面画像変換の前に、次のステップ106と同様の処理を行い、非視認化の対象となる重畳原画像48を判定する。
ステップ106では、ステップ102の判定結果に基づいて、変換前の平面画像40に重畳原画像48が存在していたか否かを非視認処理部68が判定し、肯定判定の場合はステップ108へ移行し、否定判定の場合は、ステップ108を行うことなく球面画像変換処理を終了する。
ステップ108では、重畳原画像対応領域への非視認化を被覆部74によって行う。非視認化が行われた球面画像50は主記憶部26又は補助記憶部28に記憶され、その後、球面画像変換処理は終了する。
球面画像変換処理によって生成された球面画像50は、タッチパネルディスプレイ14に表示され、ユーザに視認可能とされる。
ここで、ステップ102,106で説明したように非視認処理部68は、球面画像変換前に重畳原画像48の有無を判定し、球面画像変換後に非視認化を行う。このように、本実施形態に係る球面画像変換処理では、平面画像40を球面画像50へ変換する前、すなわち2次元状の平面画像40において重畳原画像48の有無を判定するので、非視認化に係る処理の負荷を小さくできる。
[6.本実施形態に係る非視認化の詳細]
図7を参照して、本実施形態に係る非視認化について具体的に説明する。図7(A)は、非視認化を含む球面画像変換によって生成された球面画像50を示す。図7(B)は、非視認化を含まない球面画像変換によって生成された球面画像50を示す。図7(A),(B)の上下方向は図3に示す平面キャンバス42の上下方向と同じであり、極点に近い領域54が平面キャンバス42における進入禁止領域46に対応する領域である。
図7(A),(B)において「A′」,「B′」,「C′」の表記がある領域が重畳原画像対応領域56であり、各々、重畳原画像対応領域56A′,56B′,56C′とする。一方、図7(A)において,「a」,「b」の表記がある領域は、重畳原画像対応領域56A′,56B′を被覆する被覆画像58であり、各々、被覆画像58a,58bとする。被覆画像58aは、重畳原画像対応領域56A′に対応する重畳原画像48(以下「重畳原画像48A」という。)を球面変形させたものである。被覆画像58bは、重畳原画像対応領域56B′に対応する重畳原画像48(以下「重畳原画像48B」という。)を球面変形させたものである。
重畳原画像48A,48Bには、重要情報として、重畳原画像48A,48Bの全体を重要部分とすることが設定されており、重畳原画像48Aは、重畳原画像48Bよりも横方向が長い。重畳原画像48A,48Bは重なり合っていないため、相対的重要度は設定されていない。一方、重畳原画像対応領域56C′に対応する重畳原画像48(以下「重畳原画像48C」という。)には、重要情報が何ら設定されていない。
本実施形態に係る被覆部74は、重畳原画像48の基準位置に対応する球面画像50の位置と、被覆画像58の基準位置とを一致させて被覆する。この基準位置は、重畳原画像48において、一点に結合される平面キャンバス42の辺42a又は辺42bから最も離れた位置である。
重畳原画像48及び被覆画像58の基準位置は、例えば、重畳原画像48及び被覆画像58の頂点である。基準位置を図7(A),(B)における被覆画像58aと重畳原画像対応領域56A′とを参照して説明すると、平面キャンバス42の辺42aから最も離れた頂点x1,x2が基準位置とされる。そして、この頂点x1,x2が一致するように、被覆画像58aは重畳原画像対応領域56A′に被覆される。なお、基準位置は、上述した頂点に限らず、例えば、重畳原画像48の重心点や重畳原画像48の予め定められた辺等、他の位置であってもよく、予め設定されている。
また、被覆部74は、重畳原画像48の重要部分が進入禁止領域46に重畳している場合に重要部分に対応する特定領域(重畳原画像対応領域)に非視認化を行い、重畳原画像48の重要部分が進入禁止領域46に重畳していない場合には非視認化を行わない。非視認化の有無を図7(A),(B)を参照して説明すると、重畳原画像48A,48Bはその全体が重要部分として設定され、その一部が進入禁止領域46に重畳しているため、被覆部74は、重畳原画像対応領域56A′,56B′に被覆画像58a,58bを被覆する非視認化を行う。一方、重畳原画像48Cには重要部分が設定されていないため、被覆部74は、重畳原画像対応領域56C′に非視認化を行わない。
なお、被覆部74は、少なくとも重畳原画像48の重要部分に対応する重畳原画像対応領域56の一部領域を被覆すればよい。例えば、重畳原画像48Aの一部が重要部分として設定され、この重要部分が進入禁止領域46に重畳している場合、被覆部74は、この重要部分に対応する画像のみを被覆画像58とし、これによって重要部分に対応する重畳原画像対応領域を被覆する。
このように、被覆部74は、重畳原画像48に対する重要部分の設定の有無によって、重畳原画像対応領域56に対する非視認化の有無を判定するので、ユーザにとって重要とされる画像が球面画像50に変換されても、歪んで表示されることを抑制できる。
また、被覆部74は、非視認化において複数の被覆画像58が重なり合う場合、重要部分の割合が相対的に大きい重畳原画像48に対応する被覆画像50ほど前面となるように、被覆画像58によって被覆する。
図7(A),(B)を参照して説明すると、重畳原画像48A,48Bは重なり合わないように隣り合って平面キャンバス42に配置されたため、図7(B)に示す球面画像変換後の重畳原画像対応領域56A′,56B′も重ならない。しかしながら、被覆画像58a,58bは重畳原画像48A,48Bを球面に沿うように変形させたものであるため、被覆画像58a,58bを重畳原画像対応領域56A′,56B′に被覆させると図7(A)の領域Lに示されるように重なりが生じる場合がある。ここで、上述したように、重畳原画像48A,48Bはその全体が重要部分とされ、重畳原画像48Aは重畳原画像48Bよりも横方向が長い。すなわち、重畳原画像48Bよりも重畳原画像48Aの方が重要部分の割合が相対的に大きい。このため、被覆部74は、重畳原画像対応領域56Bよりも重畳原画像対応領域56Aの方が前面となるように、すなわち、被覆画像58aが被覆画像58bよりも前面となるように重畳原画像対応領域56を被覆する。このように、被覆部74は、ユーザによって重要とされる画像が前面となるように重畳原画像対応領域56を被覆画像58によって被覆するので、球面画像50における重要部分の視認性が向上する。
また、被覆部74は、非視認化において複数の被覆画像58が重なり合う場合、重要度が相対的に高い重畳原画像48に対応する被覆画像50ほど前面となるように、被覆画像58によって被覆する。例えば、重畳原画像48Aと重畳原画像48Bの重要部分の割合が同じであり、重畳原画像48Aよりも重畳原画像48Bの方が絶対的重要度を高く設定されている場合であって、被覆画像58a,58bが重なり合う場合には、被覆部74は、被覆画像58Bが被覆画像58Aよりも前面となるように重畳原画像対応領域56を被覆する。
また、この他にも、例えば、重畳原画像48が重なり合って平面キャンバス42に配置された場合、平面キャンバス42での重なりが反映されるように、被覆部74は、重なりあった重畳原画像48の相対的重要度に基づいて、被覆画像58の前後関係を決定して重畳原画像対応領域56を被覆する。
さらに、被覆部74は、球面画像50に変換した場合に相対的に歪みが大きくなる重畳原画像48に対応する被覆画像50ほど前面となるように、被覆画像58によって被覆してもよい。例えば、図8に示すように、進入禁止領域46が、極点となる辺42a,42bからの距離に応じた複数のサブ領域46A〜46Eに分けられる。そして、被覆画像58a,58bが重なり合う場合、被覆部74は、極点により近いサブ領域46に端部が重畳する重畳原画像対応領域56の方が前面となるように、重畳原画像対応領域56を被覆画像58によって被覆する。これにより、球面画像50への変換後に歪みが大きくなる画像がユーザに視認され難くなるので、被覆部74は、不正確となり易い画像をユーザが誤って視認することを抑制できる。なお、進入禁止領域46を複数のサブ領域46に分けることなく、被覆部74は、重畳原画像対応領域56の端部の座標を検出し、検出した座標がより極点に近い重畳原画像対応領域56の方が前面となるように、重畳原画像対応領域56を被覆画像58によって被覆してもよい。
上述したような、前面とする被覆画像74を決定する複数の手法のうち何れを用いるかは、ユーザ等によって適宜決定される。
以上説明したように、本実施形態に係る携帯電話端末10は、複数の原画像44が平面キャンバス42に配置されて平面画像40を形成し、平面画像40を球面画像50に変換する球面画像変換を行い、球面画像50において相対的に歪みが大きい特定領域の画像をユーザに視認させない非視認化を行う。なお、特定領域は、平面キャンバス42の進入禁止領域46に重畳して配置された原画像44である重畳原画像48に対応する重畳原画像対応領域56の少なくとも一部である。
これにより、本実施形態に係る携帯電話端末10は、平面画像40を球面画像変換しても、極点に近く画像の歪みが相対的に大きくなる画像をユーザに視認させないので、球面画像変換されたことによって不正確となった画像を視認することを抑制できる。
また本実施形態に係る携帯電話端末10は、重畳原画像48を球面に沿うように変形させた被覆画像58によって重畳原画像対応領域56を被覆することで非視認化を行う。被覆画像50は球面変形によって画像に歪みが生じたとしても、その歪みの大きさは、平面画像40を球面画像変換した場合に生じる歪みに比べて、高緯度帯となるほど相対的に小さくなる。また、平面画像40は複数の原画像44が配置されたコラージュ画像であるから、相対的に歪みが大きい高緯度帯に配置された原画像44と他の部分に配置された原画像44との区別が容易であるため、被覆画像50を生成するための処理が簡略化できる。従って、原画像44を変形した被覆画像58で球面画像の高緯度帯を非視認化(被覆)することは、非視認化された領域の原画像44が何であったかを、簡易な処理によってユーザに認識可能とするものである。
[7.他の実施形態]
以上、本発明を、上記実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記実施形態を適宜組み合わせてもよい。
例えば、上記実施形態では、球面画像変換処理を携帯電話端末10が実行する形態について説明したが、本発明は、これに限定されるものではない。例えば、図9に示されるように、携帯電話端末10が通信網70を介してサーバ72等の他の情報処理装置と情報の送受信を行い、本実施形態に係る球面画像変換処理をサーバ72が行ってもよい。この形態の場合、携帯電話端末10を用いてユーザが平面画像40を作成し、携帯電話端末10からサーバ72へ平面画像40を送信する。サーバ72は、受信した平面画像40を球面画像変換処理によって球面画像50へ変換し、変換後の球面画像50を携帯電話端末10へ送信する。携帯電話端末10は、サーバ72から球面画像50を受信すると、受信した球面画像50をタッチパネルディスプレイ14に表示する。
また、上記実施形態では、複数の原画像44が平面キャンバス42に配置されて形成された平面画像40を球面画像50に変換する形態について説明したが、本発明は、これに限定されるものではない。例えば、一枚の原画像44を平面キャンバス42に配置して球面画像50に変換する形態としてもよい。この形態の場合、例えば、原画像44の大きさ(縦横の長さ)は平面キャンバス42よりも小さいものが好ましい。また、原画像44には重要部分が予め設定されていてもよく、被覆部74は、進入禁止領域46に重なる重要部分に対応する重畳原画像対応領域56に対して非視認化を行う。
また、すでに作成済みのコラージュ画像を球面画像50に変換する形態としてもよい。この形態の場合、球面画像変換処理は、進入禁止領域46に重なる重畳原画像48に対応する領域をコラージュ画像から特定し、球面変換後の重畳原画像対応領域56に対して非視認化を行う。
また、球面画像50の極点付近は常に歪みが発生するので、被覆部74は、重畳原画像48の有無に関わらず、球面画像変換後に球面画像50の極点付近に対して非視認化処理を行ってもよい。
また、例えば図3において、球面変換後に極点になる辺42a又は辺42bを跨ぐような原画像44の配置を許容する場合、被覆部74は、この原画像44を被覆画像50として球面画像変換後の球面画像50の極点付近を被覆してもよい。なお、球面画像50の極点は、画像の歪みが最も大きくなる領域である。
また、上記実施形態では、被覆画像58を重畳原画像対応領域56に対応する原画像44とする形態について説明したが、本発明は、これに限定されるものではない。例えば、被覆画像58を予め設定した他の画像としてもよい。
また、上記実施形態では、平面キャンバス42への原画像44の配置をユーザが行う形態について説明したが、本発明は、これに限定されるものではない。例えば、平面キャンバス42への原画像44の配置をユーザが行わずに、自動的に行う形態としてもよい。この形態の場合、例えば、ユーザによって選択された複数の原画像44をランダム又は予め設定された条件に基づいて、主制御部24が平面キャンバス42へ配置して平面画像40を形成する。
また、上記実施形態では、本発明に係る情報処理装置を携帯電話端末10とする形態について説明したが、本発明は、これに限定されるものではなく、例えば、情報処理装置をノート型又はデスクトップ型のパーソナルコンピュータやタブレット型の携帯情報端末装置とする形態としてもよい。また、上記実施形態では、タッチパネルディスプレイ14を画像表示手段としたが、これに限らず、タッチパネルを備えないディスプレイを画像表示手段としてもよい。
また、上記実施形態では、本実施形態に係る球面画像変換処理を実行するためのプログラムを主記憶部26に予め記憶させる形態について説明したが、これに限られず、USBメモリ等のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等を適用することができる。
また、上記実施形態では、本発明に係る原画像44に重要部分を設定する形態について説明したが、本発明は、これに限定されるものではなく、例えば、原画像44に重要部分を設定することに代えて、原画像44に非重要部分を設定する形態としてもよい。この形態の場合、原画像44の非重要部分には非視認化が行われない。非重要部分は、ユーザが設定してもよいが、例えば、原画像44のうち、ほぼ同一色で占められる所定範囲以上の部分が自動的に非重要部分として設定されてもよい。
また、上記実施形態で説明した球面画像変換処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
10 携帯電話端末(情報処理装置)
14 タッチパネルディスプレイ(画像表示手段)
40 平面画像
42 平面キャンバス(平面領域)
42e 中心線(平面領域の中心線)
44 原画像
46 進入禁止領域(所定領域)
48 重畳原画像
50 球面画像
56 重畳原画像対応領域(特定領域)
60 画像表示制御部(画像表示制御手段)
66 球面画像変換部(画像変換手段)
68 非視認処理部(非視認処理手段)
72 サーバ(情報処理装置)




Claims (14)

  1. 平面画像を球面画像に変換する情報処理装置であって、
    一又は複数の原画像が予め定められた平面領域に配置されて形成された前記平面画像を前記球面画像に変換する画像変換手段と、
    前記球面画像において相対的に歪みが大きい特定領域の画像をユーザに視認させない非視認化を行う非視認処理手段と、
    を備える情報処理装置。
  2. 前記非視認処理手段は、前記非視認化として、予め定められた画像を前記球面画像に沿うように変形させた被覆画像によって、前記特定領域を被覆する請求項1記載の情報処理装置。
  3. 前記特定領域は、前記球面画像に変換された場合に一点に結合される前記平面領域の辺から前記平面領域の中心線へと向かう所定領域に重畳して配置された前記原画像である重畳原画像に対応する領域の少なくとも一部である請求項2記載の情報処理装置。
  4. 前記予め定められた画像は、前記重畳原画像である請求項3記載の情報処理装置
  5. 前記非視認処理手段は、前記一点に結合される前記平面領域の辺から最も離れた前記重畳原画像の基準位置に対応する前記球面画像の位置と、前記被覆画像の基準位置とを一致させて被覆する請求項3又は請求項4記載の情報処理装置。
  6. 前記原画像は、重要部分が予め設定され、
    前記非視認処理手段は、前記重畳原画像の前記重要部分が前記所定領域に重畳している場合に前記重要部分に対応する前記特定領域に前記非視認化を行い、前記重畳原画像の前記重要部分が前記所定領域に重畳していない場合には前記非視認化を行わない請求項3から請求項5の何れか1項記載の情報処理装置。
  7. 前記非視認処理手段は、少なくとも前記重畳原画像の前記重要部分に対応する前記特定領域を非視認化する請求項6記載の情報処理装置。
  8. 前記原画像は、重要部分が予め設定され、
    前記非視認処理手段は、前記非視認化において複数の前記被覆画像が重なり合う場合、前記重要部分の割合が相対的に大きい前記重畳原画像に対応する前記被覆画像ほど前面となるように被覆する請求項3から請求項7の何れか1項記載の情報処理装置。
  9. 前記非視認処理手段は、前記球面画像に変換した場合に相対的に歪みが大きくなる前記重畳原画像に対応する前記被覆画像ほど前面となるように被覆する請求項3から請求項8の何れか1項記載の情報処理装置。
  10. 前記原画像は、重要度が予め設定され、
    前記非視認処理手段は、前記非視認化において複数の前記被覆画像が重なり合う場合、前記重要度が相対的に高い前記重畳原画像に対応する前記被覆画像ほど前面となるように被覆する請求項3から請求項9の何れか1項記載の情報処理装置。
  11. 前記非視認処理手段は、前記画像変換手段による変換後に前記非視認化を行う請求項1から請求項10の何れか1項記載の情報処理装置。
  12. 一又は複数の原画像が配置されて平面画像を形成するための平面領域、及び前記平面画像を変換した球面画像を画像表示手段に表示させる画像表示制御手段を備え、
    前記画像表示制御手段は、前記球面画像において相対的に歪みが大きい特定領域の画像をユーザに視認させない非視認化が行われた前記球面画像を前記画像表示手段に表示させる情報処理装置。
  13. 平面画像を球面画像に変換する情報処理装置の制御方法であって、
    一又は複数の原画像が予め定められた平面領域に配置されて前記平面画像を形成する第1ステップと、
    前記平面画像を前記球面画像に変換する第2ステップと、
    前記球面画像において相対的に歪みが大きい特定領域の画像をユーザに視認させない非視認化を行う第3ステップと、
    を有する情報処理装置の制御方法。
  14. 平面画像を球面画像に変換する情報処理装置が備えるコンピュータを、
    一又は複数の原画像が予め定められた平面領域に配置されて形成された前記平面画像を前記球面画像に変換する画像変換手段と、
    前記球面画像において相対的に歪みが大きい特定領域の画像をユーザに視認させない非視認化を行う非視認処理手段と、
    して機能させるための制御プログラム。



JP2016233948A 2016-12-01 2016-12-01 情報処理装置、情報処理装置の制御方法、及び制御プログラム Active JP6622686B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016233948A JP6622686B2 (ja) 2016-12-01 2016-12-01 情報処理装置、情報処理装置の制御方法、及び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016233948A JP6622686B2 (ja) 2016-12-01 2016-12-01 情報処理装置、情報処理装置の制御方法、及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2018092301A true JP2018092301A (ja) 2018-06-14
JP6622686B2 JP6622686B2 (ja) 2019-12-18

Family

ID=62566213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016233948A Active JP6622686B2 (ja) 2016-12-01 2016-12-01 情報処理装置、情報処理装置の制御方法、及び制御プログラム

Country Status (1)

Country Link
JP (1) JP6622686B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160151A (ja) * 1999-12-03 2001-06-12 Namco Ltd 画像生成システム及び情報記憶媒体
JP2003132349A (ja) * 2001-10-24 2003-05-09 Matsushita Electric Ind Co Ltd 描画装置
JP2005063141A (ja) * 2003-08-12 2005-03-10 D Link Corp 画像変換システム及び画像変換方法
JP2010123007A (ja) * 2008-11-21 2010-06-03 Casio Computer Co Ltd 画像処理装置
JP2013085041A (ja) * 2011-10-06 2013-05-09 Canon Inc 情報処理装置、その処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160151A (ja) * 1999-12-03 2001-06-12 Namco Ltd 画像生成システム及び情報記憶媒体
JP2003132349A (ja) * 2001-10-24 2003-05-09 Matsushita Electric Ind Co Ltd 描画装置
JP2005063141A (ja) * 2003-08-12 2005-03-10 D Link Corp 画像変換システム及び画像変換方法
JP2010123007A (ja) * 2008-11-21 2010-06-03 Casio Computer Co Ltd 画像処理装置
JP2013085041A (ja) * 2011-10-06 2013-05-09 Canon Inc 情報処理装置、その処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鈴木 靖子、外3名: ""半球型スクリーンを用いた分散レンダリングシステム"", マルチメディア通信と分散処理ワークショップ論文集, vol. 2005, no. 19, JPN6019040932, 30 November 2005 (2005-11-30), JP, pages 398 - 402, ISSN: 0004140358 *

Also Published As

Publication number Publication date
JP6622686B2 (ja) 2019-12-18

Similar Documents

Publication Publication Date Title
EP3742385A1 (en) Face image processing method and device, and storage medium
US20180130243A1 (en) Display apparatus and control method thereof
JP6109413B2 (ja) 画像表示方法、画像表示装置、端末、プログラム及び記録媒体
US10733959B2 (en) Method for configuring input interface and electronic device using same
EP4009159A1 (en) Electronic device for sharing application and control method thereof
US11625066B2 (en) Foldable electronic device and photographing method using multiple cameras in foldable electronic device
US20220066724A1 (en) Electronic device and method for providing notification thereof
CN108196755B (zh) 背景图片显示方法及装置
WO2022134632A1 (zh) 作品处理方法及装置
CN110321126B (zh) 生成页面代码的方法和装置
KR20200045241A (ko) 폴더블 전자 장치 및 그 콘텐츠의 다단 표시 방법
CN113557491A (zh) 用于控制和操作可折叠显示器的电子装置和方法
KR101690656B1 (ko) 미디어 신호 생성 방법 및 장치
WO2019165997A1 (zh) 显示方法、装置、移动终端以及存储介质
KR20200136753A (ko) 외부 전자 장치를 통해 화면 공유 서비스를 제공하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
US8643679B2 (en) Storage medium storing image conversion program and image conversion apparatus
CN114514508A (zh) 提供应用的运行画面的电子装置及其操作方法
US20230014641A1 (en) Electronic apparatus for providing execution screen of application, and operation method thereof
WO2021027890A1 (zh) 车牌图像生成方法、装置及计算机存储介质
CN111105474B (zh) 字体绘制方法、装置、计算机设备及计算机可读存储介质
KR20210038151A (ko) 전자 장치 및 전자 장치의 제어 방법
CN110784370B (zh) 设备测试的方法、装置、电子设备及介质
US11842039B2 (en) Electronic device and method for operating screen capturing by electronic device
CN108664300A (zh) 一种画中画模式下的应用界面显示方法及装置
JP6622686B2 (ja) 情報処理装置、情報処理装置の制御方法、及び制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191122

R150 Certificate of patent or registration of utility model

Ref document number: 6622686

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250