DE102009004276A1

DE102009004276A1 - Byte Coat: Nativer Bytcode Compiler für die Programmiersprache Python

Info

Publication number: DE102009004276A1
Application number: DE200910004276
Authority: DE
Inventors: Jan Langer; Andreas Löscher
Original assignee: CORE MOUNTAINS GmbH
Current assignee: CORE MOUNTAINS GmbH
Priority date: 2009-01-05
Filing date: 2009-01-05
Publication date: 2010-07-08

Abstract

Verfahren zur Erzeugung von Kompilaten aus plattformunabhängigem Python Bytecode, dadurch gekennzeichnet, daß nativ kompilierte, d. h. plattformabhängige, dynamische Bibliotheken entstehen.

Description

Die Erfindung betrifft ein Verfahren entsprechend dem Oberbegriff des Anspruchs 1.
Die Programmiersprache Python erfreut sich zunehmender Beliebtheit. Dabei kommen ihr vor allem ihre dynamische Typisierung, übersichtlicher Aufbau und umfassende Standard-Bibliothek zu Gute. Ein wiederkehrendes Problem ist die Weitergabe von Python Software. In vielen Fällen ist die Weitergabe des Quellcodes möglich und bei Open Source Projekten sogar beabsichtigt. Für kommerzielle Software kommt dies jedoch nicht in Frage. Die Weitergabe des kompilierten Bytecodes erscheint hier als eine ideale Lösung, da die .pyc Dateien für den Interpreter völlig transparent zum Quellcode-Modul verwendet werden können. Mit Hilfe kommerzieller Dienste wie decompyle kann jedoch aus Python Bytecode wieder der originale Quellcode hergestellt werden.
Da die Weitergabe von Python Quell- oder Bytecode die fertige Installation eines Python Interpreters auf der Zielplattform voraussetzt, wurden Tools entwickelt, die den Interpreter zusammen mit allen benötigten Modulen zusammen in eine einzelne ausführbare Datei packen. Für den Nutzer erscheint die Software dann wie gewünscht als eine „anzuklickende” Applikation. Da jedoch der Bytecode weiterhin in der ausführbaren Applikation enthalten ist, kann ebenso wie im vorangegangenen Abschnitt beschrieben der Quellcode extrahiert werden.
Eine weitere Möglichkeit, den Quellcode vor dem Nutzer zu verbergen, ist die direkte Übersetzung in eine nicht dekompilierbare Sprache wie C oder C++. Verschiedene Projekte wie PyPy oder Pyrex erreichen mit diesem Ansatz unter anderem deutliche Geschwindigkeitsverbesserungen gegenüber der Interpretation von Python Quellcode. Jedoch lassen sich dabei nicht alle Möglichkeiten, die die Sprache Python bietet, ausschöpfen. Der Umfang der erlaubten Konstrukte ist auf diejenigen beschränkt, die sich auch in einer statischen Programmiersprache abbilden lassen.
Vor dem Hintergrund dieser Probleme, haben wir eine Methodik entwickelt, die Python Bytecode Module automatisch in die Programmiersprache C Module übersetzt. Diese können dann jeweils in dynamisch gelinkte Bibliotheken kompiliert werden. Deren spezieller Aufbau versetzt den Python Interpreter in die Lage, sie transparent beim Importieren eines Moduls zu verwenden.
Die Vorteile dieses Verfahrens sind eine ähnlich hohe Sicherheit der Module vor einer möglichen Quellcode Rückgewinnung, wie direkt in C geschriebene Module. Zum anderen besteht eine nahezu vollständige Kompatibilität zwischen originalem und übersetztem Modul. Einige wenige Einschränkungen sind jedoch vorhanden. So ist es beispielsweise nicht möglich, für übersetzte Python Funktionen den Bytecode zu extrahieren (import dis), worin allerdings auch die Absicht unserer Software besteht.
Python Quellcode Module (Endung .py) werden vom Interpreter in ein Bytecode-Format kompiliert, welches dann Anweisung für Anweisung interpretiert wird. Zur späteren Benutzung wird der Bytecode eines Moduls in einer gleichnamigen .pyc Datei gespeichert (siehe 1).
Bei Weitergabe des kompilierten Bytecodes (Endung .pyc) kann der Interpreter diesen völlig transparent zum Quellcode Modul verwendet. Mit Hilfe kommerzieller Dienste wie decompyle kann jedoch aus Python Bytecode wieder der originale Quellcode hergestellt werden.
Dieses Problem der faktischen Offenlegung des Quellcodes bei Weitergabe des Bytecodes durch das neuartige Verfahren eliminiert, ohne die Nachteile der weiter oben genannten Verfahren aufzuweisen.
Üblicherweise werden Python Module vom CPython Interpreter in .pyc Bytecode Module übersetzt und danach von einem Bytecode Evaluator ausgeführt. Dieser ist auch in der CPython-Implementierung enthalten. Bei diesem Schritt werden viele der weiterführenden Konzepte von Python wie beispielsweise Klassen, Dekoratoren usw. auf ein einfacheres Stack Modell zurückgeführt.
Das folgende Code-Beispiel soll dies illustrieren:
Eine Funktion a wird mittels des Moduls dis in seine Bytecode-Elemente zerlegt und entsprechend dargestellt. Dabei werden die beiden Argumente der Funktion mit dem Kommando LORD FAST auf den Stack gelegt. Der Befehl BINARY_ADD wiederum nimmt sich die beiden obersten Elemente des Stacks, addiert beide und legt das Ergebnis wieder auf den Stack. RETURN VALUE gibt den obersten Wert des Stack als Rückgabewert der gesamten Funktion zurück.
Die Erfindung besteht in einer speziellen Kompilierung des Python Codes in eine andere Sprache wie beispielsweise C. Dieser Ansatz bietet die gleiche Sicherheit wie die direkte Erstellung von kompilierten C Objekt Dateien.
Das Ausführen des Bytecode erfolgt in der Funktion PyEval_EvalFrameEx, welche in einer großen Case Anweisung für jeden Bytecode-Operator einige Zeilen C Code ausführt. Im gezeigten Beispiel sieht der Quellcode wie folgt aus:
Der tatsächliche Code in der Datei ceval.c sieht natürlich um einiges komplizierter aus, was auf vielfältige Optimierungen und Verwaltungscode zurückzuführen ist. Grundsätzlich wird in der Erfindung die Funktion a mit Hilfe eines Python Extension Moduls durch die folgende C-Funktion ersetzt:
Die aufeinander folgenden sich gegenseitig aufhebenden Stack Operationen können dabei entfernt werden, was eine deutliche Optimierung gegenüber regulär ausgeführtem Bytecode darstellt. Der eigentliche Vorteil dieser Methode liegt allerdings in der Tatsache, dass eine solchermaßen kompilierte C Funktion wenig Angriffsfläche für eine Rückgewinnung des ursprünglichen Python Quellcodes bietet. Es können jedoch alle Features der Python Sprache komplett und sehr flexibel unterstützt werden. Eine weitere Stärke liegt darin, dass der C Kompiler beim Übersetzen einer solchen Funktion große Freiheit in der Anwendung von Optimierungen hat. Dies Optimierungen bieten dann nicht nur einen Geschwindigkeitsvorteil, sondern auch weitere Sicherheit gegenüber einer Dekompilation.
Das Verfahren entsprechend dieser Erfindung liest ein Python Modul im Bytecode ein und erstellt ein entsprechendes C Extension Modul, das genau dieselbe Funktionalität bietet, aber jedoch transparent gegen das ursprüngliche Python Modul austauschbar ist (siehe 2).

Claims

Verfahren zur Erzeugung von Kompilaten aus plattformunabhängigem Python Bytecode, dadurch gekennzeichnet, daß nativ kompilierte, d. h. plattformabhängige, dynamische Bibliotheken entstehen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die resultierenden Kompilate ohne den zugehörigen Quellcode ausgeliefert werden können.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die resultierenden Kompilate ohne den zugehörigen Bytecode ausgeliefert werden können.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß die resultierenden Kompilate transparent in die bestehende Python Ausführungsumgebung eingebunden werden können, indem das zu schützende Python Modul durch die zugehörige dynamische Bibliothek ersetzt wird.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß die resultierenden Kompilate die Rückgewinnung des zugrunde liegenden Python Quellcodes erschweren.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß auf beliebige Plattformen, für die eine Python Implementierung existiert, übertragbar ist.